阿摩線上測驗
登入
阿摩線上測驗
登入
學習重點 掌握難度指標的方向：P 愈大，題目愈容易；P 愈小，題目愈困難。 會計算全體答對率，以及高低分組法的P＝(PH＋PL)÷2、D＝PH－PL。 能解讀正、零、負鑑別度，並記住D 達 .40 以上屬非常優良。 理解中等難度有利於鑑別，但選題仍須兼顧實際 D 值、教學目標與測驗目的。 認識潛在特質理論、試題反應理論（IRT）與代表學者洛德（F. M. Lord）。 核心觀念 一、試題難度：P 是答對率 古典試題分析的難度指標 P 介於 0～1，實際表示答對比例。P＝.90 表示容易，P＝.20 表示偏難。不要把「難度值高」誤讀為「題目很難」。 全體答對率法：P＝答對人數÷全體受試人數。在本單元的計分情境中，未作答者沒有答對，仍須計入分母。例如共 1000 人應考，600 人答對、300 人答錯、100 人未作答，P＝600÷1000＝.60。 高低分組法：先依測驗總分排序，再按指定比例選取高分組與低分組。題目若指定兩端各 33%、各 10 人，就依該人數計算，不必另換分組比例。 PH＝高分組答對人數÷高分組人數。 PL＝低分組答對人數÷低分組人數。 兩組人數相同時，P＝(PH＋PL)÷2。 例如高分組五分之一答錯，PH＝1－.20＝.80；低分組五分之二答對，PL＝.40，因此 P＝(.80＋.40)÷2＝.60。若兩組各 10 人，分別有 7 人與 3 人答對，則 P＝(.70＋.30)÷2＝.50。 全體答對率與高低分組估計值使用的資料不同，不一定完全相同；作答時應依題目提供的資料選公式。 二、試題鑑別度：看高低分組的差距 鑑別度表示試題區分高、低成就學生的能力。高低分組法的公式為D＝PH－PL，範圍為 −1～＋1。例如 PH＝.80、PL＝.20，D＝.60。 D 的情形意義與判斷 D＞0高分組答對率較高；正值愈大，鑑別功能通常愈好。 D＝0 或接近 0兩組答對率相同或差異很小，鑑別功能不佳。 D＜0低分組答對率反而較高，稱為負鑑別度，應檢查答案、題意或評分。 例如 PH＝.40、PL＝.50，D＝−.10，屬鑑別力不佳。負鑑別度的精確定義是低分組答對率高於高分組，不能只憑全體答對人數少就判定。 比較多道試題時，須逐一計算 PH－PL，選差值最大的題目；不能只看高分組答對率。例如 .80－.30＝.50，優於 .90－.60＝.30。 常用的 Ebel 鑑別度評鑑標準： D 值評鑑與處理 .40 以上非常優良。 .30～.39優良，必要時略作修改。 .20～.29尚可，通常需要修改。 低於 .20不佳，考慮刪除或大幅修改。 D 約 .26 未達優良標準，可判為鑑別度偏低；若多數試題同時 P 約 .20，整體就是題目偏難、鑑別度偏低。題目以此標準詢問「非常優良」的門檻時，記住 .40；實務上仍應逐題分析，不能只用單一數字代表全部測驗品質。 三、難度與鑑別度的關係 P 增大，D 不一定增大或減小。兩者沒有固定的單向關係，但也不能說完全無關，因為極端難度會限制可能的鑑別度。 一般而言，中等難度有利於區分程度高低；以 P＝(PH＋PL)÷2 計算時，P＝.50 的鑑別度可能上限最高。這不代表每一道 P＝.50 的題目都具有高鑑別度，仍須查看實際 D 值。 P≤.50 時，D 的最大值為 2P。 P≥.50 時，D 的最大值為 2(1－P)。 上述界限適用於以兩組答對率平均計算的 P，不能直接套用到任意全體答對率。 因此，分組法下 P＝.20 時，D 最多為 .40；P＝.50 時，D 可達 1。若 P＝0 或 P＝1，兩組必定全錯或全對，D 都只能是 0。同一分析基礎下，P 趨近兩端，D 也趨近 0。 P＝0、D＝.50 不可能；P＝1、D＝1 也不可能。反之，P＝.50、D＝−1 可以出現，代表高分組全錯、低分組全對。 四、中等難度與猜測因素 一般比較試題難度時，P 接近 .50 最有利於區分學生程度。但若題目特別指定選擇題、不倒扣並考慮猜測，常用的適中難度估計為： 適中答對率＝(1＋猜對機率)÷2。四選一的猜對機率為 .25，因此適中答對率＝(1＋.25)÷2＝.625，即 62.5%。應依題目是否明示猜測條件判斷。 五、依測驗目的選题與修題 測驗目的選題重點 常模參照測驗重視區分相對高低，宜兼顧中等難度與高鑑別度。 資優鑑定重視高能力端的區分，宜選較難、且具有良好鑑別力的題目。 總結性測驗涵蓋整體學習成果與不同成就水準，難度分散範圍宜較大。 標準參照測驗重點是是否達到學習標準，不必一律追求 P＝.50。 常模參照選題時，P＝.40、D＝.60，通常優於 P＝.60、D＝.40；不能只因 P 更接近某個數值，就忽略鑑別度。若題目明訂保留 P 在 .40～.70、D 高於 .30 的試題，就依指定條件判斷。 資優鑑定則不能只挑 D 最大者：當候選題都有良好鑑別力時，較低 P 的題目較符合甄別高能力學生的目的。有些題目以統計考驗值表示鑑別力，數值可超過 1；這不是 PH－PL 的 D 指標，不能套用 −1～＋1 的範圍或 Ebel 分級。若各題均達顯著，再兼顧難度與鑑定目的選擇。 若答對率只有 10%，且高低分組差異很小，表示太難且鑑別度低，應修正或刪除。幾乎全班答錯時，宜檢查題意、答案及教學對應，適度降低困難度；單純增加選項或改成其他題型，不能保證改善鑑別度。 整份測驗平均 P＝.90，最直接的推論是大部分學生得分很高。不能僅由此推論信度良好、成績差異很大，或確定分數分布形狀。 六、潛在特質理論與 IRT 潛在特質理論又稱試題反應理論（Item Response Theory, IRT），用數學模式描述受試者的潛在能力與試題反應機率之間的關係。洛德（F. M. Lord）是主要奠基者之一。 常見參數為鑑別度 a、難度 b、猜測 c。注意古典分析的 P 愈大愈容易，IRT 的難度參數 b 愈大通常表示愈困難，兩者意義不同。IRT 的參數不變性以模式適配及相關假設成立為前提，不能解讀為任何情況都完全不受樣本或試題影響。 常考陷阱 「答對率高，測驗品質一定好」：P 只表示答對比例，品質仍須看教學目標、鑑別度等。 「愈難愈能鑑別」：過難或過易都可能使高低分組沒有差異。 「中等難度一定有最高 D」：中等難度有利於鑑別，實際表現仍須計算。 「負鑑別度就是太難或太容易」：關鍵是低分組答對率高於高分組。 計算混淆：答錯率先用 1 減去；求 P 相加除以二，求 D 高分組減低分組。 「資優題只選最高鑑別度」：還須考量較高的困難程度；「非常優良」門檻則記 .40。 人物混淆：潛在特質理論配對洛德；克朗巴赫常與 α 係數相關，柯恆常與一致性及效果量相關。 記憶口訣 「P 大題易；難度加平均，鑑別高減低。」 「兩端難鑑別，負值低勝高，四零非常優。」 「四選不倒扣，六二點五；資優挑難題，潛特記洛德。」