阿摩線上測驗
登入
阿摩線上測驗
登入
學習重點 掌握信度的意義：測驗分數的一致性與穩定性，並以真分數理論理解測量誤差。 依評估目的辨認重測、複本、折半、庫李、α係數與評分者信度。 熟練斯布公式：折半相關的校正，以及測驗長度改變後的信度推估。 掌握作文、科學筆記與問題本位學習評量的評分一致性問題，區分分數相關、排序一致與給分一致。 區分信度與效度，了解信度估計的前提與影響因素。 核心觀念 一、真分數理論與信度 古典測驗理論以觀察分數＝真分數＋誤差分數說明測驗結果。真分數是同一受試者在相同測量條件下，經無限次重複測量所得到的平均分數，不等同於某次考試的實得分數。 在誤差與真分數不相關的假設下，觀察分數變異可分為真分數變異與誤差變異。信度＝真分數變異數／觀察分數變異數；理論上介於0與1之間，越高表示分數中隨機誤差所占比例越小。 測量標準誤（SEM）＝觀察分數標準差×√（1－信度），用來表示個人分數的測量精確程度。它是測量誤差指標，不是評分者信度的估計方法。 二、各種信度估計方法 方法資料取得方式主要判斷目的 重測／再測信度同一群人、同一份測驗，間隔一段時間施測兩次跨時間的穩定性 複本信度同一群人作答兩份等值測驗不同試卷的等值性；若間隔施測，也涉及穩定性 折半信度一份測驗施測一次，分成兩半計算相關，再校正內部一致性 庫李、α係數、霍意特法一份測驗施測一次，分析各題得分內部一致性 評分者信度多位評分者評閱同一批作品或表現評分者間的一致性 三、重測與複本：穩定性和等值性 重測信度是同一份測驗在不同時間所得分數的相關。想知道閱讀測驗能否穩定評估能力，可讓同一群學生間隔一段時間作答兩次，再分析兩次得分的相關。 重測法最容易受記憶、練習與訓練影響。間隔過短可能保留答案記憶；間隔過長則可能出現學習、成熟或特質改變。因此，重測時間應配合測量目的，沒有一個適用所有測驗的固定間隔。 複本信度使用題目不同、但測量內容與結構相當的兩份測驗，要求題數、難度與測量特質等盡量等值。若考試範圍相同，學生在不同試卷所得的百分等級卻差異很大，應優先判斷為複本信度不佳。複本可減少記住相同題目的影響，但真正等值的試卷不容易編製。 四、內部一致性與係數的解讀 內部一致性關心同一份測驗各部分是否一致地測量目標特質。折半法、庫李法、α係數與霍意特變異數分析法均屬此類；重測、複本與評分者信度則各自處理其他誤差來源。 折半法：將測驗分成兩個盡量等值的部分，例如奇偶題分半，求兩半總分的相關。兩半相關尚不是全份測驗的信度，需用斯布公式校正。只有一份測驗、只施測一次時，折半法是可行方法。 庫李法：KR-20與KR-21適用於對錯、0與1的二元計分。KR-21採取較簡化的假設，包括各題難度相同；難度差異明顯時，通常比KR-20得到較低的估計值。 α係數：可用於多點計分，也能用於二元計分；二元計分時與KR-20相等。不能把α理解為只能分析李克特量表。 下限估計：在古典測驗理論及相關誤差假設成立時，α可視為信度的下限估計。各題對共同特質的測量強度不同、未滿足必要的等值條件時，α可能低估真實信度。因此，若α為.86且各題鑑別度明顯不同，依此下限估計觀念，理論信度可能大於.86。 霍意特法：以變異數分析估計內部一致性；在相應資料與模型條件下，其結果與α一致。 須分清楚：KR-21的難度相同假設與α的等值測量條件並非同一件事。不能只看到「試題不同」，就斷言所有信度公式必然低估。 五、斯布公式：折半校正與測驗加長 斯布公式為新信度＝nr／〔1＋（n－1）r〕，r是原信度，n是新測驗長度÷原測驗長度。推估時假設新增試題與原試題具有相當的品質及測量特性。 折半校正：若兩半相關為r半，全測驗信度＝2r半／（1＋r半）。這是將半份測驗長度推估為全份長度。 增加題數：原有20題、信度.50，再增加40題，總題數為60題，n＝60÷20＝3。新信度＝3×.50／〔1＋2×.50〕＝.75。 重測、複本與庫李法所得係數，不需像折半相關一樣再作全份長度校正。 六、評分者信度與主觀評量 作文、申論、科學筆記、實作與問題本位學習（PBL）評量，常涉及評分者的判斷，應重視評分者信度。兩位教師依相同寫作量尺評閱同一批作文，再比較評分一致程度，就是此類估計。 在本單元的排序一致性判斷中，兩位評分者採斯皮爾曼等級相關；三位以上評分者採肯德爾和諧係數（Kendall's W）。三位評審共同評閱寫作競賽，適合以評分者信度檢視可信度，並可用W分析排序一致程度。 積差相關高，不代表給分一致。例如一位評分者總比另一位多給10分，兩組分數仍可能高度相關。也要注意，斯皮爾曼與W主要反映排序一致，同樣不能單憑高係數證明分數完全相同；若關心實際給分是否一致，須採相應的一致性分析。 提高評分者信度的方法包括事先訂定評分規準、使用示例作品校準標準、訓練評分者及安排兩位以上評分者。多人評分仍須共同標準，不能保證人數增加就必然公正。 選擇式紙筆評量的計分較客觀；PBL等開放式評量較容易出現評分不一致。不能只依評量形式斷定適合高程度或低程度學生，也不能認定選擇題必然較能評估批判思考。 七、影響信度的因素及信效度關係 在試題品質相當時，增加題數通常提高信度；受試者能力分布較廣，也常得到較高信度。試題過難或過易、施測條件不一致、猜測及身心狀況變動，都可能降低分數的精確性。信度是特定受試團體與施測條件下的估計，不是測驗永遠固定的屬性。 信度是效度的必要條件，但不是充分條件。穩定地測到錯誤的內容，仍不支持預定的分數解釋與用途。 測驗得分與之後的學科能力測驗得分相關：屬預測效度證據。 檢查試題與雙向細目表、課程範圍的符合程度：屬內容效度證據；效度選項中的「內容一致性」應依此理解。 比較預期能力不同的高低分組表現：可提供建構效度證據，並非重測穩定性。 科學筆記分數與學習成就有中度或高度相關，可作為支持證據；但相關本身不能證明使用筆記造成成就提升。 常考陷阱 把穩定性與內部一致性混淆：跨時間看重測；同次施測各題是否一致看折半、庫李或α。 把不同試卷誤判為折半：兩份試卷看複本；一份試卷分兩半才是折半。 把單次施測理解為只能用折半：庫李與α也可單次估計；須配合選項與計分方式判斷。 將測量標準誤、庫李法當成評分者方法：前者描述測量誤差，後者分析試題內部一致性。 把相關當成一致：積差相關高仍可能存在系統性給分差距；等級相關與W也主要檢驗排序。 斯布公式只算增加題數：「再增加40題」須先加回原有20題，長度倍數為3。 把所有題目差異都說成低估原因：KR-21的難度假設與α的下限估計，須分別理解。 把效度方法當成信度：比對內容、與外部效標相關、比較能力群體，均不能直接回答跨時間是否穩定。 記憶口訣 「重穩、複等、半要斯布、庫阿一致、評看人」。 「兩人斯皮、多人肯德」：記住排序一致性的常見方法。 「加長先算總倍數；有信未必有效」。