阿摩線上測驗
登入
阿摩線上測驗
登入
學習重點 分清信度看一致性、效度看是否測到預定目標、鑑別度看能否區分能力差異，三者不能互相替代。 掌握檢核方法：「目標與試題對照、專家審查」屬內容效度；「題目間相關」屬內部一致性信度；「同一測驗施測兩次求相關」屬重測信度。 增加題數時，求信度靠增加同質、優質試題；求效度靠兼顧內容效度（涵蓋目標）與構念效度（排除無關能力干擾）。 固定猜同一答案會使反應較一致而提高信度，但分數無法反映真實能力而降低效度。 系統性誤差穩定、一致地影響分數，主要影響效度；隨機誤差偶發、不穩定，主要影響信度。 核心觀念 一、信度、效度與鑑別度的基本區辨 概念判斷重點典型檢核方式 信度測量結果是否穩定、一致，隨機誤差是否較小。重測信度、複本信度、內部一致性（題目間相關、折半）、評分者間一致性。 效度是否測到預定的知識、能力或特質，分數的解釋與用途是否有證據支持。內容效度（試題與目標對照、專家審查）、構念效度（是否符合理論構念）、效標關聯效度（與外在效標的關係）。 鑑別度試題能否區分能力高低不同的受測者。比較高低分組答對率差異，或檢視試題得分與測驗總分的相關。 高信度不保證高效度。測驗可能每次都穩定地測到錯誤的能力。信度是效度的必要條件，但不是充分條件。 二、內容效度：從教學目標與命題範圍檢查 學校定期評量屬學科成就測驗，最重視內容效度：試題是否適切涵蓋已教內容與預定學習目標。最直接的作法是列出考試範圍內所有學習目標，再請幾位熟悉教材的學科教師（專家）審查試題與目標之間的一致性，確認重要內容沒有遺漏、各部分比重合理。 可運用雙向細目表，將「教材內容」與「認知歷程或能力層次」交叉配置，避免整份測驗集中在某一單元或只考記憶層次。 注意以下作法不是在建立效度： 將同一單元試題排在一起：只是試題編排方式，與是否測到目標無關。 計算各題目之間相關係數的平均值：屬內部一致性信度。 同一班施測兩次，求兩次分數的積差相關：屬重測信度。 內容效度適合學科成就測驗；人格等心理特質測驗沒有明確的教材範圍，主要依賴構念效度，因此「內容效度較適合人格測驗」是錯誤敘述。 三、信度的檢核與影響因素 重測信度是以同一測驗對同一群人施測兩次，計算兩次分數的相關，反映跨時間的穩定性。其高低會受間隔時間長短影響：間隔太短，受記憶或練習效果影響，信度可能偏高；間隔太長，受學習、成熟或特質改變影響，信度通常降低。 內部一致性著重同一份測驗內各題是否一致地測量相同內容或特質，只提供信度資訊，不能證明試題涵蓋教學目標。 團體異質性：受測者能力差異越大（異質性高），分數分布越廣，信度係數通常越高；團體越同質、分數範圍受限，信度係數越低。因此「異質性高的班級信度較低」是錯誤敘述。 題數：在題目品質相當、測量相同能力的前提下，題數越多，取樣越充分，偶然因素相互抵消，信度越高。 四、增加題數如何同時提升信度與效度（申論重點） 增加題數的前提是題目品質良好，且作答時間足夠；若新增題目含糊、偏離目標或造成過度疲勞，品質未必提升。 目標可直接用於申論的具體作法 提高信度作法一增加同類型（同質）試題：新增題目須與原測驗測量相同能力，使題目間一致性提高、取樣擴大，降低偶然答對或失誤的影響。 提高信度作法二新增試題須難度適中、鑑別度良好：經試題分析刪修過難、過易、鑑別度不佳或語意不清、答案有爭議的題目，並統一施測程序與評分標準，減少測量誤差。 提高效度作法一（內容效度）依教學目標與雙向細目表增題：新增試題須適當涵蓋各單元重要內容與不同認知層次，比例合理，並請學科教師或專家審查試題與目標的一致性。 提高效度作法二（構念效度）確認新增題目確實測量預定能力：刪除冗長、無關的修飾文字，降低不必要的閱讀負荷；避免題意含糊、雙重否定，以及「以上皆是／以上皆非」等可能提供猜題線索的選項，排除非目標因素干擾。 「同質試題」指測量相同目標能力，不是將同一題換字反覆出現。若只在某一小範圍增加類似題目，可能提高一致性，卻使內容取樣失衡而損害效度，因此信度與效度必須兼顧。 以自然科試題為例：題目若選項本身有誤（例如「講話」其實也是靠聲帶振動發聲，使否定題沒有正確答案），或題幹充滿與科學概念無關的抒情描述、選項使用「以上皆是／以上皆非」，都會讓分數混入閱讀能力、猜題技巧等無關因素，降低效度。 五、固定猜答與信效度的判讀 在時間不足且不倒扣的情況下，所有學生對未完成題目都猜同一個答案（如固定猜 C），作答反應變得一致、可預測，減少了隨意亂猜造成的隨機變異，因此提高信度；但這些題目的得分取決於答案配置而非學生的真實能力，分數無法反映預定測量的學科能力，因此降低效度。 判斷關鍵：一致不等於正確測量。此題型答案為「提高信度、降低效度」。 六、系統性誤差與隨機誤差 類型特徵與主要影響判斷例子 系統性誤差穩定、一致、每次都以相同方向影響分數，使分數偏離欲測目標，主要影響效度。語文能力不好，導致數學測驗表現不好（每次考數學都會受影響，測到的混入語文能力）。 隨機誤差偶發、不穩定，方向與程度難以預測，主要影響信度。答案卡劃記錯誤、考前吃壞肚子、老師某次成績加總錯誤而多得 5 分。 判斷要看誤差是否穩定持續存在，而不是看分數增加或減少。一次性的加總錯誤屬偶發事件，即使是「多得固定 5 分」，仍是隨機誤差；語文能力是受測者穩定的特質，每次施測都會一致地干擾數學表現，才是系統性誤差。 七、鑑別度須配合評量目的 甄選、排序的常模參照評量重視區分能力高低，需要高鑑別度試題。補救教學評量屬診斷性或標準參照評量，目的在找出學生的學習困難、確認是否達到基本能力，不以區分學生程度為主，因此「補救教學評量應強調高鑑別度」是錯誤敘述。教學後多數學生答對核心題目，可能代表已達精熟，不能只因鑑別度低就否定題目價值。 常考陷阱 「把同一單元的題目排在一起，就能提高效度」：這只是編排方式；效度要靠目標與試題對照、專家審查。 「計算題目間相關或兩次施測分數相關，可建立效度」：前者是內部一致性信度，後者是重測信度。 「固定猜同一答案會降低信度」：反應一致反而提高信度，被降低的是效度。 「信度高，測驗就一定有效」：穩定的偏誤仍可能使測驗偏離原定目標。 「成績加總錯誤多得固定分數，是系統性誤差」：單次偶發的疏失屬隨機誤差；穩定的語文能力干擾才是系統性誤差。 「內容效度較適合人格測驗」：內容效度適合成就測驗，人格測驗重構念效度。 「異質性高的班級信度較低」：相反，異質性越高，信度係數通常越高。 「重測信度不受間隔時間影響」：間隔長短會影響重測信度的高低。 「補救教學評量應強調高鑑別度」：補救教學重在診斷困難與確認精熟。 「增加題數就一定提高品質」：須兼顧同質性、題目品質、內容代表性及作答時間。 記憶口訣 「信看穩，效看準，鑑別看區分；內容對目標，重測看兩回，題間求一致。」 「加題求信：同質、優質；加題求效：涵蓋、對準。」 「固定猜：穩了（信↑）卻不準（效↓）。系統偏，傷效度；隨機晃，傷信度。」 「異質高，信度高；補救找缺口，不比鑑別高。」