CTT 与 IRT 有什么区别?
传统测验理论(CTT)把总分当作能力。它简单直接,但结果绑定在具体卷本上:换一套题,分数就不再可比。
IRT(项目反应理论)对每道题的难度、区分度单独建模,把作答转化为不依赖具体题目组合的能力估计。跨卷比较、题库建设、自适应测验因此成为可能——这也是 PISA 与国家级素养调查以 IRT 为技术底座的原因。
传统测验理论(CTT)把总分当作能力。它简单直接,但结果绑定在具体卷本上:换一套题,分数就不再可比。
IRT(项目反应理论)对每道题的难度、区分度单独建模,把作答转化为不依赖具体题目组合的能力估计。跨卷比较、题库建设、自适应测验因此成为可能——这也是 PISA 与国家级素养调查以 IRT 为技术底座的原因。
对/错计分常用 Rasch(1PL)或 2PL;多级计分(李克特量表、部分给分题)用 PCM、RSM 或 GPCM。复杂测评还会用到题间多维模型、潜在回归与多组分析。
选型取决于题型、样本量与研究目的。选错模型不会报错——它只会悄悄地、系统性地扭曲后续所有能力估计。
不同年份、不同卷本的分数不能直接比较——卷子难度不同。等值链接通过锚题设计与参数链接,把不同测验放到同一把尺子上。任何「趋势变化」的结论都以它为前提。
做错了,「提升」可能只是卷子变简单了。对支撑决策的调查而言,这不是技术细节——它直接改变结论。
当样本结构与总体不一致时,需要调整权重,使加权后的估计匹配总体边际或达标口径,同时尽量少扭曲原有抽样权重。
手工调权既不严谨也不可复现。严谨的做法是把它形式化为最优化问题——遵循 Deville & Särndal(1992)的校准理论——并配有效样本量与设计效应诊断。
按省份×性别×城乡×年龄×教育交叉统计时,常有单元样本过小甚至为零,比例估计不稳。必须合并单元——但合并后每个单元样本要为正,子群分级比例还要落在目标区间。
这是一个约束复杂的组合优化问题,拍脑袋合并会悄悄破坏估计。它值得一个确定性的最优解,而不是逐格的主观判断。
能力相同但来自不同群体(城乡、性别)的作答者,若在某道题上表现系统性不同,该题可能存在偏差——它测的是「属于哪个群体」,而不是能力。
DIF 检验就是找出这类题目,是保证测评公平性的关键步骤——对覆盖多样人群的全国性调查尤其重要。