惟安数据科技 WEIAN DATA
首页 / 方法百科

大型测评背后的方法,
大白话讲清

让您清楚自己买的是什么:每个方法解决什么问题、为什么重要、做得不严谨时会错在哪。

§1 CTT 与 IRT §2 模型选择 §3 等值链接 §4 校准加权 §5 单元合并 §6 DIF 检验
§ 1 — 基础

CTT 与 IRT 有什么区别?

传统测验理论(CTT)把总分当作能力。它简单直接,但结果绑定在具体卷本上:换一套题,分数就不再可比。

IRT(项目反应理论)对每道题的难度、区分度单独建模,把作答转化为不依赖具体题目组合的能力估计。跨卷比较、题库建设、自适应测验因此成为可能——这也是 PISA 与国家级素养调查以 IRT 为技术底座的原因。

惟安怎么做:自研 IRTC 引擎 覆盖 Rasch/1PL、2PL、PCM、RSM、GPCM 与多维模型,已在百万级样本上验证。
§ 2 — 建模

IRT 模型家族:该用哪一个?

对/错计分常用 Rasch(1PL)或 2PL;多级计分(李克特量表、部分给分题)用 PCM、RSM 或 GPCM。复杂测评还会用到题间多维模型、潜在回归与多组分析。

选型取决于题型、样本量与研究目的。选错模型不会报错——它只会悄悄地、系统性地扭曲后续所有能力估计。

惟安怎么做:模型选择附书面依据与拟合诊断,而不是无脑用默认设置。
§ 3 — 可比性

什么是等值链接?

不同年份、不同卷本的分数不能直接比较——卷子难度不同。等值链接通过锚题设计与参数链接,把不同测验放到同一把尺子上。任何「趋势变化」的结论都以它为前提。

做错了,「提升」可能只是卷子变简单了。对支撑决策的调查而言,这不是技术细节——它直接改变结论。

惟安怎么做:锚题设计审查、链接常数诊断、全程可复现的等值管线与完整文档。
§ 4 — 代表性

什么是校准加权?

当样本结构与总体不一致时,需要调整权重,使加权后的估计匹配总体边际或达标口径,同时尽量少扭曲原有抽样权重。

手工调权既不严谨也不可复现。严谨的做法是把它形式化为最优化问题——遵循 Deville & Särndal(1992)的校准理论——并配有效样本量与设计效应诊断。

惟安怎么做:自研 ratecalib 包(已发布于 CRAN)将其求解为有界凸二次规划,提供 soft/exact 两种模式与内置诊断。
§ 5 — 后处理

小样本人口单元怎么处理?

按省份×性别×城乡×年龄×教育交叉统计时,常有单元样本过小甚至为零,比例估计不稳。必须合并单元——但合并后每个单元样本要为正,子群分级比例还要落在目标区间。

这是一个约束复杂的组合优化问题,拍脑袋合并会悄悄破坏估计。它值得一个确定性的最优解,而不是逐格的主观判断。

惟安怎么做:自研 mergecalib 包 用集合划分整数规划求解,不可行时诚实报告,而非悄悄妥协。
§ 6 — 公平性

什么是 DIF(题目功能差异)?

能力相同但来自不同群体(城乡、性别)的作答者,若在某道题上表现系统性不同,该题可能存在偏差——它测的是「属于哪个群体」,而不是能力。

DIF 检验就是找出这类题目,是保证测评公平性的关键步骤——对覆盖多样人群的全国性调查尤其重要。

惟安怎么做:DIF 筛查内置于标准建模流程,被标记的题目与客户的内容专家共同复核。

您的项目
有方法学问题?

发送邮件洽谈 →
前期可行性评估免费——描述您的项目,我们会给出技术方案。
这些方法落地成的工具见工具案例

contact@weiandata.com