惟安数据科技 WEIAN DATA
首页 / 自研工具与技术案例

一条自研工具链,贯通
建模 → 加权 → 合并

不是零散脚本:围绕大规模调查测评的完整数据流,自主构建三个相互衔接的专业 R 包。全部自主开发、拥有完整知识产权,不含任何客户数据。

原始作答数据
IRTC建模估计 ratecalib校准加权 mergecalib单元合并
可信结论
案例 01
IRTC
高性能项目反应理论(IRT)估计引擎
项目反应理论 C++ / Rcpp 流式低内存 26 组测试 CRAN 即将发布
■ 问题背景

大型能力与素养测评动辄数十万、上百万被试,题目多、维度多。传统 IRT 软件在这种规模下常因内存爆炸或速度过慢而无法完成估计,商业软件又难以定制。研究团队需要一个既专业、又能在普通工作站上跑通大数据的估计引擎。

■ 解决方案

IRTC 是自包含的边际极大似然(MML)估计引擎,底层以 C++(Rcpp / RcppArmadillo)实现,并针对大规模数据做了系统性性能设计:

  • 模型覆盖:Rasch/1PL、PCM、RSM、2PL、GPCM;单维与题间多维;支持潜在回归、多组分析、个案权重与 EAP 能力估计。
  • 性能设计:多线程并行 E 步、按被试分块的流式后验计算(不保存完整「被试 × 节点」后验矩阵)、维度分解、解析梯度与混合 Newton M 步、引擎自动路由。
  • 可信赖机制:可选的积分节点剪枝配有分层实测误差核查与书面报告——默认走精确路径,绝不悄悄改变统计目标。
■ 成果与亮点
  • 流式引擎已在原型基准中完成百万样本、多维 GPCM 估计,把传统方法所需的超大内存压缩到普通工作站可承受的范围。
  • 提供 auto / grid / streaming 三种引擎与自动路由,并记录选择理由——默认易用,需要时可控。
  • 26 组自动化测试与中文零基础使用手册,工程质量对标正规开源项目。
对您的项目意味着什么:这是惟安「IRT 技术积累 + 大规模数据工程」的旗舰证明,可作为定制测评建模项目的核心引擎,按您的需求裁剪与扩展。想先弄懂 IRT 本身?见 方法百科 · CTT 与 IRT
案例 02
ratecalib
多子群通过率达标校准加权
校准加权 凸二次规划 13 组测试 MIT 已发布 CRAN
在 CRAN 上查看 →
■ 问题背景

调查与测评常需要让总体及多个重叠子群的通过率/达标率(按地区、性别、城乡等口径)逼近或精确匹配给定目标,同时不能破坏原有抽样权重结构与人口边际。手工调权既不严谨也不可复现。

■ 解决方案
  • 把业务需求形式化为有界凸二次规划(QP),在「人口单元 × 结果」聚合层面求解——严谨,且在大样本上高效。
  • soft(逼近目标)与 exact(精确匹配)两种模式,均保持初始权重结构与总体边际;方法学基础为 Deville & Särndal(1992)校准加权理论。
  • 实用配套:一步式接口、求解前数据检查、目标表构建、有效样本量(ESS)与设计效应诊断、示例数据;采用 osqp 高性能求解器。
■ 成果与亮点
  • 已发布于 CRAN(MIT 许可),含 13 组自动化测试。
  • 把实际的达标校准难题变成可复现、可诊断的标准流程。
对您的项目意味着什么:它证明了惟安把「业务口径」翻译成「数学最优化问题」并落地为工具的能力——这类达标校准需求在各类调查项目中反复出现。原理讲解见 方法百科 · 什么是校准加权
案例 03
mergecalib
区间校准目标下的确定性单元合并
混合整数规划 调查后处理 16 组测试 MIT CRAN 即将发布
■ 问题背景

按人口单元(省份×性别×城乡×年龄×教育)统计分级结果时,常有单元样本过小甚至为零,比例估计不稳。既要合并小单元,又要让省级与全国子群的分级(如 A/B/C/D)比例落在目标区间、每个最终单元样本为正——这是约束复杂、手工处理极易出错的组合优化问题。

■ 解决方案
  • 集合划分混合整数线性规划(MILP)求解省内单元合并方案。
  • 字典序目标:依次最小化合并样本量、人口距离、结果异质性、权重扭曲与合并次数。
  • 诚实设计:约束不可行时明确报告,而不是悄悄放松目标。
■ 成果与亮点
  • 确定性、可复现的合并方案,取代逐格的主观判断。
  • MIT 开源,16 组自动化测试;即将提交 CRAN。
对您的项目意味着什么:它与 ratecalib 一起覆盖调查数据的后处理环节——这个不起眼的环节,正是许多公开估计悄悄出错的地方。原理讲解见 方法百科 · 小样本单元合并
* 三个包均为惟安自主开发、拥有完整知识产权。案例不含任何客户项目名称与敏感数据。

想为您的项目
定制这样的工具?

发送邮件洽谈 →
工具链的定制开发、裁剪与扩展均可洽谈,前期评估免费
合作流程见首页 · 合作流程

contact@weiandata.com