跳到正文

研究指南

AI 辅助证据核对

配对比较:计算变化前保留一一匹配关系

同一对象测量两次时,变化的不确定性取决于对象内的差值。把前后两列当成无关样本,会丢掉配对信息,可能误报精度。比较研究工作流修改前后表现,应先保留观测匹配键。

NIST配对观测资料定义自然配对,并计算差值统计量。自然配对来自设计,不是把两列无关数字分别排序,就能人为创造。

定义配对和符号方向

记录稳定对象标识、测量条件及前后值。明确d是后减前,还是前减后。正数对某指标表示改善,对另一指标可能表示变差,符号必须有经济含义。

对n个完整配对,逐个算d,再算差值均值与样本标准差s[d]。在各配对独立及适用条件下,均值差标准误为s[d]÷根号n。独立要求针对配对之间,配对内部本来就是相关测量。

方差恒等式为:后减前的方差=后方差+前方差−2倍前后协方差。正相关时忽略它可能损失精度,负相关时忽略则可能低估不确定性。不能说任何配对都会无条件缩窄区间。

假设案例:四份相同文档

假设虚构研究者用两种流程对同样四份文档计时,分钟口径一致,数值更大代表完成更慢。

文档修改前修改后后减前
A1011+1
B2022+2
C3029−1
D4042+2

前后均值为25与26分钟,差值为1、2、负1、2,平均增加1分钟。相对均值的离差平方和为6,样本差值方差6÷3=2,标准差根号2约1.4142分钟,配对标准误约0.7071分钟。

若错当独立样本,分别使用两列方差约166.6667、168.6667,得到根号(166.6667÷4+168.6667÷4)约9.1561分钟。差别来自文档难度同时影响两列,在配对差中大幅抵销。

四个虚构配对只说明算术,不是任何流程总体速度的可靠估计。小样本区间需要对应假设,四份文档也不能代表所有格式任务。

保持设计完整

计算前核对缺失配对。只有前值的对象没有已观察变化,不能用组均值填后值只为保住n。分别报告完整对、未匹配案例,以及缺失是否可能选择更难或更容易对象。

保留顺序与迁移效应。同一复核者总先用旧流程,熟悉内容会影响第二次计时。匹配文档只控制身份,不会自动消除练习、更换复核者或指令变化,更强实验设计需另外处理。

跨公司或跨证券比较时,相同行号不是自然配对。按特征匹配属于需要解释的设计,因果假设也不同。本文算术不能证明某个匹配对照就是有效反事实。

交付时保留配对键、符号、差值汇总与限制。去重、标识修复、任务变化后重查。描述变化即使配对正确,也不能独立确定原因。

核对单位同样必要。修改前用秒、修改后用分钟,差值在匹配完美时仍无意义。若一个对象有多次测量,先按事先规定方法汇总或保留层级模型,不能把重复运行当成更多独立文档,虚增配对样本量。

可用一个恒等式复查:同一组等权完整配对的差值均值,应等于两列完整配对均值之差。若不相等,先查行错位、缺失筛选和权重。两列分别过滤成不同样本时,该恒等式不再按原口径适用。有权重的配对同样要说明估计量和方差方法,不能只给一侧加权。小样本中差值分布及异常点也影响区间条件,应展示逐对差值,而不是仅凭前后各自分布看起来正常就通过。计时设备分辨率改变,也应单列为测量条件变化。

常见问题

两列行数相同就能配对吗?

不能。每行必须有设计建立的真实匹配,或明确论证的匹配规则。

配对分析证明流程导致改善吗?

不能。它度量对象内变化,顺序、时间和其他条件仍可能解释结果。

相关阅读