跳到正文

研究指南

AI 辅助证据核对

重复测量:拆分同轮误差与跨日误差

一天下午重测十二次,与连续三天每天测四次,提供的证据不同。后者能够观察影响整天结果的共同变化,前者即使产生很多行数据,也无法把这部分变化与对象本身的水平分开。研究流程的重复性预算,应先写清采集层级,再计算不确定度。

本文交付固定对象连续测量的方差拆分:同日重复误差、日均值变化,以及扣除日均值内测量误差后的日间分量。这与分类标注者的一致率或kappa不同;目标是知道换一天运行同一流程,会多出什么变动,以及多测几次究竟减少哪一种误差。

冻结对象并定义一次重复

假设研究人员用固定图表提取流程,多次读取同一归档图片中的一个数值。先保存图片字节、坐标尺度、单位和目标量,确保对象没有变化。每天改读公司刚更新的图表,会把真实信息变化混入工具误差,不能直接用于这里的拆分。

一次重复应是重新执行测量操作。打开缓存结果,或把同一输出复制四行,不会新增重复性证据。应记录日期、重复序号、软件版本、操作者及参数;若使用模型提取,还要保留相关运行条件。研究目标是否包含不同操作者,应在采集前决定,不能看见异常后临时扩大误差来源。

NIST重复性分析的合并规则按自由度加权方差,而非直接平均标准差。原文针对计量仪器研究;下面归档图表的工作表是对嵌套设计的自拟应用,不表示NIST认证某个金融数据流程。

完整计算三天、每天四次的例子

假设独立加性随机效应模型:y[d,j]=theta+D[d]+e[d,j]。theta是固定对象水平,D是均值零、方差tau²的日效应,e是均值零、方差sigma²的同日误差。不同日效应互相独立,同日误差彼此独立,且与日效应独立;三个日期的方差结构稳定。这些是需要检验的模型前提,并不是表格列名自动赋予数据的属性。

构造每天四个读数:在日均值上依次加−√3、−√3、+√3、+√3。三个日均值分别为47、50、53。保留平方根表达,可以避免先把读数舍入再造成方差误差。

日期四次读数均值日内离均差平方和日内自由度
第一天47123
第二天50123
第三天53123

每一天样本方差都是12除以3,等于4。合并时先加平方和,再加自由度:组内方差估计为36除以9,等于4,标准差为2,日内自由度共9。这里三个标准差碰巧相同,不能因此把“直接平均标准差”误当一般规则;不相同时必须仍用方差及自由度。

三个日均值的总均值为50。日均值样本方差是(9+0+9)除以(3−1),等于9,标准差为3,只有2个自由度。这个9同时包含日效应以及四次测量均值残留的组内误差。后者方差为4除以4,即1,所以日效应方差估计为9−1=8。

NIST再现性分析的“Relationship to day effect”部分给出这一扣除关系。工作表应把日均值方差9与分离后的日效应方差8分栏;把两者都叫“日间方差”,会使读者无法判断后面是否重复加入了组内误差。

输出目标决定该用哪个方差

在上述独立模型下,用估计分量代入,可比较三种交付。

报告结果方差标准差
随机一天的一次读数8+4=123.464
一天四次读数均值8+4/4=93.000
三天各四次的总均值8/3+4/12=31.732

最后一行同时平均了三个独立日效应与十二个组内误差。这是指定采集设计下结果的不确定度计算,不是所有单次读数的散布,也不是未知真实值的完整置信区间。分量本身还来自有限样本,不能把代入值当成精确已知总体参数。

若把相同十二次预算全放同一天,总均值方差变成8+4/12=8.333,标准差约2.887。增加同日次数减少了组内项,却保留共同日效应。把十二行全部当作独立重复,会抹去本来希望检查的日层级。两种设计总行数相同,不代表信息相同。

此例也没有证明三天足够。日均值只有两个自由度,日效应估计很不稳定。若用于重要验收,应进一步评估分量不确定度;如果日效应占主导,更相关的设计改变是增加独立日期,而非无限重跑某一天。

负分量不代表物理负方差

另设一个边界例:组内方差仍为4,每天四次,但日均值方差估计只有0.5。相减得到0.5−4/4=−0.5。真实方差不能为负;两个带抽样误差的估计相减,却可能得到负数。

应保留未约束估计与计算方法,说明报告如何处理边界,例如展示受非负约束的日分量为零,同时在审计表保留原始−0.5。不能把负估计说成总体完全没有日效应的证明。NIST原文也提示,有限自由度下的负分量未必可靠地刻画更大范围的过程。

另一个不同机制是共同偏差:流程可能每次都把图表读高十单位,同时组内和日间方差都很小。重复性衡量精密度,不认证准确性;要追查共同偏差,需要独立参考或已知检查值。把同一偏差平均更多次,不会让它自动消失。

合并前检查层级与稳定性

按采集顺序画出单次读数及日均值。持续学习、软件更新或参考对象变化,可能违背可交换随机日期假设。此时不要把趋势重新命名为稳定随机方差;应定位版本边界、明确建模变化,或重新采集稳定条件下的数据。

有多个图表对象时,要先保留对象标识,在各水平检查重复性是否相近,再决定能否合并。不同对象的真实数值差异不是工具噪声。每天重复次数不等时,也不能随意把平均次数代入平衡设计公式。缺测和失败尝试应留原因,不能选择性删除困难日期,制造更小方差。

核验步骤保存记录不满足时的处理
同一对象归档字节、尺度、单位、哈希将真实变化分开
新的重复独立运行及参数缓存复制不计有效重复
嵌套层级对象、日期、轮次、序号先重建层级再估计
合并方式平方和及自由度不直接平均标准差
模型诊断水平、日期、顺序图划分时期或修订假设
输出目标单次、日均或跨日均值使用该目标对应方差

最终交付要同时保留分量估计和采集日程。新增独立日期、发现共同软件变化、参考对象被修订,或验证样本暴露持续偏差,都应触发更新。更精确的同日均值不能消除未解决的日间证据,精密度良好也不等于研究量本身正确。

用信息量不等的小例审查合并

在套用平衡日期公式之前,先单独检验合并算术。设两个可比组的组内方差分别为4和9,自由度分别为3和7。合并方差为(3乘4+7乘9)除以(3+7),即7.5,标准差约2.739。如果直接平均标准差2和3,会得2.5,平方为6.25,已经是另一个量;直接平均两个方差也忽略信息量差别。

这个检查仅验证可比组内平方和如何合并,并没有把不平衡多层设计变成平衡设计。计算日分量时仍须保留每天实际重复次数,选择适合该设计的方法。若某天丢失一次测量,不能因为合并检查通过,就继续把每天次数填成主例的四次。

工作记录应保存计划次数、实际尝试、可用读数和失败原因。如果失败取决于数值难度,剩余样本的误差结构可能已经变化。先调查失败是否来自相同对象、参数或版本,再决定是修复采集、分组分析还是另建模型;不能为了得到正分量而删除某天。

同样,日期不应仅是计算机日历标签。如果一次所谓独立日期实际上沿用未重置的缓存和状态,共同误差会跨日相关,三天平均的8/3项就缺少原先独立性基础。应说明运行环境怎样重置、哪些条件有意保留,让日期层级与真正希望观察的再现条件对应。

交付中的每一个精度数字都应附上适用单位:一次读数、同日均值或跨日均值。复核者若只有一个SD,很难知道它能否用于未来换日测量。把单位及设计写在同一行,也能避免后续团队把较小的均值SD误贴给单次输出。

常见问题

一天测十二次能否替代三天检查?

两者减少的方差项不同。同日十二次没有独立观察三个日效应,不能视作等价采集设计。

负的日方差应直接作为真实数值报告吗?

不能。保留未约束估计和边界处理规则;受约束显示零也不证明总体日效应消失。

相关阅读