跳到正文

研究指南

AI 辅助证据核对

等效性核验:检验之前定义可接受差异

没有检出差异,不等于已经证明两个研究流程足够接近。噪声很大的比较可能无法拒绝零,同时仍允许实质上不可接受的差异。等效性研究要先规定可接受的平均差,再判断数据能否排除达到或超出这些边界的情况。

交付应包括预先设定的界值、正确的配对分析,以及区分均值等效、存在非零差异和精度不足的决策表。均值等效不能直接说明每份文档结果可互换,这两个目标对应不同的证据要求。

采集前定义方向和容许界

假设旧流程与新流程处理相同归档文档,结果是完成时间,单位分钟。定义d为新减旧,正值表示新流程更慢。在这个假设运营决策中,相关人员事先决定平均变化严格位于−2至+2分钟可以接受。

两分钟需要实际用途解释,例如下游排程能容忍这一平均变化,同时维持要求的工作质量。不能因为试验区间刚好装得进去,就倒推选两分钟。要保存合格文档人口、计时口径、失败处理及目标量。如果真正要求是几乎每份文档都不超过两分钟差,本篇的均值等效设计就没有回答实际问题。

statsmodels配对TOST官方文档说明使用两个单侧t检验处理配对均值差,函数方向为x1减x2。因此按本文约定应让x1为新流程、x2为旧流程。应保留配对身份,不能因页面个别参数描述用了通用独立样本文字,就把两个读数拆成独立组。

把原假设完整写出

总体平均差记为mu。非等效原假设是mu≤−2或者mu≥2;等效备择是假定−2<mu<2。在alpha为0.05时,两项单侧检验必须分别拒绝各自边界原假设。

若有n个独立文档配对,差值近似满足正态模型,SE为差值标准差除以√n,自由度n−1。下边界统计量为(平均差+2)除以SE,查上尾;上边界统计量为(平均差−2)除以SE,查下尾。合并TOST的p值取两项单侧p值较大者,不是相加,只通过一侧也不足以等效。

对应区间规则是双侧百分之九十t区间严格落在[−2,2]内部。每项单侧检验仍用百分之五,不需要再次把这两项的alpha各拆成百分之二点五。边界恰好接触时,应按事先规定的严格界和精确数值判断,不能用舍入后的显示结果偷换通过条件。

两个都未检出零差异的研究

设n为25对,自由度24,t分布第九十五百分位约1.710882。构造两组样本汇总。

研究平均差SE百分之九十区间均值等效判断
A00.584494[−1,1]两侧都在界内
B−1.51.461235[−4,1]未排除下边界

A的区间半宽是1.710882乘0.584494,等于1,两项单侧检验都能排除边界,因此支持事先定义的平均等效。

B的半宽为2.5,区间允许低于−2的平均变化,不能建立等效,即使它也允许零。限制它的是下边界检验:(−1.5+2)除以1.461235,约0.342,不能在百分之五水平拒绝。未建立等效,也不等于已证明真实均值在容许界外,应保留无结论状态。

普通双侧百分之九十五均值差区间用24自由度、约2.063899的临界值。A约为[−1.206,1.206],B约为[−4.516,1.516],两者都含零。如果只贴“差异无统计显著性”,就会把精度明显不同的研究压成同一个结论。

由于√25为5,上表SE对应的配对差SD均为SE的五倍,不是两独立组标准误。真实研究必须保存原始配对差,汇总表无法单独诊断偏态、依赖或选择性失败,也不能用四舍五入后的SE重新生成唯一原始数据。

可检出的差异也可能足够小

第三个研究C仍用25对和同一界值,设平均差0.5、SE为0.1。百分之九十区间约[0.329,0.671],完整位于界内;普通百分之九十五区间约[0.294,0.706],不含零。

因此C可以同时支持“平均差非零”与“按两分钟界值均值等效”。两者不冲突:一个比较精确的零,一个比较实质不可接受的差异。更准确的文字是“存在小幅正平均时间差,仍位于预设均值容许界内”,不必强迫它只能归入完全相同或不同。

这些数字不验证两分钟是否合理。如果实际用途需要更窄界值,观测不变,等效结论也可能改变。因此容许界的理由属于设计记录,不是p值出来后的装饰。

个体差与缺失机制另行保留

平均会抵消差异。某些文档新流程慢很多,另一些快很多,仍可能得到接近零的均值。即使均值等效,对有严格逐份截止时间的文档也可能不能替代。应检查差值分布;若实际目标是个体互换,需另设个体容许界并做一致性研究。

自然配对还要求分析层级上的独立性。从同一个任务重复拆出二十五份高度相关文档,未必提供简单t模型假定的信息。总按固定顺序跑旧流程再跑新流程,也可能引入学习或缓存效果,应在设计时安排顺序及执行条件。

失败与缺测需要采集前固定规则。只删除新流程失败项,会让剩下容易完成的样本看似时间等效。应同时报告分析人口、失败数量及其分布。完整配对时间分析不能证明成功率等效,也不能证明输出准确性等效。

可复核的执行顺序

阶段必需证据不满足时如何处理
定义目标均值、方向、单位、界值暂缓等效声明
采集配对标识、版本、计时、失败状态修复连接并保留失败
诊断差值分布及依赖结构修订模型或采集设计
计算均值、SD、SE、自由度、两单侧结果两个边界都保存
交叉核验百分之九十区间与原界值与检验冲突时追查原因
报告等效状态及百分之九十五差异区间区分精度与实际意义

软件结果冲突时,先查配对顺序、权重、转换、缺失处理及差值方向,不要先改容许界。官方函数页是方法参考,本文数值是可独立复算的t分布例,不声称已用该软件处理真实流程样本。

按预定方案新增独立配对,可以提升精度并解决不确定比较;流程版本、计时定义或容许界变化,则形成新的研究规格,应保留原判断并给更新日期。不断采集直到区间刚好通过,需要另外设计顺序分析,不能把多次查看结果自动当成一次固定研究。

用触及边界的例子检查实现

另构造25对的汇总,平均差−0.5,SE为1.5除以1.710882,约0.876741,百分之九十区间为[−2,1]。下边界单侧检验恰在百分之五阈值,统计量等于24自由度t分布第九十五百分位。按本文严格位于内部的约定,触及界值不能建立等效。

显示端点−2.00还可能掩盖略在内部或外部的未舍入值,因此应以全精度计算决定,而不是从显示的两位小数判断。审计输出要保存两项尾概率、数值精度和比较约定;软件与区间检查冲突,应先追查复现问题,不能选择恰好通过的表示方式。

这个边界例不是临时增加另一种实际界值,而是检验实现是否遵守原先规则。对A同样如此:它支持已指定的平均目标,不能升级成每份文档都接近。如果最终系统使用了权重、对数尺度或非完整配对,原来的简单t计算就不再自动对应实际程序,应重新说明目标及方法。

也要区分双侧等效与只关注变慢的一侧非劣效要求。若业务真正只担心新流程平均慢过两分钟,而对明显加快没有限制,研究问题就改变了;应在采集前选相应单侧设计,不能在TOST某一侧失败后才宣称原来只关心另一侧。

最终报告可将普通差异证据和等效证据并排,而不让两者互相替代。结果可能支持小但非零的可接受变化,也可能两项都无结论。保留这样的状态比强行写成“完全一样”更有助于决定是否补样本、限制用途或重做流程。

界值记录还要说明由谁为哪项决策制定。复核者若对可接受的平均延迟本来就有分歧,应先解决用途问题,再解释检验结果。同一数据可以支持一个预定用途,却不足以支持更严格用途;保留两套明确规格,差异才可解释。不能让统计软件替运营方决定什么损失可以接受,也不能把原用途通过的结论移给未经讨论的新目标。

常见问题

普通差异检验p值大能否证明等效?

不能。B无法拒绝零,却仍允许不可接受的均值差。等效要求同时排除预设两侧边界。

TOST通过是否说明每份文档都可互换?

本例TOST仅针对总体平均差。个体差额、失败率与准确性需要其他证据。

相关阅读