测量一致性:高相关也可能掩盖不可用差额
两个提取方法可能把文档排序排得几乎一样,却仍然不能互相替代。相关性描述共同变化;互换性关心某份文档上的数值差是否小到可接受。平均差异检验又是第三个问题,不能独自解决个体差额是否合格。
研究交付应是带预设容许界的配对差工作表,分别列出平均偏差、个体差的散布、一致性界限和模型诊断。原方法并不自动等于真值。两个流程可以彼此很接近,却共同偏离独立参考,因此一致性与准确性也要分开。
先写清替代决策
假设两种流程从相同归档文档读取同一数值字段、使用相同单位。A为原方法,B为候选方法,定义d=B−A,正值表示B读得更大。看结果之前,假设业务要求个体差位于−5至+5单位。五单位是本例事先给定的实质容许界,不是统计学通用合格线。
两种读数必须对应同一文档版本。保存文档标识、原始A/B配对、单位、采集顺序和方法版本。B缺测不能填成零差;如果复杂文档更容易失败,只分析完整简单文档会改变研究人口,应把缺测结构报告出来。
Bland与Altman的原始论文讨论相关性为什么不适合单独判断替代,并建议检查差值相对于配对均值的图形。原文临床例子提供方法来源,下面文档算例为自行构造,不能冒充临床证据或认证标准。
完美相关也可以直接不合格
取六个A值10、20、30、40、50、60,B依次为20、30、40、50、60、70。因为B=A+10,相关系数恰为1,但每份文档差额都是+10,是容许绝对差的两倍。排序与线性共同变化完全一致,没有使数值差合格。
扩大对象数值范围,相关仍然可以很好看,却不会修复任何文档的十单位偏差。本构造中差值标准差为零,单是固定偏差就足以否决所定要求。不能把这个特制例子的恒定差额推广成真实数据的普遍性质,真实研究仍要检查水平、异常和采集顺序。
逐步算平均偏差和一致性界限
另设独立的六文档样本,其差值为−2、0、2、2、4、6。总和12,均值2。相对于均值的偏差依次为−4、−2、0、0、2、4,平方和40。因此样本差值方差为40除以5,等于8,差值标准差为√8,约2.828。
这里的标准差衡量文档之间差额的散布,不是平均差的标准误。在近似正态且差值方差稳定的模型下,通常的代入一致性界限为:平均差加减1.96乘差值标准差,即2加减5.544,得到约[−3.544,7.544]。
上界超过预设+5,不能据此支持“个体差通常被控制在要求范围内”。样本中差值6也超界,但“五份通过、一份失败”不等于已经建立总体百分之九十五覆盖率。这是两个不同的推断层级。
六对是为了让计算能手工复核,不足以自信地做生产验收。估计的一致性界限本身有抽样不确定度。验收计划还应说明如何评估界限精度,以及接近容许边缘时需要补多少证据;画两条线不能把它们变成保证边界。
只有六个差值也不能检查正态性或方差稳定性是否合理。需要原始配对均值和顺序,观察差额是否随测量水平或日期改变。如果数据只剩差值汇总,以上只能作为暂定演示,不能把未检查的假设补写成事实。
不把均值置信区间当一致性界限
同一组差值的均值标准误为√8除以√6,约1.155。均值双侧百分之九十五区间使用5个自由度的t临界值,约2.571,得到2加减2.571乘1.155,即约[−0.968,4.968]。
该区间包含零,却不能说明方法可互换。它表达总体平均差的不确定度;一致性界限表达模型下个体差值的散布。把SE替代SD塞进一致性公式,会让个体差看起来虚假地狭窄。
反过来,很多配对可能非常精确地识别出一个微小非零偏差,同时个体差仍太宽。是否可以校正平均偏差,与校正后的剩余差额是否满足业务要求,需要分别验证。直接减掉本样本均值,不能追溯使原先方法变成一致,也不能省略独立验证。
机制改变时要改变误差模型
不同机制的反例是正值测量B=1.1A。A为10时差1,A为100时差10。一个固定单位散布可能掩盖差额随水平扩大,相关系数却仍可为1。差值对配对均值的图有助发现这种结构,不能用高相关跳过图形诊断。
如果所有值严格为正,而且用途事先采用比率容许界,可以研究对数差。本例log(B)−log(A)=log(1.1),约0.09531,对应比率1.1。比率界需要在自己的单位下事先论证,不能看到原尺度失败后再取对数并放宽目标。零值和负值也不能直接用这种对数比处理。
重复测量是另一边界:同一文档十次读数不是十份独立文档。应区分流程重复性与文档间方法一致性,明确替代操作使用一次读数还是多次平均,再使用适合采集结构的分析。否则很大的行数可能掩盖只有少量文档的比较研究。
还要保留共同偏差的可能。两个方法若都误读同一来源,彼此完全一致也可能同时错误。要声明对真值准确,必须增加独立参考证据,而不是只把其中一个方法命名为“基准”。
按固定顺序执行核验
| 步骤 | 输入或计算 | 出现问题时的处理 |
|---|---|---|
| 固定用途 | 字段、单位、研究人口、容许界 | 先解决目标再看结果 |
| 连接配对 | 同版本文档及配对标识 | 保留失败与未匹配记录 |
| 检查差值 | 相对配对均值及采集顺序的图 | 追查水平效应和时期变化 |
| 计算量 | 平均差、差值SD、一致性界限 | 保存公式及自由度 |
| 评估精度 | 界限不确定度及模型适用性 | 明列证据不足状态 |
| 决定替代 | 与原预设容许界比较 | 区分未合格与尚无结论 |
两个导出表冲突时,先复现正负方向和原始配对。差值定义反过来会同时翻转偏差与界限;错误连接则可能制造根本不是方法差异的散布。不能混合不相容单位,也不能未回查文档就把大差值当离群点删除。
新增独立样本改善精度、单位或连接错误被纠正、方法版本改变,都会触发更新。若容许界改变,应另记决策规则的新版本,不能悄悄重算历史合格率。最终记录还要说明哪些水平、困难缺测文档及外部真值准确性尚未测试,让替代判断的覆盖范围清楚可审查。
给替代状态附上证据范围
决策档案至少保留三种状态:在预设模型与容许界内获得支持、观察到不满足要求的证据、精度或覆盖不足而未解决。小样本中即使代入界限看似很窄,也不能因为没有观测超界就自动判合格;界限可能估得不准,而且样本可能没有包含最困难文档。
每个大差值应连接到来源片段及单位转换。发现录入错误,可以纠正,但要保留旧配对、新配对及原因;如果读数本身有效,就不能为了改善一致性而删除。这样后续复核才知道变化来自数据纠错,还是研究对象被人为缩小。
预先规划的分组可以识别某个水平范围内可替代、另一范围内不可替代的情况。如果是在看到失败后才挑选组,应把结果作为新假设,取得新的验证样本。不能把“所有文档替代失败”静默改名为“某个精挑子集替代成功”,却省略筛选过程。
还应定义最终使用方式。如果新流程输出后仍有人逐项复核,它是一套带人工复核的组合流程,不再等于完全自动方法。比较时需固定将来真实会执行的流程,否则测出的个体差不能直接应用到上线方式。人工修正的次数和原因也应保留,不能只保存修正后的漂亮结果。
对跨团队使用,要把容许差写进单位,而不只写合格标签。某团队允许五单位,另一团队可能只允许一单位;相同差值证据会产生不同决策。数据可以复用,但新用途的界值与人口需要重新说明,不能把旧“合格”字样当作普遍质量保证。
报告还应保存拟替代的方向和已覆盖的文档格式。常规文档上的候选方法,不能因平均偏差接近,就自动获得对特殊格式的批准。列出已代表的水平与格式,下一轮才能针对缺口采样,而不是反复增加相同简单文档,令总行数增长却不改善决策覆盖。
常见问题
平均差区间包含零,能否证明一致?
不能。它关注平均偏差,个体差仍可能超过容许界,六对例子已经展示这种情况。
一致性界限是否限定所有未来个体?
不是。它依赖模型且有估计误差,既非所有个体的硬边界,也不是总体比例的无条件保证。