复核者一致性：裁决之前测量分歧

先测量复核分歧，再进行裁决。两个人给出相同标签，说明他们一致，不足以证明标签正确。保存最初独立判断，建立交叉表，并结合类别发生率和不同错误的后果解释机会校正一致性。

独立标签与共识分开

假设两名研究者判断披露片段是否支持一项狭义会计主张。给两人相同书面规则和资料，但分别收集初始标签。如果每个案例都先讨论再记录，最后共识就不能说明原规则在不同复核者之间是否稳定。

scikit-learn 的 Cohen kappa 文档说明如何根据观察一致率和边际标签频率计算机会校正统计。它测量两位标注者的相符程度，不认证事实准确或专业水平。下面使用虚构标签演示研究流程。

假设 A 将五十段中的二十段标为支持，B 将二十六段标为支持。联合判断如下。此时没有指定任何一人为真值，因此非对角格应称为分歧，不能直接叫分类器假阳性或假阴性。

A的标签 / B的标签	支持	不支持	行合计
支持	18	2	20
不支持	8	22	30
列合计	26	24	50

观察一致率为（18＋22）÷50＝0.80。按边际频率计算的期望一致率是（20÷50×26÷50）＋（30÷50×24÷50）＝0.496。kappa 为（0.80－0.496）÷（1－0.496），约 0.603。无论这个汇总看起来如何，仍有十段资料需要继续调查。

保留两人原理由，再阅读十段争议片段。可能一人认为管理层陈述足以支持主张，另一人要求底层计算；也可能期间含糊、附注缺失或标签定义不清。这些并不是同一种错误，修复方式也不同。

将指令问题、上下文不足、合理解释分歧与简单疏漏分开。必要时修改规则并记录版本。不能讨论后静默改掉原标签，再把完全统一的新记录当作旧规则达到百分之百一致的证据。

如果绝大多数案例属于同一类别，两人经常选择该类就可能得到较高原始一致率。kappa 使用边际频率构成特定机会模型，它也会受到这些频率影响。不同数据集之间变化，可能来自案例组合，不一定都是复核能力改变。

因此同时展示完整表格、样本量和类别分布，不用“极好”等通用形容词替代任务判断。两人可能在大量常规阴性上相同，却恰好对决定投资备忘录结论的少量重大披露存在分歧。业务后果应另作评价，不能给某个 kappa 阈值编造财务含义。

对争议案例建立有记录的裁决程序，以来源与规则为依据，不只看职位高低。保存原标签、最终标签、理由和证据位置。两人如果犯了同一种错误，独立一致也发现不了，因此还应从表面一致的案例中抽取部分做事实核查。

修改指令后，优先评估新片段；如果重用旧集合，应明确它是训练练习。熟悉集合上的提高可能来自记住讨论结果，而不是流程更可靠。需要对外陈述一般可靠性时，将指令开发与评估分开。

若某种文档格式不断引发分歧，可以记录具体缺失字段，让下一轮采集保留这些信息。这样一致性检查产生的是可执行改善，而不是只得到一个用于排名复核者的分数。

有用的报告说明最初多少一致、在哪里分歧，以及来源复核后哪些判断改变。它不把一致当真理，也不把小型检查推广到所有语言、公司与文件。保存总体范围和日期，让结果仍可解释。

不是。它比较两套标签，没有把某一人指定为真实标准。准确率需要独立且有依据的参考标准。

不应删除。原标签与最终决定一起保留，才有证据诊断和改善复核流程。