跳到正文

研究指南

AI 辅助证据核对

顺序评分:保留次序而不虚构相等间距

有序评级说明一个类别排在另一个之前,却不会自动告诉你两类相差多少。比较研究评分均值之前,先保存类别定义,再问数字间距由什么证据支持。否则,原始判断一项不变,只改编码就可能改变看起来更优秀的一组。

本任务交付的是有版本的代码本、类别计数、累计比例,以及额外测量假设的记录。它适用于AI证据等级、分析员复核标签或披露质量量表;核对的是怎样汇总判断,而不是证明这些判断本身正确。分类一致性和量表距离属于不同问题。

先定位量表实际声称了什么

Cochrane手册第6.6节讨论顺序结局、测量量表及不同分析方法。原文来自证据综合的方法说明,不是在验证投资评级。下面的工作流、数值与重编码都是假设教学例,不代表真实研究团队的结果。

设团队把材料分为“不完整、部分支持、充分支持”。这个次序可能反映材料满足书面证据要求的程度,必须先写清具体要求。如果标签只是不同文件类型,没有自然高低关系,给它们编号也不会产生顺序量表。

还要登记方向。高分可能表示证据更强,也可能表示担忧更多或剩余工作更多。把这些含义混在一起,在统计之前就会颠倒比较。缺失、不适用、尚未复核应独立保存;除非代码本有明确规定,否则它们不会自动等于最低证据等级。

同一组判断,改变编码会发生什么

设甲乙各有两段虚构材料。甲被评为“不完整、充分支持”,乙两段都是“部分支持”。下面三种编码中,没有任何一段改变类别。

类别常见编码另一保序编码第三种保序编码
不完整11−100
部分支持222
充分支持31003

第一种编码下,甲均值为一加三再除二,乙为二加二再除二,两者都是二。第二种编码下,甲变为五十点五,乙仍是二。第三种编码下,甲变为负四十八点五,乙依然是二。三种映射都保留严格次序,均值结论却从相同变为任一方向。

这不是研究者乘法算错,而是均值同时使用了距离和次序。选择一、二、三,相当于引入距离约定;类别名称本身没有证明两级之间都是相同的证据增量。不能因为界面已经把分数显示成数字,就把这项假设当作已被验证。

仪表盘仍可按公开约定展示均值,但结论应限定于该评分规则,并保留编码与敏感性。尤其不能把二分变三分称为“证据质量提高百分之五十”:这一比例还依赖人为零点。它没有自然获得金额、长度或概率那样的数量意义。

用完整分布保留真正的取舍

相同观察可以不依赖虚构间距来报告。先列每类数量,再在有实际意义的类别边界计算累计比例。

汇总甲组乙组
不完整二段中的一段零段
部分支持零段二段中的二段
充分支持二段中的一段零段
不高于不完整50%0%
不高于部分支持50%100%

若高等级更好,甲既有更多最高等级,也有更多最低等级。两个累计分布发生交叉,不能声称甲在每一个门槛都更好;实际选择取决于哪种失败或成功边界更重要。样本又只有各两段,远不足以证明总体存在稳定差异。

若业务问题是材料能否无需继续补证就进入研究备忘录,而代码本事先规定必须充分支持,本样本中甲为二分之一,乙为零。若问题是避免不完整材料,乙反而更好。它们是两个不同结局,不是对同一问题给出互相矛盾的算术答案。

因此,在看到哪一组占优之前,先选与决策有关的门槛。保留所有类别计数,让读者看清取舍。事后专挑有利阈值,应标为探索,再用新材料核验;不能藏掉其他类别后宣称流程普遍改善。扩大分母之前也要检查材料是否独立,不能把同一报告的重复片段冒充多个发行人。

中位数也要保留类别含义

中位类别可以描述位置,但需明确约定。观察数为偶数时,两个中央类别可能不同;甲组恰好是“不完整”和“充分支持”。直接平均两者数字代码,会产生一个随重编码改变的值,并不会识别出实际观察到的中间类别。

可以报告中央类别区间,或说明采用下中位、上中位等明确规则。不要泛称所有软件计算的数值中位数都对任意保序重编码不变。真正保留解释的是有序标签与公开约定,而不是函数名称。

秩方法同样有自己的估计目标,不会重新测出缺失的等级距离。并列、重复测量和观察单位仍需处理。若一份披露被拆成十段分别评级,这十个标签的数量不等于十家独立公司的证据;应保留报告和发行人标识,让后续推断匹配实际采样结构。

换一种边界:真实成本或有证据的复合量表

现在另设三类分别对应经过独立估计的后续处理成本零、五、一百货币单位。如果成本估计和目标总体有依据,平均成本可以回答预计工作成本的问题。但这已经额外引入数量成本模型,不能继续把它描述为纯粹的顺序等级均值。

应保存每项成本估计的来源、日期及不确定度。任意代码前加货币符号,不会使它变成实测金额。流程改善后,昂贵类别的处理成本可能下降;此时更新成本模型,同时保留原始类别判断,才能区分材料变化与处理技术变化。

用上述假设成本计算,甲平均五十货币单位,乙平均五。若另一份独立记录证明自动化把最高类别处理成本降到八,其他不变,甲变为四,乙仍为五。成本比较反转,是数量流程发生变化,不是原有顺序标签发生变化。应同时保存两版成本依据,不能把过去材料重新改成有利等级来制造新结果。若没有取得真实成本,只能展示条件算例,不能给任意代码套上金额后声称流程节省了预算。

同一Cochrane章节也讨论较长量表及按连续结局汇总的做法,因此“一切顺序评分都禁止求均值”过于绝对。经过支持的多题量表,可能允许额外处理;依据必须针对该量表、目标用途和测量性质。把几个未经验证的AI评分相加,本身不等于完成验证。

建立能执行的量表核验表

字段保留什么比较前检查
有序标签完整定义与示例次序是否有合理依据
编码所有数字映射、方向距离是假设还是测得
单位段落、报告、发行人、日期是否重复或聚类
分布每类、缺失、不适用计数均值是否掩盖交叉
决策门槛阈值及理由是否先于结果确定
额外测量成本或量表验证资料是否支持所声称数量

实际操作先取原始评分行,不从四舍五入后的均分反推类别。若只拿到均值,就把分布标为不可得。很多不同组合都能产生相同均分,不能为了补齐图表,虚构一个看似典型的类别结构。

覆盖分母也要单列。四十条已复核、十条未复核,并不证明五十条各自的证据等级。应报告四十条内部的观察分布,同时列出十条待处理项。直接把未复核编码为不完整,相当于没有阅读就新增了证据判断;只把它们悄悄排除,又会隐藏覆盖不足。两种问题都不能靠一个看起来更整齐的均分解决。

跨期比较要冻结代码本版本。若“部分支持”从一条佐证改成两条佐证,类别意义已经改变;应重评共同参考材料,或把时间序列断点公开。两个版本都编码为二,不会自动让它们具有可比性。

当定义变化、缺失增多、复核人群更换,或外部证据开始支持数量量表时,应重新打开核验表。保存旧计数和假设,具体说明哪些类别差异被观察到、它们支持什么决策,以及哪些分数差异仍依赖额外数字约定。这样的记录比一个看似精确的平均等级更可复查。

常见问题

顺序量表完全不能显示均值吗?

不是。可以在公开约定下汇总,但更强的距离或数量解释需要自己的证据。

两位复核人高度一致,能证明间距相等吗?

不能。双方可能稳定应用同一套类别,却仍未测量类别之间的数值距离。

相关阅读