AI输出的缺失数据:显式保留未知状态
AI研究中的缺失数据,在原始材料支持一个数值之前,就应该保持缺失。使用独立状态字段,区分未披露、不适用、在限定范围内未找到和提取失败。空白单元格、模型猜测以及原文明确报告的零是不同观察,混为一谈会悄悄改变比较或计算结果。
提取之前先定义状态词表
W3C表格元数据规范说明如何用元数据解释表格,其中包含空值表示。下面这些研究状态是编辑约定,并不是规范强制规定的金融分类。它们保留了“为什么没有数值”的解释。数值与解释应分开存放,防止电子表格把某个状态标签或空白自动当成零。
| 状态 | 含义 | 下一步检查 |
|---|---|---|
| 已报告 | 在来源中定位到具体数值 | 核对单位、范围和期间 |
| 未披露 | 检查的资料没有提供该项目,或明确说明不提供 | 写清核查了哪份来源 |
| 范围内未找到 | 在约定资料范围内检索没有定位到 | 重要时扩大或修正检索范围 |
| 提取失败 | 相关材料存在,但无法可靠读取 | 人工查看原表或图像 |
| 不适用 | 该字段不适合这个主体或报告基础 | 记录为什么不适用 |
不要把“没有找到”改写成“公司从不披露”。你的陈述受所检查的文档、日期和检索方式限制。模型可能只看到节选,而真实数值位于尚未提供的附注。保留这层差别,才能避免把有限检索失败变成关于发行人的绝对事实。
假设案例:三家公司的客户留存表
假设比较三家虚构订阅公司。A公司报告留存率为百分之九十二;B公司的扫描件里有留存表,但文字提取失败;C公司报告另一种续约指标,适用客户群不同。本任务里只有A提供了可比的已观测值。如果把B和C填成零,就会凭空制造它们经营表现更差的结论。
A保留假设的九十二及其定义。B的数值留空、状态设为提取失败,安排人工查看扫描页。C的原始续约指标放在单独字段中,对于当前所需的留存口径则记录在核查范围内没有取得。不能把三个条目直接求均值,更不能只观察到一家可比数据,就对三家公司进行排名。
让计算尊重状态
计算前明确准入规则:哪些状态、定义和期间可以进入结果?同口径平均值应要求数值确有报告,且客户群与期间一致,并在结果旁边显示实际符合条件的样本数。缺失项目如果影响很大,就保留未解决结论,或在明确假设下展示敏感性范围,不要用看起来合理的行业数值偷偷补齐。
记录至少包含数值、单位、期间、状态、原因、来源位置与核查人。如果导入CSV,应实际测试分析工具如何处理空白数字字段。有的图表设置会断开曲线,有的会忽略整行,还有的可能使用默认值。先用一个刻意留空的小样例检查真实行为,再依赖图形作解释,否则“图上没有变化”也可能只是显示设置掩盖了缺失。
修复证据时保留历史
B的扫描件后来经过人工检查,应新增提取记录,注明原文位置与检查方式。旧故障仍然有助于了解流程弱点。如果扫描页始终不可读,就保留未知,不采用模型先前猜出的数字。之后发布的新披露是新的观察,也不能反过来证明旧报告当时已经提供了该值。
这种状态约定不能判断某项数据在特定司法辖区是否依法必须披露。它能提供的是更窄但重要的成果:读者分得清真实零值和缺失值,知道搜索边界,并能看出哪些输入被排除。这足以避免很多误导性比较,无需假装资料已经完整。
常见问题
搜不到某项费用时,可以把费用记为零吗?
不能仅凭搜索没有结果就记零。真实零值也需要来源和定义,检索缺失并不是数值证据。
不适用和不可取得是同一种状态吗?
不是。不适用说明指标本身不适合主体或任务;不可取得则表示它可能适用,但当前没有得到足够证据。两者的后续工作不同。