跳到正文

研究指南

AI 辅助证据核对

异常值:保留原值与处理后的影响

异常值首先意味着需要调查,而不是应该自动删除。保留原始观测,解释它为什么特殊,再展示处理方式如何改变研究结论。极端数字可能来自提取错误、不同经济环境,也可能是真实且重要的经营事件;仅凭数值离群无法决定属于哪一种。

分开回答三个问题

第一,记录是否准确?检查原始披露、单位、正负号、日期、小数分隔和取数位置。第二,它是否属于当前可比样本?业务处置会使增长率特殊,却不代表报表数字错误。第三,结论对这个观测有多敏感?三者需要不同证据,不能统一用“清理异常”掩盖。

NIST 工程统计手册讨论了异常值的识别与调查。统计上的标记方法不能直接为删除极端投资观测背书。标记是诊断步骤,后续处理仍须说明与数据质量、研究问题的关系。

一组增长率的假设案例

假设五家虚构公司的收入增长率分别是 2%、3%、4%、5% 和 86%。算术平均为 20%,中位数为 4%。移除最后一家公司,平均值变成 3.5%。若用事先声明的演示上限 10% 替代 86%,平均值则为 4.8%。这些是不同处理下的统计量,不是同一个原始事实的多个等价版本。

处理方式结果仍需解决的问题
保留全部原值平均 20%86% 是否准确且可比
计算原值中位数4%典型公司是否对应研究问题
排除最后一家平均 3.5%排除理由是否独立于结果
演示性截到 10%平均 4.8%为什么选择该上限,压掉了什么

10% 仅是假设演示阈值,不是推荐清洗标准,也不是实际估计的分位点。如果 86% 来自并购,需要的可能是可比口径增长;如果来自单位错误,应纠正而非截尾;如果是真实内生扩张,删除它就改变了经济故事。

保留处理台账

每个被标记观测应保存原值、来源定位、触发规则、调查结果、处理后的值和理由。将提取修正、范围排除、缩尾处理与待复核分开记录。空白字段不能同时代表没有数据和主动移除,否则后续读者无法判断样本如何形成。

尽量在看偏好结果之前确定规则。如果意外发现促使你增加新处理,应公开这个顺序,并同时给出未经处理的结果。试过几十个阈值,最后只报告支持原判断的一种,会制造虚假的稳健性。处理台账要让这种分析选择可见,而不是藏在代码中。

不要只保存最后一列清洗后数字。保留原始值和派生值,能够区分来源修订与研究者处理,也能在后来获得并购范围资料时重新计算。没有证据支持的记录先标记待定,比自动替换为邻近公司的均值更便于复核。

检查对经济结论的影响

比较处理前后的主要统计、结论方向和受影响样本权重。五家公司删掉一家,是显著的样本变化,并非电子表格里一个很小的编辑。如果研究使用暴露加权,还要报告被移除的收入或持仓权重,仅说删掉一条记录可能低估影响。

稳健统计也必须回答合适的问题,并准确命名。中位数描述中间公司,不能代替合并收入增长。截尾平均改变了参与计算的分布。这些方法都不能修复错误期间、口径冲突或不兼容的财务定义。

最终结论可以写成:典型公司温和增长,但一条与并购有关的观测显著推高简单平均,需要单独分析。这样的表述保留了集中度信息。不要因为极端值拉高均值就断言整体强劲,也不要因为它不方便就断言数字虚假。

常见问题

异常值一定是数据错误吗?

不是。它可能是真实稀有事件,也可能属于不同总体。先调查,再决定是否及如何处理。

缩尾一定比删除更安全吗?

缩尾保留行数,但按照规则替换数值,仍可能显著改变结果。需要保存原值并展示敏感性,而不能只强调样本数量没变。

相关阅读