缺失观测:填补之前先给结果设边界
样本中部分结果缺失时,只对已观察值求平均,可能回答了与全样本不同的问题。让AI填补空格之前,先计算缺失项目在明确范围内能改变多少结果。区间很宽本身就说明现有证据尚不能识别准确答案。
R的complete.cases说明介绍如何找出没有缺失值的行。这只是机械筛选,不保证留下的行代表目标总体。以下边界工作表是独立研究方法,不是调用函数后自动获得的统计保证。
先定义目标和可行范围
在检查空值之前,写明总体、观察单位、指标和期间。属于总体但结果缺失,与本来就不符合纳入资格,是不同情况;前者仍应留在目标分母,后者是否排除由研究定义决定。
设合资格数量为N,缺失数量为m,已知结果合计S。若每个缺失值确定落在L与U之间,全样本均值就在(S+mL)÷N与(S+mU)÷N之间。这是算术识别范围,不是抽样置信区间。L和U必须有真实依据,不能为了把结果收窄而临时设定。
指标没有有限界限时,可能无法给出有限范围。能为负的财务指标不能随意设零下界;某些定义下的百分比也可能超过100,名称含“百分比”并不自动建立上下界。
假设案例:十家公司
假设虚构研究总体有十家合资格公司,八家披露的可比指标合计480分,另两家缺失。指标定义明确规定范围为零至100。
| 计算 | 假设结果 |
|---|---|
| 只看已披露均值 | 480÷8=60 |
| 全样本下界 | (480+2×0)÷10=48 |
| 全样本上界 | (480+2×100)÷10=68 |
| 两项均填60后均值 | 60,依赖填补假设 |
现有数据允许全样本均值位于48至68。已观察均值60不一定错误,但把它当作全体结论,需要额外假设。AI生成两个60,不会使假设变成事实。
再假设有独立证据支持一种情景:两项缺失值都不高于40。该情景上界变成(480+80)÷10=56,下界仍48。如果证据只是合理推测而非硬限制,应明确写成受限情景。
调查缺失机制
比较缺失在规模、行业、报告格式和前期特征中的分布。模式可以提示选择风险,但不能单独确定空格里的结果。若较弱公司更少披露,已披露均值就可能系统性偏高。
将机制假设与算术分开:假设缺失与结果无关,和假设它可由已观察特征解释,并不相同;控制这些特征后仍依赖未知结果,又是另一种情况。只在已观察行中做检验,无法完整判断缺失值究竟属于哪一种。
保留原始状态、边界结果、任何填补数据和填补规则。不能把猜测值当成新增独立观测,计算看似更小的标准误。新增披露出现、上下界依据改变时,应更新识别范围,而非悄悄替换旧记录。
如果目标是总体平均,缺失公司的身份和权重还应固定。以后拿到资料时,只修复相应结果;不能同时更换总体,再把均值变化全部归因于证据补齐。权重均值需要按各项目权重重算上下界,不能直接使用本例等权公式。
非负固定权重下,下界分子是已知加权合计,加各缺失项目权重乘其下界;上界同理,分母保留全部合资格权重。若权重本身未知,又增加一个识别问题,不能直接沿用等权区间。负权重会改变端点选择,本工作表不自动适用。还应分别记录来源确实未披露和扫描提取失败:两者数值都未知,但下一步修复路径不同。边界表应指出哪些材料最值得补查,而不是把缺失全部归为同一原因。
常见问题
边界是95%置信区间吗?
不是。它表示已知数值与指定范围兼容的结果,抽样不确定性还要单独处理。
用已观察均值填空就保证正确吗?
不能。它保留一个算术均值,却可能隐藏选择偏差并低估不确定性,需要额外机制假设。