幸存者偏差:重建历史公司样本
历史公司研究需要当时符合条件的公司,包括后来从今天名单消失的实体。从现存公司开始,AI还没总结第一份报告,问题就可能已经被改写。应先重建成员,再连接结果与材料,不因失败或难匹配而删除实体。
SEC EDGAR接口文档介绍以CIK为键的申报历史与公司元数据,可支持身份和申报核对,但不是完整的历史可投资样本服务。市场资格、退市与证券覆盖仍需单独证据,不能把申报人总体当上市公司总体。
定义历史总体
固定日期、市场、证券类型与纳入规则。研究上市经营公司,不同于研究所有提交文件的注册主体。存托工具、基金、多类别股票和前身实体都要明确处理。总体应服务研究问题,而不是复制最容易下载的一份名单。
成员表记录稳定研究实体ID、证券身份、资格起止、来源与待核区间。退出原因可分并购、退市、清算和范围调整等。公司离开总体,不等于某个数字缺失,也不能把“没找到数据”伪装成合法退出。
可以让AI提出身份连接或归类已有证据支持的退出原因,但重要匹配要逐项复核。不要让模型凭记忆补历史著名公司,熟悉不证明当时有资格,不熟悉也不构成删除理由。研究者需要可复查成员证据。
假设案例:幸存者平均被改变
假设虚构历史总体有十家公司,今天数据库仍保留八家,每家在规定可比指标上结果为正十。另两家已退出,各为负六十。只看幸存者平均是正十,完整总体平均却为负四。
这个简化案例说明成员选择能改变结果,不代表真实投资收益,也不意味着所有缺失公司都应填负六十。退出公司结果未知时,应保留未知并做敏感性分析,不能虚构失败值来“修正”偏差。
再假设某个消失名称只是公司改名,仍在另一行出现。若重新加回,就会造成反向重复。历史重建既要纳入退出者,也要保持身份连续。所有实体和结果均为假设,不引用真实业绩统计。
历史样本重建表
| 字段 | 必要处理 |
|---|---|
| 资格日期 | 选择幸存者前固定 |
| 研究实体与证券 | 分开公司连续性与交易工具 |
| 成员区间 | 起止及支持证据 |
| 退出原因 | 已确认类别与不确定性 |
| 结果覆盖 | 已观察、缺失或不可比 |
| 当前状态 | 描述字段,不是纳入前提 |
核对“期初成员+合格进入-退出=期末成员”,调查残差。因匹配失败而丢掉的公司应进入覆盖日志,不能悄悄缩小分母。多个证券对应同一公司时,还要说明研究单位,否则计数桥可能形式对平却重复公司。
如何报告不完整重建
能取得时,用历史时点已知特征比较已纳入与未解决群体。如果小公司或困难企业更容易匹配失败,表格干净也可能选择性不完整。即便无法量化方向,也应报告这种模式,而不是默认缺失与结果无关。
同时报告目标总体与实际观察样本。历史成员无法确立时,把结论收窄到研究到的现存实体,不称完整历史队列。AI可以组织资料,却不能用流畅摘要修复事后定义的总体。先让成员选择可复现,其他读者才有机会在争论平均值之前挑战纳入规则。
对于未解决身份,保留原名称、证据线索和下一核查动作,不直接删除。这样下一轮调查能增加覆盖,而不会因为今天一次搜索失败就永久失去某家公司。
常见问题
每家缺失公司都应当作失败吗?
不应。缺失、改名、被收购与经济失败是不同状态,要分别调查身份和结果。
今天的公司名单能回答历史队列问题吗?
只有历史成员已针对问题得到确认时才可以,不能让当前存续悄悄成为筛选规则。