反事实比较:检验对照组能回答什么
对照组只有能够代表问题所需的反事实,比较才有解释力。公司名称相近或同属行业,并不自动满足条件。AI把差异写成效果之前,应检查组别怎样形成、事件前如何变化,以及哪些替代机制可能解释结果。
世界银行《影响评估实践》介绍因果推断、反事实和比较设计。本文工作表是研究诊断,不替代完整设计,刻意把描述性算术差与有依据的因果解释分开。
写清没有事件会怎样
定义受到事件的总体、事件本身、结果与观察单位,再写同一总体若没有事件,本来会发生什么。这个看不见的结果才是比较论证的目标。容易下载的同业组,不必然是恰当替身。
记录对照实体为什么没有接受事件或处理。自愿采用、资格门槛和地理位置会形成不同选择机制。如果采用依赖预期表现,后来的差距可能同时反映选择,不能让AI无证据地把组别当随机分配。
还需对齐总体与计量。Census SUSB方法说明展示企业统计有明确覆盖规则。使用外部总体作对照时,应先检查范围差异,同名单位不保证可比。经营场所、公司和证券更不能混为一个观察单位。
假设案例:变化之差仍不是自动因果
假设虚构采用组事件前结果指数一百,之后一百二十;未采用对照组从八十变八十八。采用组增加二十,对照增加八,在这个加法设置下,变化之差为十二个指数点。
十二只是算术,不自动等于事件因果效果。如果采用组此前本来就增长更快,或因另一个市场机会被选入,比较就受到挑战。只有一期事件前观察,不能证明两组本会沿所需可比路径发展。
再假设事件影响同时服务两组的供应商,对照组也可能受到波及,“未采用”不保证未受影响。应记录这种干扰,而不是把标签当真实暴露。所有组别和数值均为假设,没有宣称测得真实公司因果效果。
对照组诊断表
| 维度 | 需记录问题 |
|---|---|
| 选择机制 | 两组为何进入各自类别 |
| 事前路径 | 是否有多期相容历史观察 |
| 计量一致 | 结果、单位、期间和范围相同吗 |
| 共同变化 | 哪些市场或政策同时影响两组 |
| 差异变化 | 还有什么只影响其中一组 |
| 外溢效应 | 事件能否影响拟用对照 |
百分比变化与加法差额分开。本例起点不同,换成百分比就回答另一问题。先确定估计目标和尺度,再选公式,不能看到结果后切换到最强的那种差距。报告最好同时保留原始水平,让读者看见尺度选择。
报告不利于对照的证据
可以检查前期路径、假事件时点和其他有理由的对照,作为诊断,但通过这些检查也不证明所有识别假设。关键选择机制无法被数据处理时,将结果写为关联或假设下差异,不升级为确定原因。
让AI列出对照可能失败的最强理由,并要求依据现有证据,而不是只让它解释为什么比较成立。最终笔记将算术、反事实论证和未解决条件分列,使比较有研究价值,又不把方便同业组变成已经验证的因果控制。
本方法也不预测投资结果。某项经营指标在两组间变化不同,不能直接推出证券价格应如何变化;收益权利、预期和其他因素属于不同研究问题。清晰边界能避免一个有限比较被过度扩展。
常见问题
同行业公司自动是有效对照吗?
不是。选择、历史趋势、暴露与计量即使在同行业内也可能不同。
减去同业变化就证明因果吗?
不能。它先计算一个差异,因果解释仍需合理设计及连接未观察结果的假设。