跳到正文

研究指南

AI 辅助证据核对

反事实比较:检验对照组能回答什么

对照组只有能够代表问题所需的反事实,比较才有解释力。公司名称相近或同属行业,并不自动满足条件。AI把差异写成效果之前,应检查组别怎样形成、事件前如何变化,以及哪些替代机制可能解释结果。

世界银行《影响评估实践》介绍因果推断、反事实和比较设计。本文工作表是研究诊断,不替代完整设计,刻意把描述性算术差与有依据的因果解释分开。

写清没有事件会怎样

定义受到事件的总体、事件本身、结果与观察单位,再写同一总体若没有事件,本来会发生什么。这个看不见的结果才是比较论证的目标。容易下载的同业组,不必然是恰当替身。

记录对照实体为什么没有接受事件或处理。自愿采用、资格门槛和地理位置会形成不同选择机制。如果采用依赖预期表现,后来的差距可能同时反映选择,不能让AI无证据地把组别当随机分配。

还需对齐总体与计量。Census SUSB方法说明展示企业统计有明确覆盖规则。使用外部总体作对照时,应先检查范围差异,同名单位不保证可比。经营场所、公司和证券更不能混为一个观察单位。

假设案例:变化之差仍不是自动因果

假设虚构采用组事件前结果指数一百,之后一百二十;未采用对照组从八十变八十八。采用组增加二十,对照增加八,在这个加法设置下,变化之差为十二个指数点。

十二只是算术,不自动等于事件因果效果。如果采用组此前本来就增长更快,或因另一个市场机会被选入,比较就受到挑战。只有一期事件前观察,不能证明两组本会沿所需可比路径发展。

再假设事件影响同时服务两组的供应商,对照组也可能受到波及,“未采用”不保证未受影响。应记录这种干扰,而不是把标签当真实暴露。所有组别和数值均为假设,没有宣称测得真实公司因果效果。

对照组诊断表

维度需记录问题
选择机制两组为何进入各自类别
事前路径是否有多期相容历史观察
计量一致结果、单位、期间和范围相同吗
共同变化哪些市场或政策同时影响两组
差异变化还有什么只影响其中一组
外溢效应事件能否影响拟用对照

百分比变化与加法差额分开。本例起点不同,换成百分比就回答另一问题。先确定估计目标和尺度,再选公式,不能看到结果后切换到最强的那种差距。报告最好同时保留原始水平,让读者看见尺度选择。

报告不利于对照的证据

可以检查前期路径、假事件时点和其他有理由的对照,作为诊断,但通过这些检查也不证明所有识别假设。关键选择机制无法被数据处理时,将结果写为关联或假设下差异,不升级为确定原因。

让AI列出对照可能失败的最强理由,并要求依据现有证据,而不是只让它解释为什么比较成立。最终笔记将算术、反事实论证和未解决条件分列,使比较有研究价值,又不把方便同业组变成已经验证的因果控制。

本方法也不预测投资结果。某项经营指标在两组间变化不同,不能直接推出证券价格应如何变化;收益权利、预期和其他因素属于不同研究问题。清晰边界能避免一个有限比较被过度扩展。

常见问题

同行业公司自动是有效对照吗?

不是。选择、历史趋势、暴露与计量即使在同行业内也可能不同。

减去同业变化就证明因果吗?

不能。它先计算一个差异,因果解释仍需合理设计及连接未观察结果的假设。

相关阅读