跳到正文

研究指南

AI 辅助证据核对

分析口径敏感性:报告哪些选择改变结果

分析口径敏感性检查结论是否依赖资料与方法上的合理选择。分别改变样本规则、连接关系、权重和异常值处理,找出真正推动结果的决定。它不同于估值中调整未来收入增速等经济假设,重点是当前证据怎样被加工成结论。

从可复现基线开始

写清基线的总体、期间、观测键、来源版本、连接关系、缺失值规则、权重与极端值处理,再保存产生结果的代码或工作表。如果基线只有 AI 生成的一段话,就无法判断后来差异来自有意修改口径,还是计算本身不一致。

英国政府的 AQuA Book 分析质量指南讨论分析质量保障,包括表达不确定性与局限。下列矩阵是本站原创研究示例,不是官方评分制度,也不能为具体投资结论的稳健性背书。

一个假设口径矩阵

假设跨公司研究认为经营利润率改善,基线变动为正 1.2 个百分点。四种替代口径给出不同结果。所有数字均为演示,不代表实际市场或组合。

口径利润率变化检查什么
全样本收入加权基线+1.2 个百分点原始主要结果
只保留存续公司-0.3 个百分点进入退出的影响
公司等权+0.2 个百分点公司规模权重影响
严格匹配经营定义+0.8 个百分点会计口径可比性
排除一条并购驱动观测+0.1 个百分点特殊事件集中影响

最值得关注的是样本构成:存续组下降,全样本上升。这不代表基线算术错误,但合理表述应从“公司普遍改善”,收窄为“汇总指标改善,部分取决于纳入主体及其权重”。口径敏感性改变的是结论能够承担的范围。

先一次改变一个决定

单项比较便于识别机制。如果同时删除进入者、改权重并压缩极值,就不能判断结果由哪个决定推动。先检查各自影响,再测试少量有经济理由的组合,以观察交互作用。所有测试过的口径都应留痕,不能只发布支持原观点的变体。

还要把纠错与合理替代分开。多对多连接导致收入重复三遍,是需要修复的缺陷,不应作为一种与正确计算平等的口径纳入稳健区间。单位混用同样不是研究者的自由选择。敏感性分析应在已知错误修正之后,比较能够合理辩护的选择。

预先定义什么差异重要

明确哪些变化会实质改变判断:方向反转、幅度大部分消失、结果集中在一条记录,或者覆盖率明显变化。始终为正不等于经济上重要,幅度可能已经微小。反过来,零附近的小幅正负转换,可能说明原本就不适合写强方向结论。

每种口径同时报告公司数和覆盖暴露。严格定义子集可能更加可比,却只代表很小部分总体。不能未经讨论就用它替代较广的估计。如果不同口径实际回答不同问题,应分别标注问题,而不是把所有结果混成一个笼统的不确定区间。

选择口径也要说明顺序。如果研究者看见结果后才增加某种排除,应诚实记录。这样后来读者才能区分预先设计的检查与结果驱动的探索,并决定哪些发现值得在新资料中再次验证。

写出对决定敏感的结论

交付应说明哪些选择重要、为什么重要,以及下一步哪类证据可以解决分歧。案例中,复核进入者和并购事件,比把五个结果平均成一个新数字更有价值。口径范围不是统计置信区间,不自动携带任何概率意义。

将口径登记表与最终备忘录一起保存。AI 可以帮助列举选择并起草比较,但研究者仍需检查计算,并让结论对应整个矩阵。保留适当条件的陈述,比只看文字没变就宣称“稳健”更可复核。

常见问题

需要遍历所有可能口径吗?

不需要。聚焦有合理依据、可能影响结论的选择,记录为什么测试它们,避免组合后已经不再回答原问题的任意实验。

口径最大最小值就是置信区间吗?

不是。它只描述所选方法与总体之间的结果差异。没有额外统计模型,不能解释为抽样概率范围。

相关阅读