跳到正文

研究指南

AI 辅助证据核对

研究标签:阻止未来结果泄漏到输入

研究标签描述后来要评估的结果,不能悄悄变成结果发生之前已经可用的输入。每条观测都需要决策截止、结果观察窗口和标签成熟日期。仅按时间切分数据还不够;特征构造、标准化和资料筛选如果已经看过未来,评估仍会泄漏。

分开研究判断与后续评估

假设要检验财报筛选是否能识别随后未达现金流目标的公司。财报日形成判断时,只能用当时可得信息。后来是否达标可以成为标签,但结果公布后的评论文章,不能同时进入声称代表当时信息的资料包。

scikit-learn 常见陷阱指南解释数据泄漏,以及预处理决定不能利用测试数据的原则。这个问题也存在于人工特征和 AI 摘要,并不局限于训练分类器。以下是一套研究复核协议,不是任何预测效果的承诺。

标签时间线的假设案例

假设三月十五日财报公开,三月十六日记录研究决定。目标是观察未来两个季度的经营现金流是否达到事先定义的阈值。第二个季度的报告到十一月十日才公布,那么标签最早也需要等到足够证据公开之后才能成熟。

字段假设日期允许承担的角色
输入截止三月十六日特征可用信息的上限
结果窗口后续两个季度定义后来评估什么
标签成熟十一月十日或之后形成结果标签的最早依据
十一月评论结果窗口之后评估背景,不能作为三月输入

七月复查时尚未成熟的标签,不等于失败,也不等于成功,应保留待定。若把所有暂未解决案例都填成有利类别,评估可能在证据不足时显得很准确,尤其是困难案例往往需要更长时间才能确认。

排查间接未来线索

检查文件名、修订日期、分析师备注和样本筛选。如果资料夹只收录后来被称为困境公司的案例,那么选择过程已经透露结果。事件后修订的历史财报,也可能含有原版没有的信息。需要保存版本和可得时间,不能只看文件标题上的经济期间。

特征工程也需要检查。用全部未来数据的平均值标准化,会让测试观测影响早期输入。先看完所有结果标签,再制定关键词清单,即使没有训练模型,也可能发生相同问题。应在训练或开发范围内确定变换规则,再将锁定后的规则应用于留出观测。

人工选择“最有代表性”的案例同样可能泄漏。若代表性实际指事后结果最清楚,评估就不能说明真实使用时面对模糊案例的表现。保存纳入与排除理由,尤其检查理由中是否出现了决策时不可能知道的事件。

按信息期限设计切分

研究未来部署时,通常需要时间边界,并确认模拟更新模型那一天,训练样本标签已经成熟。边界之前不久的一条训练观测,可能要依靠测试期深处才发生的结果才能贴标签。需要多长间隔或排除范围,应由实际观察窗口和发布延迟决定,不能随便指定几天。

同一主体的多次观测或同一事件相关资料,也可能跨过切分边界。按问题需要检查主体分组、事件分组或近似重复控制,并报告限制后覆盖率如何变化。一个较小但输入干净的评估,比大量提前透露答案的案例更容易解释。

留下评估台账

保存截止日期、原始来源版本、特征规则、标签定义、成熟状态和切分归属。提示词调优前锁定评估集。看过失败案例再修改提示词后,这条案例就成为开发反馈;下一次声称效果改善,需要另一个未参与调优的集合。

防泄漏做得好,并不能证明研究信号能够预测收益,也不能证明标签准确代表投资价值。它只能支持更窄的结论:测试较少利用未来信息回答自己的问题。经济解释和样本外价值,仍需独立证据。

常见问题

按时间切分就没有泄漏了吗?

不是。未来参与的预处理、来源修订和重叠标签窗口,都可能跨越边界。

待定标签能按正确处理吗?

不能。保留待定并披露成熟标签覆盖率,否则分数可能主要取决于证据出现得有多快。

相关阅读