研究标签:阻止未来结果泄漏到输入
研究标签描述后来要评估的结果,不能悄悄变成结果发生之前已经可用的输入。每条观测都需要决策截止、结果观察窗口和标签成熟日期。仅按时间切分数据还不够;特征构造、标准化和资料筛选如果已经看过未来,评估仍会泄漏。
分开研究判断与后续评估
假设要检验财报筛选是否能识别随后未达现金流目标的公司。财报日形成判断时,只能用当时可得信息。后来是否达标可以成为标签,但结果公布后的评论文章,不能同时进入声称代表当时信息的资料包。
scikit-learn 常见陷阱指南解释数据泄漏,以及预处理决定不能利用测试数据的原则。这个问题也存在于人工特征和 AI 摘要,并不局限于训练分类器。以下是一套研究复核协议,不是任何预测效果的承诺。
标签时间线的假设案例
假设三月十五日财报公开,三月十六日记录研究决定。目标是观察未来两个季度的经营现金流是否达到事先定义的阈值。第二个季度的报告到十一月十日才公布,那么标签最早也需要等到足够证据公开之后才能成熟。
| 字段 | 假设日期 | 允许承担的角色 |
|---|---|---|
| 输入截止 | 三月十六日 | 特征可用信息的上限 |
| 结果窗口 | 后续两个季度 | 定义后来评估什么 |
| 标签成熟 | 十一月十日或之后 | 形成结果标签的最早依据 |
| 十一月评论 | 结果窗口之后 | 评估背景,不能作为三月输入 |
七月复查时尚未成熟的标签,不等于失败,也不等于成功,应保留待定。若把所有暂未解决案例都填成有利类别,评估可能在证据不足时显得很准确,尤其是困难案例往往需要更长时间才能确认。
排查间接未来线索
检查文件名、修订日期、分析师备注和样本筛选。如果资料夹只收录后来被称为困境公司的案例,那么选择过程已经透露结果。事件后修订的历史财报,也可能含有原版没有的信息。需要保存版本和可得时间,不能只看文件标题上的经济期间。
特征工程也需要检查。用全部未来数据的平均值标准化,会让测试观测影响早期输入。先看完所有结果标签,再制定关键词清单,即使没有训练模型,也可能发生相同问题。应在训练或开发范围内确定变换规则,再将锁定后的规则应用于留出观测。
人工选择“最有代表性”的案例同样可能泄漏。若代表性实际指事后结果最清楚,评估就不能说明真实使用时面对模糊案例的表现。保存纳入与排除理由,尤其检查理由中是否出现了决策时不可能知道的事件。
按信息期限设计切分
研究未来部署时,通常需要时间边界,并确认模拟更新模型那一天,训练样本标签已经成熟。边界之前不久的一条训练观测,可能要依靠测试期深处才发生的结果才能贴标签。需要多长间隔或排除范围,应由实际观察窗口和发布延迟决定,不能随便指定几天。
同一主体的多次观测或同一事件相关资料,也可能跨过切分边界。按问题需要检查主体分组、事件分组或近似重复控制,并报告限制后覆盖率如何变化。一个较小但输入干净的评估,比大量提前透露答案的案例更容易解释。
留下评估台账
保存截止日期、原始来源版本、特征规则、标签定义、成熟状态和切分归属。提示词调优前锁定评估集。看过失败案例再修改提示词后,这条案例就成为开发反馈;下一次声称效果改善,需要另一个未参与调优的集合。
防泄漏做得好,并不能证明研究信号能够预测收益,也不能证明标签准确代表投资价值。它只能支持更窄的结论:测试较少利用未来信息回答自己的问题。经济解释和样本外价值,仍需独立证据。
常见问题
按时间切分就没有泄漏了吗?
不是。未来参与的预处理、来源修订和重叠标签窗口,都可能跨越边界。
待定标签能按正确处理吗?
不能。保留待定并披露成熟标签覆盖率,否则分数可能主要取决于证据出现得有多快。