过拟合与多次试验：为什么总能找到漂亮曲线

十次观察，九次领先，这条曲线很容易被放进报告首页。但它是一开始就决定检验的规则，还是前面九十九个版本之后留下来的那个？同样的十个结果，为什么还要追问它前面发生过什么？

单看赢家，结果与原先就有的判断很容易混在一起。即使没有直接偷用未来数据，反复选择也会消耗证据。我们从一个明知没有优势的机制开始，看看好看的历史成绩怎样被挑出来。

这次要解决的问题

• 解释过拟合与多次选择为何影响研究证据。
• 识别参数、规则、样本和中途放弃怎样进入尝试记录。
• 写出预先评价计划，完整保存失败，并说明校正方法不能证明什么。

学会了历史的细节，还是学会了可重复的关系

过拟合（overfitting）可以先理解为：规则对已看资料中的特殊细节适应得很好，却没有足够证据说明能适用于新资料。scikit-learn文档用在同一数据上学习与评价说明这种风险。[1]

复杂模型可能过拟合，简单规则也可能。多试几个窗口，避开某段下跌，换一组资产，再选择最亮眼的组合，等于给规则更多机会迎合这份历史。

这不表示探索不被允许。研究本来就需要比较想法，但“探索后选中的结果”与“一开始就固定的检验”证据含义不同。应保留搜索过程，安排尚未参与选择的评价，而不是把探索痕迹删掉。

G41追查数据和处理何时知道答案，这里继续追查是谁根据成绩改变了问题。数据每行时间正确，也不能让被反复选择的赢家恢复成一次独立检验。

没有优势，也能出现九胜一负

下面为C4错误实验室的独立合成概率机制，不是C2回测或真实市场。每个候选规则有十次观察，每次相对基准的毛收益差，均独立地以一半机会为正1个百分点、一半为负1个百分点；候选之间也独立，无费用。

这个设定中，每个候选每次观察的期望主动收益差都为0。我们事先把“至少九次为正”当作展示条件，只为数一数幸运记录有多少，不把它定义为合格投资策略。

单个候选十次正负共有1024种等可能排列。恰好九次为正，有十种负数位置；十次全正，另有一种。所以至少九次正的机会是11除以1024，约1.0742%。

若只按计划检验一个候选，这类记录不常见。但若给100个相互独立的候选同样机会，至少一个达到展示条件的概率为“1减去所有候选均未达到的概率”，约为66.04%。这是给定模型的精确概率计算，不是声称已经跑出100条历史曲线。

这并不意味着被挑中的规则有66.04%概率没用。我们本来就把所有规则设成真实无优势；66.04%描述的是整批搜索中出现至少一个漂亮记录的机会，不能倒过来解释某个现实策略的真假概率。

真实窗口和规则通常相关，不能把这里的独立公式直接套到自己的100次运行。它说明的是选择机制：你给噪声足够多机会，最后的最好结果就不能按“我只展示这一条”来评价。

只给赢家起名字，会隐藏怎样的比较

再用一份独立、完整给定的小记录，单位仍为相对基准的毛收益差，每次为正或负1个百分点。三个候选的四次观察分别是：甲为正、负、正、负；乙为正、正、正、负；丙为负、负、正、负。

甲有两次正，平均差为0；乙三次正，平均差0.5个百分点；丙一次正，平均差负0.5个百分点。如果报告只给乙的四行，你会看到75%的正向比例，却不知道它是三者里被挑出来的。

把它与G34的资产幸存者选择区分：那里是按后来资产是否还在，回头删掉研究对象；这里是按试验结果筛掉失败候选。两者都可能只留下赢家，却发生在不同的样本选择环节。

请先把三候选的完整记录与选择理由存下来，再看下一段。若已经读过后段，标为机制重建，不称作者或读者未知的前瞻验证。

另给定乙在后面四次独立观察的结果为负、正、负、正，均值0。乙不再保持前三次连胜，符合本例无优势的机制；但这四次结果本身也不是对真实策略的检验。关键是不能看见后段后再回去挑另一个候选，仍声称后段没有参与选择。

改的不只有窗口，还包括问题本身

一次尝试可能是改窗口、信号、阈值、持有期或资产，也可能是改变成本、起止区间、预处理或评价指标。单独把某段危机删掉再重跑，同样改变了你正在比较的对象。

若先试“哪只股票最有效”，再只留下某个行业；先看收益，再改成回撤最小的口径；甚至把题目从“是否有净优势”改成“至少某年领先”，都需要记下。这些选择未必错误，但不能从记录中消失。

重复运行完全相同输入与实现，不等于增加一项新的独立科学假设。反过来，只有三次程序调用，也可能已经人工看图改了十几次问题。应同时记录运行次数与实质候选变化，不用计算任务数量代替研究选择过程。

中途放弃也要留痕。资料缺失、规则冲突、费用过高，和看到前两次亏损后不想再跑，是不同原因。前者可能是项目无法实施的证据，后者已经利用了成绩；都不应改写成“没有试过”。

信号方向也算一次选择。如果先研究“过去涨得多的继续涨”，发现相反结果后改成“过去涨得多的会跌”，新解释可能值得探索，却不能冒充原假设获证。保留正向规则的失败、反向规则的提出时点和新检验计划，才能区分发现线索与事后把任何结果都说成符合预期。

一份包含失败的日志，长什么样

以下是前述小记录加上两条独立教学状态的日志示意。状态与原因是给定材料，不冒充实际软件运行记录；两个未完成版本没有被填上虚构的完整收益。

不能因为丁和戊没有完成，就自动说“总共只试了三个”。它们没有同样可比的完整成绩，但已经进入探索路径。后面采用校正方法时，也不能把不完整次数随意塞进一个公式，应说明候选、相关性与未知尝试的限制。

这份日志还要写规则版本、数据版本、时间划分、评价指标、费用、运行或查看时间，以及下一版为什么改变。若当时没记，事后重建应标注依据与遗漏，不能把记不清的探索包装成精确一次试验。

先约定怎样评价，再看想看的结果

在下一轮研究前，写明要检验的机制、主规则、允许比较的有限候选、成本情景、评价方法和停止条件。要不要继续探索，可以作为新的阶段决定，保留旧记录，而不是偷偷追加直到满意。

本书C2-B只允许一个预登记变体作为综合作业，其他探索全部入日志。不能变体失败后换成最好版本才交作业，也不能为了缩小次数将多个不同规则合成一个含糊名称。

开发和选择用过的资料，仍可以用于解释，但不能再承担完全未接触的检验角色。原验证段若已经反复拿来调整规则，就如实标为参与开发；把它改名“最终留出”不会恢复信息边界。

C2的2020—2024属于作者知道后续的历史教学留出，不是真实未来。真正前瞻观察从规则冻结后的未来开始，资料完整性和观察是否足够仍需另行评估。G43会继续安排这些阶段，本篇先把已经用掉哪些信息记清楚。

选读：校正能帮助提问，不能把过去变干净

原始研究提出回测过拟合概率PBO，用特定候选与划分，观察样本内选出的最佳策略，在相应样本外比较中落到候选中位水平以下的情形。[2] 它与“策略未来亏钱概率”或“没有真实Alpha概率”不是同一个定义。

这类分析需要可比较的候选结果矩阵、明确的选择准则与划分方法。原论文的组合对称交叉验证CSCV是一种特定分析构造，不能把它的分组结果直接当作真实前瞻观察，时间依赖也仍需核查。候选集合漏掉了失败试验、资料存在泄漏或市场状态改变，都可能限制解释；不是输入一条获胜曲线，就能得到整个搜索过程的可靠结论。

折减夏普比率DSR则针对选择和非正态收益等因素造成的绩效膨胀，原文考虑试验中的有效独立数量、样本长度、结果差异及收益分布特征。[3] 相关候选的独立数量需要估计，不能把所有相近窗口直接当作完全独立。

本文不要求计算两项高级方法，也没有为本例生成PBO或DSR数值。它们都不能修复错误账本、补出未记录的试验、证明经济机制或保证未来净回报。先完成诚实日志，再根据数据条件判断是否采用相应方法。

先判断选择发生在哪里

解释题：同一乙规则的四个数，独立预先选定与三候选中择优后呈现，为什么证据含义不同？应用题：戊只看到两次负结果就被放弃，能否删掉它并写“从未检验过”？先写理由。

第一题中，择优过程有机会将有利噪声集中到报告里，单看赢家遗漏了选择条件。第二题不能抹去已经看到结果并据此改变探索的事实；也不能将它当完整四次评价，只能如实记录两次和放弃原因。

换一组搜索规模

用另一个明确的独立合成概率模型：每个候选只有四次独立观察，每次正负各一半；候选之间也独立，所有候选真实期望差仍为0。预先规定至少三次正便入选。请先算一个候选的入选概率，再算三个候选至少一个入选的概率。

四次有16种等可能排列，恰好三次正有四种，全正一种，合计5除16，即31.25%。三个均未入选的概率为11/16的三次方，因此至少一个入选约为67.50%。即使没有优势，选择空间也很容易给你一个看起来不错的对象。

这不是现实相关策略的直接误报率，也不证明观察到三个正就一定无用。它要求你在解释入选者之前，把参考机制、搜索规模和相互依赖一并交代，不能只保留75%这个好看的比例。

保存完整试验日志与评价计划

为当前研究列所有已完成、失败、阻断和中途放弃版本，注明已看过哪些结果、相对哪版改了什么、为何改、原始材料在哪里。无法追溯的历史探索标为未知，不造精确次数。

再为下一轮写一个冻结页：问题、主规则、有限比较范围、数据与时间划分、费用和评价标准、允许查看何段结果、什么条件下停止或重新立项。将计划存于结果揭晓前，后来修改新增版本。

自检时暂时遮住最漂亮那条曲线：别人还能知道你是如何选出它的吗？失败记录和中途停止是否仍在？若只剩赢家名称与一个小p值，证据还没有覆盖整个探索过程。

小结：评价赢家，也要评价它怎样被选中

先问规则有无合理机制，再问参数、题目、样本与指标经历了多少选择。看起来优秀的历史结果，可能来自可重复关系，也可能来自搜索空间里的幸运位置；不能只靠最终曲线把两者分开。

保留全部试验与已消耗的评价资料，预先约定下一轮比较。校正方法有助于在明确条件下衡量选择影响，不能替遗漏、泄漏和实施问题兜底。让负结果仍能被看见，研究才有机会停止追逐下一条更漂亮的线。

参考资料

1. scikit-learn：Cross-validation—Evaluating Estimator Performance。学习与同数据评价造成过拟合的基本说明，不要求读者编程。
2. Bailey、Borwein、López de Prado与Zhu：The Probability of Backtest Overfitting，2015作者稿，定义2.1—2.2及CSCV框架。只解释用途与数据条件，不宣称已对本书策略实施估计。
3. Bailey与López de Prado：The Deflated Sharpe Ratio，2014作者稿，摘要及DSR、有效独立试验数讨论。高级用途选读，不将校正输出写成策略真实有效概率。

资料核查日期2026-10-29。本文为独立合成机制、给定日志示意与方法解释，AI辅助编写及核查，尚待人类金融审校和目标读者试读。