参数改后收益更高:怎样保留可信实验记录
改参数后收益更高,是新观察,不自动证明方法更好。一旦看过某区间并据此选择规则,该区间就进入探索过程。
先冻结问题,再跑组合
S06 首版做支持规则族的敏感性检查,不是无限造策略。看结果前写完整组合、数据版本、成本、分界规则和比较窗口;方法可用性仍看实际发布验收。
| 实验字段 | 教学记录 | 保留原因 |
|---|---|---|
| 规则族 | 简单动量 | 不混不同策略 |
| 窗口 | 42、63、126 交易间隔 | 展示预设全部变体 |
| 成本 | 看结果前固定场景 | 不选择性报告 |
| 数据 | 固定资产、版本和摘要 | 输入含义一致 |
| 比较 | 热身后的共同区间 | 收益机会相同 |
| 分界 | 冻结日期和选择法 | 区分探索与验证 |
表格是 CoTrading 自定研究协议,不是监管要求。Bailey 等人的论文 The Probability of Backtest Overfitting研究多次回测中的选择问题。本页简单日志没有计算论文的过拟合概率,只保留尝试过什么的证据。
敏感性阅读样例
假设共同区间的三个收益为 3%、8%、-2%,只挑 8% 会藏住脆弱性。应全部展示成本、回撤与失败尝试。这里数字是编造的教学结果,不是已运行市场业绩,也不证明某窗口更好。
126 间隔需要的历史比 42 多。保留各自完整结果,同时计算共同热身后区间。不同起点累计收益不能当成只有参数发生变化。
保留失败实验
缺数据报错不是零收益,也不能从矩阵消失。记录运行号、规则摘要、数据摘要、状态、错误与产物。高成本场景漏跑时,对照仍不完整,应补跑而不是忽略。
守住保留段边界
看过保留段又调参,新工作标探索。未触碰验证需要在查看前冻结规则与选择标准,反复改分界不会创造独立性。
何时停止
四日样本不够测试这些动量窗口,应返回历史不足,不能伪造矩阵。稳健性不保证未来利润,不消除幸存者偏差,也不能把固定资产实验变成全市场选股。
常见问题
参数网格很大就算独立验证吗?
不算,除非另有事前冻结、未触碰的评估。
失败组合能从汇总删掉吗?
保留状态与原因,删掉会改变证据集合。