概率主张：用结果频率与评分检查校准

概率是否校准，需要检查被赋予相近概率的事件，在结果成熟后是否以相应频率发生，并保留样本证据的限制。应同时报告适合的评分规则。模型措辞自信、排序较好或分类准确率较高，都不能独立证明概率校准。

先定义能够检查的事件

假设研究助手为“某段原文包含指定披露”给出概率。事件需要书面定义和参考标签流程。找到披露的概率，不等于发行人跑赢市场的概率，也不是会计判断在法律上正确的概率。事件范围必须比最终投资结论窄，不能借用一个技术数字替代其他证据。

scikit-learn 概率校准指南解释可靠性图，并区分校准与适当评分规则涉及的其他性质；其中 Brier 损失并不只反映校准。本工作表评价虚构预测，不是对 CoTrading 已有软件功能的实测。

假设四条预测已经锁定，之后按独立参考标签评估。概率依次为 0.8、0.8、0.2、0.2，结果为 1、0、1、0。按普通二元 Brier 定义，平均概率平方误差为 0.34。

误差和为 1.36，除以四得到 0.34。同样四条资料，全部预测 0.5 的分数为 0.25。小案例只演示算术，不能可靠估计部署质量。每组只有两条观测，抽样不确定性很大，改一个标签就可能明显改变表面结论。

对更大的未参与调优的评估集，按事先说明的规则分箱。每箱报告平均预测概率、实际阳性比例和案例数量。演示中两组实际发生率都是 0.5，却分别预测 0.8 和 0.2。不能用平滑曲线掩盖分组观测数量很小的事实。

分箱宽度和样本构成会改变图形。箱太宽可能隐藏组内错误，太窄又可能把随机波动显示成结构。保留透明表格，并检查少量合理分箱定义。曲线是频率估计，不是每个单独概率都获得了认证。

始终给出总体基础率的预测，可能在总体上校准，却无法区分容易和困难案例。排序很好也可能系统性夸大概率。因此分别检查区分能力和校准，再讨论复核阈值需要实现什么目标，不能让一个有利指标代表整个研究流程。

Brier 分数在其约定下评价概率预测质量，但分数下降不能独立说明哪个组成部分改善。记录缩放方式、样本权重和缺失结果处理。标签定义或资料总体不同的两个分数，不能被当作同一稳定任务的直接比较。

如果标签本身有争议，先保留初始分歧和裁决依据。参考标签并非天然无误，重复使用同一套错误标签，可能得到看似稳定却没有真实意义的校准结果。

用带标签案例拟合概率修正时，应留出独立资料评估修正结果。若反复在最终测试集上选分箱、修正方法和阈值，它就变成了开发集。保存哪些案例用于拟合、哪些保持未触碰，便于后来复核性能陈述。

还要记录结果成熟日期，待定案例不能直接视为阴性。语言、文件类型或基础率改变时重新检查。概率评价是针对明确任务、总体和时间的一项经验陈述，不是模型永久可靠的证书。

不是。校准描述可比预测组中的结果频率。单个二元结果按标签规则，仍是发生或没有发生。

不能单凭它判断。分数涉及概率质量的多个方面，还需要看可靠性表和样本构成。