分类器预警：按目标基础发生率重算精确率

研究预警的精确率取决于目标问题在待检查总体中有多常见。只有敏感度和特异度，不能直接确定每条预警有多可靠。部署财报分类流程之前，先估计相关基础发生率，固定阈值定义，再把混淆矩阵转成真正需要人工处理的工作量。

先定义阳性与总体

假设工具标记披露中是否存在需要专家复核的合同修改。阳性表示复核者按书面规则确认该条件，不表示公司不值得投资、存在欺诈或股价将下跌。后三者属于不同目标，需要不同标签和证据，不能借分类器的技术指标直接推出。

scikit-learn 混淆矩阵文档区分预测与参考标签下的真假分类，可用来保留分母。下面是本站原创假设工作表，不是 CoTrading 现有分类软件的实测表现。

假设固定阈值下敏感度为 80%、特异度为 95%。一个总体中有 10% 披露符合目标条件，另一个总体只有 1%。两者各有一万份披露，并且仅为演示，假设这两个条件错误率保持不变。

在低发生率总体，即便特异度仍是 95%，错误预警也显著多于正确预警。精确率是 80÷575，不是 80÷100。后一个数是敏感度，回答实际阳性被找出了多少。混淆分母会让成本很高的复核队列看起来格外精准。

设发生率为 p、敏感度为 s、特异度为 c，预计阳性预测值为 s×p 除以 s×p＋（1－c）×（1－p）。各部分再乘总体数量，就得到预计条数。它是依赖假设的投影；基础率和错误率估计本身存在的不确定性，不会被一个点值算式消除。

检查评估集怎样形成。如果刻意将容易识别的正负案例各放一半，这可能适合开发，却不代表实时披露流。保存抽样规则和类别比例，不能把这种集合的原始精确率直接搬到部署环境。仅凭预警数量占比，也无法独立反推真实发生率。

公司规模、语言、文件格式和披露习惯变化，可能同时改变敏感度、特异度与基础率。按新发生率重新加权，无法修复条件表现漂移。需要从新总体抽查代表性资料，也检查没有被标记的案例，并区分真正观察到的表现与沿用的旧假设。

比较两个总体时，目标定义与阈值应一致。调高阈值可能减少误报，却也漏掉真实条件；应结合遗漏后果和复核容量评价取舍。不能只因精确率上升，就把流程改善说成没有代价。

按明确期间报告预计预警数、确认问题数和漏检负担。在第二个例子中，575 次复核预计发现 80 个真问题，仍漏掉 20 个。能否处理这批文件，比一个好看的百分比更直接决定流程是否可用。

如果基础率缺乏可靠估计，展示有依据的范围，并解释范围来自什么资料。保留参考标签的形成过程与成熟日期。无论预计预测值多高，预警都只是检查请求，不能跳过原文核验成为已经确认的公司结论。

不等于。特异度的分母是真实阴性，精确率的分母是返回阳性，两者业务含义不同。

需要证据说明总体、目标和运行特征仍适用。应重新检查发生率及条件错误，而不是只延续一个标题分数。