检索精度：摘要前归类假阳性

检索精度衡量返回结果中有多少符合事先定义的相关性规则。让 AI 摘要之前，先检查假阳性及其成因；即使摘要逐字准确，如果资料回答的是另一个问题，最终研究仍然会偏离。需要改进的是检索与筛选机制，而不只是缩短输出。

先定义什么才算相关

假设你研究一家虚构软件公司：过去一个财年，存量客户的合同支出是否增加？相关资料应提供该公司、该期间、可识别客户定义下的支出证据。行业景气评论、名称相近的另一家公司、新客户签约消息，都不能直接回答这个问题。

scikit-learn 的模型评估文档说明了用真阳性与假阳性计算精度的方法。把这个算式用于人工标注的研究资料池，并不意味着软件替你决定了“相关”的含义。以下是研究编辑方法示例，不是任何搜索产品的实测成绩。

假设检查前十二条结果，五条符合相关性规则，另外七条是假阳性。那么本次审阅集合的精度为 5÷12，约 41.7%。这个数字只对应这次查询、资料池与截断位置，不能推广为所有查询的表现，也不能据此判断结果之外漏了多少重要披露。

分类	数量	为什么没有回答问题	对应修正
相关证据	5	主体、期间和客户指标匹配	保留并核对口径
主体错误	2	名称或代码相似	增加法定主体与标识
期间错误	2	对应更早的经营窗口	核实日期限制
指标错误	2	新增销售而非存量支出	搜索确切指标定义
只有评论	1	重复无原文支持的断言	追查基础披露

修改查询前，先完整记录这十二条。不能看到结果不支持原判断，就把它改标成不相关。证据方向与相关性是两件事：反驳增长判断的留存下降数据，仍然直接回答了研究问题。缺少上下文、暂时不能判断的资料，应标记待定，不应为了让分数更漂亮而删除。

主体冲突需要核对法定名称、交易所、业务描述与标识，单纯写更长的提示词往往无济于事。期间错误同时涉及文件发布日期和所述经营期间；刚上传的文件也可能只是在回顾多年前。指标错误则要回到分子、分母与客户群定义，增加“增长”两个字不会自动纠正口径。

评论材料还要分开处理相关性与证明力度。管理层电话会中的估计，可能与“管理层如何描述存量客户”这个问题高度相关，却不足以证明客户真实支出。可以将它保留为线索，并明确证据角色较弱。若事后把规则改成只接受强证据，原有精度数字就失去了可比性。

对每个假阳性写下一个具体理由，优先使用能触发下一步动作的分类。比如“旧财年指标”可以导向期间筛选，“同名海外子公司”可以导向主体辨识；“内容不好”无法帮助复核，也容易夹带对结论方向的偏好。

用同一资料集合、同一相关性定义和同一结果截断位置，运行修改后的查询。记录相关条数、假阳性的类型，以及新找到的关键证据。如果第一次审十二条，第二次只保留人工挑出的三条，就不能简单宣称搜索精度改善。故意排除长文件，也会改变检查成本。

精度提高并非唯一目标。一个过窄查询可能只返回最显眼的公告，遗漏真正改变判断的附注。需要另外做漏召回复核，用已知相关项目检查主体筛选和指标词是否产生误排。同时承认这个小型参考集合不能证明全量召回，更不能代表整个开放网络。

保存查询文本、资料范围、搜索时间、截断位置、相关性规则和逐条标签，再列出修改后的查询及观察到的取舍。对有争议的标签保留理由，让另一位研究者能够复核。交付应是这份可检查的记录，而不是一句“AI 搜索已经优化”。

不是。只要它直接回答研究问题，就应保留。反向证据往往比支持材料更能推动判断更新。

可以先建议标签，但研究者需要复核争议项，并抽查看似正确的结果。否则评估可能重复造成原始搜索错误的同一种理解偏差。