跳到正文

研究指南

AI 辅助证据核对

长文档AI审阅:信任摘要前先检验覆盖范围

长文档AI审阅是否有用,取决于你是否知道答案实际覆盖了哪些材料。信任摘要前,先做文档地图,再用自己独立定位的小组事实检查覆盖情况。系统接受了一个大文件,不等于它提取了所有表格、保留了每一页,也不等于回答用到了全部相关章节。

分开检查接收、检索和解释

《Lost in the Middle》原始研究考察了语言模型如何使用长输入中不同位置的信息。结论针对论文评估的模型和任务,不能直接当作今天所有文档服务的能力分数。这里采用的实践原则是:测试自己真正使用的资料和处理流程,不把宣传的输入容量当成覆盖可靠性的证明。

检查分三个阶段。接收检查文字或图像是否到达系统;检索检查系统是否为当前问题找到相关段落;解释检查答案是否保留原文含义和限定条件。模型正确概括了开头介绍,不能证明后面一页扫描附注可以被读到。应分别寻找这些阶段的证据,而不是只给一份漂亮的总结打分。

提问前先制作文档地图

记录和研究问题有关的章节、页码范围以及材料格式。若附录、表格或更正公告会改变正文意义,也应纳入。你不需要为不相关问题画出整份报告的所有结构,但必须声明本次核查范围,让缺失材料可见,避免系统默默把没有读取的内容当成不重要。

覆盖记录字段假设填写
来源版本某虚构公司年报A版
相关章节客户集中度附注
位置和格式第68页,扫描表格
独立哨点事实最大客户收入占比假设为百分之二十四
提取结果已提取、不可读或没有找到
解释结果单位及期间保留,或核对失败

哨点必须由你先回到原文独立定位,不能让模型先建议一个数字,再把它用作验证答案的标准。应覆盖不同相关章节,并包含至少一种难读格式、一句否定表述或重要附注限定。它们是定位故障的样例,不是对其余全文全部读对的统计保证。

假设案例:摘要漏掉关键附注

假设虚构报告开头说收入增长,后文附注则说某客户占全年收入百分之二十四。摘要只讨论增长,没有提到集中度。接下来请求具体附注、适用期间和原文位置。如果系统无法定位,应登记为覆盖失败,不要只用“请更全面”要求它重新写一份同样无法验证的长摘要。

如果扫描件提取失败,可以提供经过人工检查的表格转写,并清楚标记这是后来单独提供的输入。如果文字可读而检索失败,就缩小到章节级提问。如果解释失败,则逐句核对答案和原文中的范围限定。这三种修复解决的是不同问题,修复后的答案不能把最初的故障记录抹掉,否则以后换资料时还可能重复出错。

不只查回答,还要查遗漏

最终记录应列出文档地图里哪些章节已检查、哪些不可用,以及剩余问题。还可以询问文档根本没有的一个项目,检查系统是否在所声明范围内报告缺失,而不是补出一个合理答案。输入处理流程不变时,反复问同一句话不构成独立的覆盖测试。

即使所有哨点通过,重要结论仍应回到原文逐项核对。小组哨点不能估算整份文档的错误率,也不能证明不存在尚未披露的问题。这种方法的具体价值,是避免流畅摘要掩盖已经能够发现的输入缺口。若关键扫描页一直无法读出,就应明确暂停依赖该页的结论,而不是提高措辞信心。

常见问题

文件上传成功是否代表整份报告都读过?

不是。上传、文字提取、检索和回答生成是不同阶段,需要独立检查相关章节和格式。成功识别第一页不能替代对扫描附注的核查。

应设置多少个哨点事实?

根据本任务涉及的章节和故障类型选择。无论数量是多少,小型编辑抽查都不是具有统计代表性的整体评估,不应据此声称全文准确率。

相关阅读