AI引文核验:来源是否支持这句话
核验 AI 生成的引文,需要分别检查来源是否存在、具体段落是否支持句子,以及范围是否匹配。链接能够打开,只完成第一步;权威文件也可能被错误挂在它没有支持的主张旁边。
原始的 ALCE 研究论文研究带引文回答及相关评估,说明引文支持需要单独检查。本页提出的是人工研究流程,没有声称测试过某助手,也不提供虚构准确率。
从句子拆出主张
不要先浏览来源列表再觉得整体可靠,应从 AI 草稿的每个句子开始。“收入增加、利润率改善、管理层预计加速”至少包含三项主张,可能需要不同来源和证据类型。
对每项主张打开原文件,确认发布者、日期、身份和相关段落。搜索摘要或另一个模型的解释可以用于定位,但不能代替阅读正文及附近限定条件。仅主题相关,不等于论证成立。
| 检查 | 核对问题 | 状态 |
|---|---|---|
| 存在 | 找到的确实是预期文件吗? | 已定位或待核 |
| 支持 | 段落能建立此项断言吗? | 支持、部分、缺失、矛盾 |
| 范围 | 实体、期间、单位、群体一致吗? | 匹配或不匹配 |
| 归属 | 事实、发行方说法还是推断? | 明确标签 |
| 措辞 | 是否添加确定性或因果? | 保留或修改 |
部分支持需要缩窄句子,而不是换一个更像正式引用的格式。保存原句和修改理由,方便后来检查。
假设案例:真实报告支持不了有机增长
假设虚构年报说收入因为收购而增加,AI 草稿却写“自然需求加速”并引用该报告。文件真实、主题也相关,但不能证明有机加速。正确做法是删去或缩窄主张,需要时另找正式披露的有机指标。
再假设报告写管理层预计来年利润率可能改善。改写成“利润率将改善”,就改变了归属、时间和确定性。应保留谁说的、针对哪段未来期间以及“可能”,不能借报告权威替更强断言背书。
以上是假设,分别展示两种缺陷:一是来源相关却不支持具体机制,二是段落相关却在转述中被夸大。它们都不能靠多放几条类似链接修复。
保存位置与上下文
在网址之外保存页码、章节、表格编号或可靠定位。必要时保留简短摘录,并用自己的笔记记录周边限定。仅有整份文件链接,会显著增加后续复核成本。
表格还应保存行、列、单位和脚注,网页则记录抓取日期及可取得版本。资料变化或消失后,这些身份字段有助于判断是发布修订,还是最初引文就错了。
再不点击链接读一遍草稿,判断普通读者会以为该引用支持哪些句子。段末一条链接可能看似支持整段,若各句依据不同,应把引文移近相应主张,或拆开段落。
设置交付规则
可以规定重要事实在交付前都必须有支持状态:已支持保留,部分支持缩窄,缺失或矛盾则删除、补查或明确讨论。它是一项编辑方法,不保证全部事实绝对正确。
原始资料不可访问,或主张超出文件能力时,不能靠此流程补出事实。公司报告可以证明管理层曾这样说,不一定独立验证全部因果解释。常见错误包括只检查链接、接受主题相似、用一个引用覆盖无关主张,以及不看原文就复制 AI 给的页码。
对被缩窄的句子保存原句、修改原因与复核日期,后续版本才不会再次恢复没有依据的强断言。
常见问题
找到真实官方来源就能验证句子吗?
不能。相关段落必须支持具体断言,包含时间、主体、单位和确定性。
来源只支持半句话怎么办?
拆句或缩窄,未支持部分继续待核,不用更多松散相关链接掩盖缺口。