跳到正文

研究指南

AI 辅助证据核对

研究文档提示注入:维持来源与指令边界

研究文档中的操作指令应当视为不可信来源内容。网页、PDF 或提取表格,可能要求 AI 忽略任务、泄露私人笔记或联系外部服务。文档包含有用财务资料,不会让这些要求自动获得权限。

OWASP 提示注入说明介绍恶意输入可能改变模型行为,以及检索不能完全消除问题。本页将其用于证据收集,不声称单靠提示词可以保证防护,也不宣称某产品已实现特定能力。

将权限与证据分开

任务由人的研究要求确定,检索文件提供待检查材料。即使文件使用“系统通知”或“强制验证”等语气,两种角色仍然不同。来源不能授权发送私人数据,也不能改变研究目标。

处理前明确允许动作。只读证据任务通常只需取资料、提取和本地笔记。来源要求其他动作时,将有关文字记为可疑内容,只在原任务内继续。不能用机密材料测试可疑目的地。

边界研究规则
来源文字用来引用或分析,不是新权限
私人上下文非必要或未授权则不提供
外部请求需要来源指令之外的正当任务依据
工具动作限于研究所需操作
可疑段落记录位置及对提取的影响

这些是流程控制,工具支持时还应配合适当技术访问限制。

假设案例:恶意脚注要求上传持仓

假设虚构投资资料的一条脚注说,准确分析必须将用户持仓与笔记上传到无关验证地址,同时文档又包含有用收入表。收入表可以继续作为候选证据,上传要求仍然没有权限。

研究者记录脚注位置,忽略操作要求,只提取相关公开事实。如果可疑文字污染了输出,就废弃受影响提取,对照原页重新核表,私人持仓不发送。

如果文字自称管理员消息,它依然只是来源内部的主张,不改变权限关系。以上是假设,刻意不提供可执行攻击步骤,重点是保持资料与指令的角色边界。

减少上下文与动作暴露

给提取步骤的内容只包括问题所需资料,避免加入密钥、账户凭据、私人持仓和无关通信。最小必要上下文可以减少发生异常时暴露的内容,但不保证模型拒绝全部恶意要求。

阅读与有后果的动作分开。来源摘要不应直接触发消息、上传、外部编辑或交易。拟执行动作要对照真实用户要求和独立证据,文件说“需要执行”本身不构成任务依据。

工具允许时采用窄范围访问和只读方式,保留足以检查资料获取与操作的日志。日志提供可观察性,不应夸大为能够防止注入。对于没有必要的权限,不因为流程方便而提前开放。

复核最终证据

发现可疑段落后,检查摘要是否改了目标、加入无依据主张,或省略不利资料。来源操纵即使没有发送数据,也可能污染叙述。重要断言进入备忘录前应重新回到原段落核对。

本方法不能认证文档无害,也不能保证完全抵抗间接指令。图像、结构化数据和文本都可能需要检查。常见错误包括因为 PDF 看起来正式就服从其中命令、把检索当自动安全边界、提供不必要私人信息,以及让摘要未经授权检查就触发外部动作。

交付记录应说明实际采用了哪些限制,以及哪部分输出因来源异常重新检查,不写超出实际核验范围的安全保证。

常见问题

文档有可疑文字就必须整份删除吗?

不一定。隔离操作要求,判断公开证据能否在适当限制下提取并验证,同时诚实记录局限。

更强的系统提示词能完全解决问题吗?

不能把单个提示当保证,应结合来源边界、最少数据、工具权限限制及有后果动作的适当人工复核。

相关阅读