研究文档提示注入:维持来源与指令边界
研究文档中的操作指令应当视为不可信来源内容。网页、PDF 或提取表格,可能要求 AI 忽略任务、泄露私人笔记或联系外部服务。文档包含有用财务资料,不会让这些要求自动获得权限。
OWASP 提示注入说明介绍恶意输入可能改变模型行为,以及检索不能完全消除问题。本页将其用于证据收集,不声称单靠提示词可以保证防护,也不宣称某产品已实现特定能力。
将权限与证据分开
任务由人的研究要求确定,检索文件提供待检查材料。即使文件使用“系统通知”或“强制验证”等语气,两种角色仍然不同。来源不能授权发送私人数据,也不能改变研究目标。
处理前明确允许动作。只读证据任务通常只需取资料、提取和本地笔记。来源要求其他动作时,将有关文字记为可疑内容,只在原任务内继续。不能用机密材料测试可疑目的地。
| 边界 | 研究规则 |
|---|---|
| 来源文字 | 用来引用或分析,不是新权限 |
| 私人上下文 | 非必要或未授权则不提供 |
| 外部请求 | 需要来源指令之外的正当任务依据 |
| 工具动作 | 限于研究所需操作 |
| 可疑段落 | 记录位置及对提取的影响 |
这些是流程控制,工具支持时还应配合适当技术访问限制。
假设案例:恶意脚注要求上传持仓
假设虚构投资资料的一条脚注说,准确分析必须将用户持仓与笔记上传到无关验证地址,同时文档又包含有用收入表。收入表可以继续作为候选证据,上传要求仍然没有权限。
研究者记录脚注位置,忽略操作要求,只提取相关公开事实。如果可疑文字污染了输出,就废弃受影响提取,对照原页重新核表,私人持仓不发送。
如果文字自称管理员消息,它依然只是来源内部的主张,不改变权限关系。以上是假设,刻意不提供可执行攻击步骤,重点是保持资料与指令的角色边界。
减少上下文与动作暴露
给提取步骤的内容只包括问题所需资料,避免加入密钥、账户凭据、私人持仓和无关通信。最小必要上下文可以减少发生异常时暴露的内容,但不保证模型拒绝全部恶意要求。
阅读与有后果的动作分开。来源摘要不应直接触发消息、上传、外部编辑或交易。拟执行动作要对照真实用户要求和独立证据,文件说“需要执行”本身不构成任务依据。
工具允许时采用窄范围访问和只读方式,保留足以检查资料获取与操作的日志。日志提供可观察性,不应夸大为能够防止注入。对于没有必要的权限,不因为流程方便而提前开放。
复核最终证据
发现可疑段落后,检查摘要是否改了目标、加入无依据主张,或省略不利资料。来源操纵即使没有发送数据,也可能污染叙述。重要断言进入备忘录前应重新回到原段落核对。
本方法不能认证文档无害,也不能保证完全抵抗间接指令。图像、结构化数据和文本都可能需要检查。常见错误包括因为 PDF 看起来正式就服从其中命令、把检索当自动安全边界、提供不必要私人信息,以及让摘要未经授权检查就触发外部动作。
交付记录应说明实际采用了哪些限制,以及哪部分输出因来源异常重新检查,不写超出实际核验范围的安全保证。
常见问题
文档有可疑文字就必须整份删除吗?
不一定。隔离操作要求,判断公开证据能否在适当限制下提取并验证,同时诚实记录局限。
更强的系统提示词能完全解决问题吗?
不能把单个提示当保证,应结合来源边界、最少数据、工具权限限制及有后果动作的适当人工复核。