跨越检索门槛：真实场景中针对 LLM 系统的间接提示注入
Overcoming the Retrieval Barrier: Indirect Prompt Injection in the Wild for LLM Systems
论文速读
据论文全文整理（AI 生成），以原文为准
论文提出把注入文本拆成保证检索的触发片段与承载攻击目标的攻击片段，用黑盒 CEM 算法构造触发片段，只需嵌入模型 API，在 OpenAI 嵌入模型上每次目标查询成本低至 0.21 美元，在 11 个检索基准和 8 个嵌入模型上实现接近 100% 的检索率。
- 基于检索的 LLM 系统（RAG、agent）面临 indirect prompt injection（IPI）风险，但以往研究多假设恶意文本已在上下文中，回避了最难的一步：在自然查询下恶意内容能否被检索到。作者指出未优化的 IPI 在真实语料中几乎不会被检索，因此其真实威胁程度一直不清楚。
- 作者把注入文本拆成两部分：承载任意攻击目标的 attack fragment，以及仅用于保证被检索的短 trigger fragment。他们用黑盒 Cross-Entropy Method（CEM）优化 trigger fragment，只需调用 embedding 模型 API，无需梯度或语料内容，目标是让 x∥Dadv 在自然查询下进入 top-K 检索结果。
- 在 11 个 BEIR 基准和 8 个 embedding 模型上，作者报告 trigger fragment 常仅需 5–10 个 token 即可达到接近 100% 的 Recall@5，成本低至每次目标查询 $0.21；Query+ 和 Vanilla 基线明显更差。端到端实验中，单个被投毒的邮件可让 GPT-4o 在自然查询下执行恶意 Python 脚本并外泄 SSH 密钥，多 agent 场景成功率超过 80%；RAG 场景下多数 LLM 被诱导输出固定答案。作者还测试了 query paraphrasing、perplexity filtering、token masking 三种防御，发现自适应攻击可绕过。
- 评估仅限基于 embedding 的检索系统，未测试 hybrid pipeline 和 reranking 机制；当参考与目标 embedding 模型架构不同时，trigger fragment 的迁移性没有保证。作者也承认核心算法 CEM 来自已有工作，其贡献在于适配到 IPI 场景。
论文提出把注入文本拆成保证检索的触发片段与承载攻击目标的攻击片段，用黑盒 CEM 算法构造触发片段，只需嵌入模型 API，在 OpenAI 嵌入模型上每次目标查询成本低至 0.21 美元，在 11 个检索基准和 8 个嵌入模型上实现接近 100% 的检索率。作者称这是首个在自然查询与真实语料下完成端到端验证的间接提示注入攻击：一封投毒邮件即可让 GPT-4o 在多 Agent 工作流中泄露 SSH 密钥，成功率超过 80%。对查询改写、困惑度过滤和 token 掩码三种防御的评估显示，它们都不足以阻止恶意文本被检索。
推荐理由论文把间接提示注入的瓶颈定位在检索环节，并给出只需黑盒 API 的触发片段构造方法，可用来评估 RAG 与 Agent 系统的检索面风险。