InceptionRAG：针对检索增强生成的隐蔽投毒攻击

1. 01这篇论文试图解决什么问题？

   单文档显式投毒易被逐篇过滤；InceptionRAG改用跨文档的隐式逻辑诱导。

   现有单文档显式投毒把恶意结论写进一篇文档，隔离式过滤能查单篇异常；要解决的是把结论拆进多篇、单独无害、合在一起才经多跳推理推出的语料投毒。

   • 场景：作者称 RAG 把信任边界扩到外部知识库。攻击者注入 toxic passages，操纵检索后使 LLM 生成指定 target answer。作者举的高风险用途包括法律、医疗与金融。
   • 现有不足：作者称 PoisonedRAG、HijackRAG 等把载荷集中在单文档，并显式关联查询与答案，会留下注意力方差、关键词密度或跨文档矛盾等痕迹。逐篇检查的防御因此能拦住。这些防御对 indirect logic induction 是否仍有效，作者称仍是开放问题。
   • 核心观察：作者的直觉是 dormant in isolation, toxic upon aggregation。单篇与查询看似无关；聚合进上下文后，模型用三段论式推理自行推出目标答案。作者称更强的推理能力会提高对这类攻击的脆弱性。
   • 提出内容：InceptionRAG 用代理实体构造 attribute document 与 bridge document，用 ZOSO 生成权威后缀，并用双端注入争取检索排名。另提出文档隔离防御 HODOR，用来切断对抗逻辑依赖。
   • 威胁模型：
     • 目标：对任意一组目标查询，使 RAG 输出攻击者指定的 a_i^*。
     • 知识：对检索器 R 与生成器 G 均为 strict black-box。无参数、梯度、嵌入权重或 token 概率，只能经公开 API 提交 q 并观察最终 y。
     • 能力：可注入少量伪造文档，且 |D_adv| ≪ |D_clean|。不能修改或删除已有良性文档。作者举的注入面包括可编辑众包平台与公开论坛。
     • 受害系统：从开放或用户贡献来源建库的 RAG。成功即生成结果为指定 target answer。

   收起这一问

2. 02有哪些相关研究？

   对照集中在单文档投毒与隔离式防御，基线为PIA、PoisonedRAG、HijackRAG。

   RAG 与单文档投毒

   • REALM、vanilla RAG、RETRO、REPLUG、Self-RAG：论文在预备知识中把它们作为 RAG 框架，分别涉及端到端微调、分块交叉注意力、用困惑度优化冻结生成器的检索器，以及自反思 token。
   • PoisonedRAG 与 HijackRAG：两阶段攻击，先争取 top-k，再诱导目标答案。前者构造看似真实、显式含目标答案的段落；后者用劫持提示迫使生成。检索阶段都把原查询注入载荷。作者称二者把整段目标答案放进单文档，缺少隐蔽性。
   • PIA：原本劫持指令遵循，改用于 RAG 时主要打生成器、不处理检索。作者把上述攻击都归入 single-document injection。

   更广的攻击目标与方法

   • 目标不限于错误答案：LIAR 降低鲁棒性；另有拒绝服务、系统性偏见，以及 BERA 抑制 RAG 中的自我纠正。论文只作描述，未与本文做实验对比。
   • 方法上包括触发式后门、Joint-GCG、NeuroGenPoisoning，以及改检索器参数的 DISARMRAG、在嵌入空间劫持检索的 BRRA。
   • 领域与结构：代码生成、医疗、事实核查，以及 Multimodal RAG 与 GraphRAG。论文称攻击会随底层结构变化。

   防御

   • 实验中的过滤：AVFilter 用注意力方差，FilterRAG 用查询相关词的频率密度，RAGForensics 用 LLM 判断段落是否导向错误输出，MIS 在矛盾图上求最大独立集，RAGDefender 去掉语义上成团的可疑段落。
   • 架构隔离与生成期监控：StruQ、CaMeL 把指令与数据分开；RevPRAG 看神经元激活，FiSCoRe 与 Sufficient Context 在不确定时拒答，DefensiveToken 强化系统指令。作者称 InceptionRAG 的载荷与查询弱相关，现有异常检测可能把它当成常见噪声。

   基线与基准

   • 基线方法：PIA、PoisonedRAG、HijackRAG。
   • 基准：NQ、HotpotQA、MS-MARCO。默认检索器与先前投毒研究一样用 Contriever。

   作者把本文定位为利用两篇休眠段落之间逻辑邻近性的隐式逻辑诱导，而不是单文档显式注入；并称这对应单文档防御的结构盲点。

   收起这一问

3. 03论文如何解决这个问题？

   用代理实体把答案拆成两篇休眠文档，再用ZOSO后缀和双端注入完成黑盒投毒。

   InceptionRAG 不在单篇中写下目标结论，而是用代理实体做成两篇文档，再靠后缀让模型优先走这条推理，并用双端注入争取进入 top-k。

   问题设定

   给定查询 q 与目标答案 y_t，攻击者优化对抗集合 P。过滤函数 Φ 从检索上下文中去掉可疑段落。目标是联合提高「P 被检索到」和「过滤后仍生成 y_t」的概率：

   max_P P(P ⊆ R(q, D)) × P(y = y_t ∣ q, Φ(C ∪ P))

   该式表示：即使存在过滤 Φ，也要同时抬高检索概率与生成概率。流程分三阶段：载荷构造、检索概率最大化、全局后缀适配。

   逻辑陷阱

   • 代理实体与目标实体类型相同、语义相近，但不是用户所问的那个实体。
   • attribute document 把代理实体写成带有目标答案的事实性陈述，不点名目标实体。
   • bridge document 只称两者在所问属性上等价，不写出显式答案。两篇都被检索时，模型被推向传递性推断：代理实体的取值转到目标实体。
   • 附录 C 给出实体抽取、两篇文档和后缀候选的完整提示词。优化时不把每个候选后缀写入知识库，而是把查询与两篇载荷提交给受害 RAG，由其从干净库再检索并生成，以回答是否含目标答案作为反馈。三阶段完成后才注入最终载荷。

   ZOSO 后缀

   良性证据可能直接写出真实答案，从而盖过逻辑陷阱。作者因此在两篇文档上各加一类后缀：anchor 抬高权威感，bridge 促使关系跨段落传递。

   • 代理 LLM 先生成风格不同的种子再释义扩展候选池。论文未给出该代理 LLM 的名称。附录 C.3：每类 20 个种子，每种子 25 个变体。此阶段 2 次代理调用，不查询受害模型。
   • golden set 按目标答案的属性类型分层抽样。附录实现中该集为 40 条。奖励：含目标答案加分，含真实答案扣分，只提到代理实体给较小加分。Table 8 的权重为 +1.0 / −2.0 / +0.2。
   • 后缀经 BERT-base-uncased 映射到连续空间，用 NTK 高斯过程估计后验均值的梯度并上升，再在候选池中取余弦最近且未评估的一条。每种后缀先评 20 个 K-means 代表，再 30 轮，共 50 次；短名单大小 10；学习率 0.05。先固定 bridge 优化 anchor，再反过来，避免联合搜索。

   检索与后缀适配

   • 去掉停用词得到关键词。页眉把查询放在文档开头，页脚把关键词做成伪元数据，利用稠密检索器对首尾位置和词重叠的敏感。附录 A.2 给出版式示例。
   • 多态包装：在优化后缀外加随机标识与时间戳，使表面字符串不固定，核心指令仍在。
   • CTTFT：Level 1 用全局后缀；失败则在 anchor 的 12 个近邻中搜；再失败则搜 bridge 的 12 个近邻。若逻辑已诱导但被过滤挡住，最多试 10 组近邻组合，并计入每目标 25 次查询上限。作者称有效后缀在嵌入空间里成簇，所以失败时在近邻里找替代。

   成功判定

   • ASR：目标答案或其释义别名作为子串出现在生成中即成功。附录 B.3 称这沿用 PoisonedRAG 的子串准则，并扩充了释义集合。
   • BR：无防御时成功的样本中，开启过滤后仍成功的比例。防御只作用于原本成功的样本。
   • 附录 B.1：与受害 LLM 交互时 temperature 为 0.0，最大输出 100 token，并规定按上下文作答的输出格式。

   收起这一问

4. 04论文做了哪些实验？

   默认Gemini-2.0-Flash、k=10、N=2时，三数据集无防御ASR为88.0%、90.3%、83.3%。

   实验设置

   • 生成器：默认 Gemini-2.0-Flash。另评 GPT-3.5-Turbo、Grok-4-Fast-Reasoning、Qwen-3.5-plus，以及论文称为 open-source white-box 的 Mistral-7B-Instruct-v0.2、Vicuna-7B-v1.5、Llama-2-7B-Chat、Qwen-3-8b。攻击设定仍是 black-box，未使用梯度。
   • 检索器：默认 Contriever；另有 Contriever-MS、ANCE。
   • 数据：NQ 语料 2,681,468 段，HotpotQA 5,233,329 段，均来自 Wikipedia；MS-MARCO 为 8,841,823 篇网页文档。5.1 未写测试查询条数。
   • 协议：检索窗口 k=10，注入文档数固定为 N=2。作者称这对应良性段落约为恶意载荷的 4 倍，并称先前研究常用 k=5。
   • 对照：基线为 PIA、PoisonedRAG、HijackRAG。过滤为 AVFilter、FilterRAG、RAGForensics、MIS、RAGDefender。MIS 的矛盾检测使用 DeBERTa-v3-base。
   • 指标与生成设置：ASR 为子串匹配；BR 定义见第 3 问。附录 B.1 的 temperature 为 0.0。论文未报告重复次数。

   主结果

   5.2 称 Table 1 汇总全部结果，并把默认 Gemini-2.0-Flash 在 NQ、HotpotQA 的无防御 ASR 写为 88.0%、90.3%，与表中 InceptionRAG 行相同。表头未再写模型名。下表为该表无防御 ASR。

   表格较宽，可左右滑动

   方法	NQ	HotpotQA	MS-MARCO
   HijackRAG	42.0%	49.2%	41.0%
   PoisonedRAG	32.3%	76.2%	51.3%
   PIA	55.3%	80.0%	38.3%
   InceptionRAG	88.0%	90.3%	83.3%

   • 作者称无防御时 InceptionRAG 高于基线，幅度超过 10–50 个百分点。Table 11（无防御）中 GPT-3.5-Turbo 为 80.3%、85.0%、81.0%，Grok-4-Fast-Reasoning 为 83.6%、87.6%、81.6%（NQ / HotpotQA / MS-MARCO）。
   • NQ、AVFilter：InceptionRAG 的 ASR 为 72.3%、BR 为 90.4%。作者称同格既有攻击 ASR 至多 16.7%、BR 至多 51.6%，与 Table 1 中 PoisonedRAG 一致。RAGForensics 上 InceptionRAG 三数据集 ASR 为 48.0%、51.0%、54.0%，BR 为 54.5%、56.2%、56.3%。
   • 并非每格最高。HotpotQA + FilterRAG：InceptionRAG ASR 15.3%、BR 18.3%，低于 HijackRAG 的 32.0% 与 64.0%。作者归因于 HotpotQA 本身是多跳，再加逻辑陷阱会放大词频密度类异常。NQ 的 RAGDefender 上 HijackRAG BR 39.8% 高于 32.8%；MS-MARCO 同防御上 HijackRAG BR 61.0% 高于 52.1%。

   模型规模

   • 作者称评测覆盖 7B 到 1,000B，并称 Figure 3 呈规模相关趋势：更大的黑盒模型更易中招。正文只给出两个数：NQ 上 Gemini-Flash 为 88.0%，Llama-2-7B 为 46.0%。
   • 作者的解释是更大模型更会多跳推理和遵循指令，能把 bridge 与 attribute 接起来；较小模型常接不上。Qwen-3.5-plus、Mistral-7B-Instruct-v0.2、Vicuna-7B-v1.5、Qwen-3-8b 的 ASR 正文未给数值。

   检索命中与 HODOR

   • 查询改写：攻击文档按原查询构造，检索用每问 5 个改写。Table 6（Contriever）的 2/2 命中：NQ 与 HotpotQA 为 100.0%，MSMARCO 为 99.8%，0/2 为 0.0%。
   • 换检索器：Table 7 中 2/2 在 NQ、HotpotQA 的 Contriever 与 ANCE 上为 100.0%；Contriever-MS 的 HotpotQA 为 99.3%。Contriever 在 MS-MARCO 为 95.0% / 3.0% / 2.0%。作者称检索劫持对这三种检索器都成立。
   • HODOR：逐篇独立作答再多数投票，切断 attribute 与 bridge。作者称 Figure 5 在不同数据集和后端上 ASR 下降；Figure 8 称 HotpotQA 等需要跨段综合的任务上良性准确率下降。两图的具体数值正文未给。

   其他消融与分析

   • Table 2：Gemini-2.0-Flash、MS-MARCO，无后缀 40.0%，随机后缀 41.3%，ZOSO 83.3%。GPT-3.5、MS-MARCO 上随机后缀 32.0%，低于无后缀 33.3%。
   • Table 3：仅全局后缀时，Gemini、MS-MARCO 为 22.0%；CTTFT 为 83.3%。GPT、HotpotQA 的 CTTFT 为 86.0%，Table 2 的 ZOSO 为 85.0%，论文未解释差异。
   • Table 4：成功样本平均查询多数低于 2.2；Gemini、MS-MARCO 为 4.1。每目标上限 25 次。Level 1 占成功来源的 51.90%–74.90%（表中九格）。
   • Table 5：Grok、HotpotQA，暴力搜索 6,621.5 分钟，ZOSO 234.1 分钟，加速 28.3×。表中最高加速为 Gemini、MS-MARCO 的 41.1×。
   • Figure 4：MS-MARCO 上 attribute 数从 1 到 5，作者称 ASR 从 84.0% 到 97.0%，提高 13.0%。作者称 NQ、HotpotQA 在 N=1 已高于 91% 与 92%，随后接近 100%。
   • Table 9：子串 ASR 与 LLM 评审、人工并列。NQ 为 92.0%、93.0%（Gemini）、92.0%（Grok）、87.0%（GPT）、87.0%（人工）。该表未写样本量，数值也与 Table 1 的 88.0% 不同，条件论文未说明。Figure 7 只描述 N_init=10 时 ASR 随搜索步上升后平台，N_init=20 时起点已高、波动小，正文无具体 ASR。

   收起这一问

5. 05有什么可以进一步探索的点？

   论文未设独立局限节；Conclusion呼吁审计推理过程而不只过滤显式内容。

   作者指出的局限与后续方向

   • 论文没有独立的 Limitations、Discussion 或 Future Work 节，也未把某一格数字偏低写成方法局限。
   • Conclusion：作者称需要下一代防御，能够审计复杂推理过程，而不是只过滤显式内容。

   实验覆盖范围

   • 数据集为 NQ、HotpotQA、MS-MARCO，语料规模写在 5.1。
   • 生成器 8 个、检索器 3 个，名单见 5.1；攻击对比的过滤为 AVFilter、FilterRAG、RAGForensics、MIS、RAGDefender，另在 5.8 评了 HODOR。
   • 默认 k=10、N=2；Figure 4 改变注入数量。查询改写为每问 5 个变体（附录 D.1）。
   • 主指标为子串 ASR 与 BR。Table 9 另给 LLM 评审和人工判断，未写样本量。附录 B.1 写 temperature 为 0.0。论文未报告重复次数。
   • 5.1 未写主实验查询条数。附录 B.2 写 golden set 为 40 条，优化出的后缀对复用于 100 个 evaluated targets。ZOSO 候选池用的代理 LLM 名称未给出。

   收起这一问

6. 06总结一下论文的主要内容

   InceptionRAG用跨文档推理投毒RAG；无防御ASR高，HotpotQA上FilterRAG是例外。

   InceptionRAG 是针对 RAG 语料库的 black-box 投毒：不把目标结论写进单篇，而拆成两篇单独看起来无害的文档。

   • 问题：作者称现有投毒把恶意载荷集中在一篇文档里，注意力方差、词频密度和跨文档矛盾等隔离式过滤能够针对。作者要做的是 indirect logic induction：单篇休眠，聚合后才有毒。
   • 做法：用语义相近的代理实体写 attribute document，再用 bridge document 建立等价关系，使模型经传递性推出指定答案。ZOSO 在嵌入空间里用 NTK 高斯过程选择权威后缀；双端注入争取 top-k；CTTFT 在失败查询的近邻后缀里继续试，每目标最多 25 次查询。威胁模型是 strict black-box，只能注入少量新文档。
   • 主结果：默认 Gemini-2.0-Flash、k=10、N=2 时，Table 1 无防御 ASR 为 NQ 88.0%、HotpotQA 90.3%、MS-MARCO 83.3%。NQ、AVFilter 下 ASR 72.3%、BR 90.4%。HotpotQA、FilterRAG 下 ASR 降到 15.3%，作者归因于多跳数据与额外逻辑陷阱叠加。
   • 其他结果：Table 11 中 GPT-3.5-Turbo 与 Grok-4-Fast-Reasoning 的无防御 ASR 在 80.3%–87.6%。正文称 Llama-2-7B 在 NQ 为 46.0%，并称更大模型更易把两篇文档接起来。三种检索器上 poisoned 文档的 2/2 命中多为 95.0%–100.0%（Table 6、Table 7）。
   • 作者的结论：推理能力越强，越容易被这种推理型投毒利用。HODOR 用逐篇作答加多数投票切断两篇之间的依赖；作者称它会降低需要跨段综合的良性任务表现。Conclusion 称下一步应审计复杂推理，而不是只过滤显式内容。

   收起这一问

相关论文