Skip to content

Translation in progress Some entries still include text in the original language.

Original
arXiv· arXiv:2604.12201· Hongru Song, Yu-An Liu, Ruqing Zhang, Jiafeng Guo, Maarten de Rijke, Yixing Fan, Xueqi Cheng·Indexed by this site · Originally published

AdversarialCoT：针对 LLM 推理的单文档检索投毒

AdversarialCoT: Single-Document Retrieval Poisoning for LLM Reasoning

Quick read

Attacks

Based on 论文 PDF （AI 生成）; refer to the original

AdversarialCoT用单篇文档投毒RAG语料，Qwen3在HotpotQA上迭代ASR为80。

Threat model决策式黑盒（decision-based black-box）：攻击者不可见检索器与LLM的参数和逻辑，只能提交查询并看到推理过程、最终答案和检索文档集。

Questions
RAG用检索文档支撑推理，也使知识库可被投毒。既有方法多批量灌入毒文档；作者认为这难以解释推理为何失败，且对推理优化模型越来越无效。问题是一篇被检索到的文档能否让模型对指定查询输出选定答案。
Methods
AdversarialCoT从推理轨迹抽出启动、过渡和汇总三段骨架，由KIMI-K2写成单篇对抗文档。再按是否被top-5检索到、是否带偏答案，最多迭代3轮。决策式黑盒，只能新增文档。
Experiments and results
三个推理模型、三个问答集各100条上，作者称迭代提高攻击效果。Table 2中Qwen3在HotpotQA的Iterative ASR为80。推理模型上提示劫持低于指令模型。Figure 4的跨模型ASR变化多数为负，也有上升。
Limitations and future work
作者计划拆开检索与推理阶段的作用，并研究智能体RAG的多轮检索和动态规划，以及挡住外部对抗思维链的机制。实验覆盖五个LLM、三数据集各100条、Co-Condenser与最多3轮；论文未报告耗时、无投毒准确率和防御数字。
Experimental setupDeepSeek-R1、Qwen3 et al. · MS-MARCO、HotpotQA et al. · ASR、ASR_r et al.
Threat model
决策式黑盒（decision-based black-box）：攻击者不可见检索器与LLM的参数和逻辑，只能提交查询并看到推理过程、最终答案和检索文档集。可向语料新增文档，不能修改或删除已有文档。目标是使模型对指定查询输出选定答案；每个查询注入一篇对抗文档。
Evaluated models
DeepSeek-R1Qwen3GLM4.5Qwen2.5-7B-InstructQwen-7B-R1-Distilled
Benchmarks
MS-MARCOHotpotQANQ
Metrics
ASRASR_rASR_g
AI summary研究者提出 AdversarialCoT，一种面向 RAG 的查询特定投毒攻击，只需在检索语料中投毒单篇文档，就能显著降低 LLM 的推理准确率。该方法先提取目标 LLM 的推理框架，据此构造初始的对抗思维链，再通过与 LLM 交互迭代优化对抗文档，逐步暴露并利用其推理漏洞。在多个基准 LLM 上的实验显示，单篇对抗文档即可造成明显的推理准确率下降。研究指出，这揭示了 RAG 系统的安全风险，并为设计更稳健的 LLM 推理流程提供参考。

研究者提出 AdversarialCoT，一种面向 RAG 的查询特定投毒攻击，只需在检索语料中投毒单篇文档，就能显著降低 LLM 的推理准确率。该方法先提取目标 LLM 的推理框架，据此构造初始的对抗思维链，再通过与 LLM 交互迭代优化对抗文档，逐步暴露并利用其推理漏洞。在多个基准 LLM 上的实验显示，单篇对抗文档即可造成明显的推理准确率下降。研究指出，这揭示了 RAG 系统的安全风险，并为设计更稳健的 LLM 推理流程提供参考。

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    单篇被检索文档能否让RAG推理模型对指定查询输出攻击者选定的答案。

    只向检索语料注入一篇文档，并使其进入检索结果后，能否让推理模型对指定查询输出攻击者选定的答案。

    • 出现场景：作者认为RAG用外部文档支撑推理，可减少幻觉并提高知识密集型任务的可靠性。检索器位于不可信语料和模型推理之间；被检索的误导文档会被当作事实证据，并改变推理轨迹。作者认为这种噪声会与幻觉相互作用，形成难发现、难纠正的系统性失败。
    • 既有不足：作者把知识库投毒视为实际威胁。既有攻击多批量注入毒文档，以压过检索器和下游模型。作者认为这能拉低整体表现，但对推理如何失败提供的信息有限，且对经过推理优化的LLM越来越无效。
    • 核心观察：作者认为现代LLM越来越依赖显式思维链，并常用强化学习优化。可从外部看到的粗粒度模式——如何开始、如何在证据间过渡、如何汇总——会暴露推理风格和对中间证据的依赖；这不是固定词级模板。
    • 提出的方法：AdversarialCoT是查询特定的单文档投毒。它先抽出目标LLM的推理骨架来初始化对抗思维链，再通过黑盒交互迭代改写这一篇文档。
    • 威胁模型：
      • 目标：对查询集中每个查询，使模型生成对应目标答案；指示函数为1即成功。
      • 知识：decision-based black-box。检索器与LLM的参数和内部逻辑都不可见。
      • 能力：只能提交查询，并获得含推理过程、最终答案和检索文档集的输出。可向语料新增文档，不能修改或删除已有文档。每个目标查询一篇对抗文档，再把这组文档注入语料。
      • 受害系统：检索增强推理。检索器取top-k文档，LLM把外部信息与内部知识一起推理后作答。

  2. What related research exists?

    投毒相关工作多靠批量注入；作者把本文放在单文档、对齐可观察推理结构的位置。

    相关讨论分成思维链、检索增强生成，以及对RAG的对抗和知识库投毒。

    思维链推理

    • 显式中间步骤：Wei et al. (2022)用思维链让模型写出中间推理步骤，以处理复杂推理。
    • 强化学习与长思维链：论文称大模型可通过强化学习获得深度思考，并以多步思维链推理；引用包括Sutton and Barto (2018)、Guo et al. (2025)的DeepSeek-R1、Shao et al. (2024)与Zheng et al. (2025)。这一组没有被拿来与本文做方法对比。

    检索增强生成

    • 效果导向的系统：论文把RAG写成LLM与外部知识的结合，并列举一批改进效果的工作，包括Gao and Callan (2022)的Co-Condenser、Jin et al. (2025)的Search-R1、Li et al. (2025)的Search-O1等。
    • 安全被放在效果之后：作者认为这些研究常忽略检索增强系统的安全，并称RAG已进入真实部署，例如接入网页搜索的商用LLM服务，因此该问题变得重要。

    知识库投毒与RAG攻击

    • 组件攻击不能直接搬过来：论文称检索器和LLM各自已被发现易受对抗攻击，但由于检索与生成的交互，这些方法不能直接用于RAG。
    • 开始讨论RAG操纵的工作：论文把Hu et al. (2024)、Song et al. (2025)和Zou et al. (2024)列为开始关注RAG操纵的研究，引言还一并引用Chen et al. (2025)。除下面的投毒方法外，论文没有逐篇展开它们与本文的差别。
    • 错误知识或恶意提示：Zou et al. (2024)的PoisonedRAG注入含错误知识的文档；Zhang et al. (2024)的HijackRAG注入恶意提示。作者认为这类方法或者含容易被滤掉的明显恶意内容，或者只注入缺少完整证据链的错误知识，因而模型难以把它当作证据；它们主要靠批量注入噪声文档，不能反映真实文档分布，也不能精确定位漏洞。引言还称，批量淹没对整体性能有效，但对推理优化后的LLM越来越无效。

    基线与定位

    • 基线方法：Naive attack、Naive prompt attack、Prompt hijacking attack、PoisonedRAG。比较实验主要在MS-MARCO；主实验还使用HotpotQA和NQ。
    • 作者的定位：相对批量灌入毒文档，作者把AdversarialCoT放在查询特定、每个查询只投一篇、并用可观察推理结构做迭代改写的位置。

  3. How does the paper address this problem?

    先抽出三段推理骨架，再按是否被检索、是否带偏答案，迭代改写一篇对抗文档。

    AdversarialCoT先观察目标LLM的推理轨迹并初始化一篇对抗文档，再把模型响应当作诊断信号，迭代改检索相关性或说服力。攻击者智能体为KIMI-K2。Figure 2给出两段指令全文，这里只写模块的输入、输出和作用。

    问题设定

    • 正常流程：检索器从知识库取top-k文档，LLM结合外部信息与内部知识推理后作答。实验沿用既有设置，k取5，检索器为Co-Condenser。
    • 攻击目标：每个目标查询一篇对抗文档，再把这组文档并入语料。攻击者要最大化 ∑qi ∈ Q I(M(qi, R(qi, C ∪ Dadv)) = yi∗)。I在输出等于目标答案时为1，否则为0。
    • 约束：decision-based black-box。不能改、不能删已有文档，只能新增。

    观察与初始化

    • 推理骨架：用一小批查询探测目标LLM，从轨迹抽出粗粒度结构，而不是固定模板。作者根据观察把流程写成三相：启动推理，检查证据并在证据间过渡，汇总证据后下结论。三相是功能角色，不是具体词形。
    • 启发式起点：Table 1用一条问答轨迹标出这三相。其中的连接表达只作初始启发式；优化时会改写具体说法，以贴近目标模型当时的推理行为。
    • 初始文档：攻击者智能体接收目标问题、目标答案和上述结构，生成一篇便于被检索的草稿对抗思维链，用来支持选定答案。作者称这一步不是为了立刻成功，而是给出可继续改的假设。
    • 两类初始失败：相关性不足而未被检索；或已被检索，但嵌入的思维链没有影响推理。

    反馈驱动的迭代

    • 诊断信号：注入后，攻击者智能体阅读目标LLM的输出和推理轨迹，再更新文档。最大交互轮次为3。循环内由该智能体判断是否成功。
    • 相关性优化：若文档没被检索，失败被看作内容与检索相关性标准不匹配。智能体修改表面内容和上下文线索以提高可检索性，不改变底层对抗推理意图。
    • 说服力优化：若已检索但没带偏模型，轨迹会显示哪些证据、过渡或结论被拒绝。智能体调整证据顺序、强调和逻辑过渡，构造与该模型推理风格对齐的反向推理，把结论导向目标答案。
    • 停止形态：作者称循环使文档既能通过检索，又能利用模型特定的推理弱点；每个查询只保留一篇毒文档。

    与最终判定的关系

    • 两套成功标准：循环是否结束，由攻击者智能体根据响应判断。论文的最终ASR另以模型最终答案为准，并因表面形式可能语义等价而做人工核对。

  4. What experiments did the paper conduct?

    Table 2里Qwen3在HotpotQA上的Iterative ASR为80，GLM4.5在NQ上为52。

    实验比较单文档投毒能否让最终答案变成目标答案，主指标是ASR及其检索、条件误导分解。

    实验设置

    • 模型：主目标为DeepSeek-R1、Qwen3、GLM4.5。比较实验另用Qwen2.5-7B-Instruct与Qwen-7B-R1-Distilled（表中写作Qwen-7B-R1-distilled）。攻击者智能体为KIMI-K2。检索器为Co-Condenser。
    • 数据：MS-MARCO的知识库来自Bing；HotpotQA与NQ基于Wikipedia。每个数据集随机采样100条查询。作者称比较实验主要看MS-MARCO；Table 3标题未写数据集名。
    • 解码与检索：温度固定为0.3。检索文档数为top-5。最大交互轮次为3。
    • 对照：基线为Naive attack、Naive prompt attack、Prompt hijacking attack、PoisonedRAG。本文变体为Non-iter与Iterative。作者称迭代只用于AdversarialCoT，因为更新信号定义在带推理结构的对抗文档上。
    • 指标：ASR_r是对抗文档进入top-k的比例；ASR_g是检索成功条件下误导LLM的比例；ASR是总体攻击成功率。论文写ASR = ASR_r × ASR_g。
    • 判定：成功看最终答案。因目标答案可能语义等价或表面略有差别，每条查询都人工核对。论文未写目标答案如何构造，未报告重复次数，也未使用LLM评审。

    主结果

    作者报告三个推理模型在三个数据集上的ASR（Table 2）。下表只列能与上述乘积关系对应的ASR。

    | 模型 | 设置 | MS-MARCO | NQ | HotpotQA | | DeepSeek-R1 | Non-iter | 35 | 28 | 39 | | DeepSeek-R1 | Iterative | 67 | 66 | 75 | | Qwen3 | Non-iter | 40 | 34 | 47 | | Qwen3 | Iterative | 71 | 74 | 80 | | GLM4.5 | Non-iter | 29 | 21 | 39 | | GLM4.5 | Iterative | 不引用 | 52 | 71 |

    据Table 2。GLM4.5、MS-MARCO、Iterative一格的三个数字无法同时对应ASR_r、ASR_g与ASR，故不引用。

    • 作者的解读：作者称该方法在全部目标模型和数据集上都有攻击效果，并称迭代优化提高了对抗思维链的作用。可核对的每个模型–数据集组合里，Iterative的ASR都高于同格Non-iter。
    • 脆弱程度：作者称Qwen3最易受影响，GLM4.5抵抗更强，HotpotQA的ASR通常更高。可核对的Iterative行里，Qwen3在三个数据集上都高于DeepSeek-R1，在NQ与HotpotQA上高于GLM4.5；各行HotpotQA也高于另外两个数据集。
    • 检索与误导可以分开：Table 2中，Qwen3在NQ上Iterative的ASR_r为95、ASR_g为77.9；GLM4.5同格为97与53.6。DeepSeek-R1在NQ上Non-iter的ASR_r为91、ASR_g为30.8，文档常被检索，条件误导率仍低。

    与既有投毒方法的比较

    Table 3比较各方法。第4节称比较实验主要在MS-MARCO；表标题未写数据集。

    | 方法 | Qwen2.5-7B-Instruct | Qwen-7B-R1-distilled | | Naive attack | 32 | 24 | | Naive prompt attack | 34 | 25 | | Prompt hijacking attack | 65 | 32 | | PoisonedRAG | 58 | 51 | | Non-iter | 53 | 56 | | Iterative | 72 | 74 |

    据Table 3，格内为ASR。

    • 作者称既有投毒在标准LLM上有效，在推理版本上有限，并称提示劫持的ASR下降一半。表中该基线在推理模型上低于指令模型。
    • 作者称Non-iter在标准LLM上中等，在推理LLM上更好。表中Non-iter在指令模型上低于PHA和PoisonedRAG，在蒸馏推理模型上高于这两个基线。作者称Non-iter为构造推理结构而包含一些与查询无关的连接词；Table 3中两个模型的Non-iter ASR_r均为74，Iterative为91，NA、NPA、PRAG为99，PHA为95。
    • 作者称Iterative在两个LLM上都提高了效果。摘要与引言称，相对已有投毒方法，攻击成功率最多提高23%。作者还在结果讨论中称，把同样的迭代扩到其他基线是后续方向。

    迭代轮次

    • 测了什么：Figure 3画DeepSeek-R1、Qwen3、GLM4.5在HotpotQA、MS-MARCO、NQ上、轮次0到3的ASR。纵轴标为ASR (%)，可见刻度写到80。正文没有给出各轮端点数值。
    • 作者的解读：作者称所有模型与数据集在迭代后都提高，趋势呈对数形态，边际收益下降，但最终仍达到相当的攻击成功率。作者称轮次增加时，代价因反复黑盒交互和上下文变长而快速上升；并称因攻击面向高价值目标，单查询代价在实践中仍可接受。论文未报告具体耗时或查询次数。

    跨模型迁移

    • 测了什么：Figure 4把与一个LLM交互生成的对抗文档注入其他LLM，报告ASR变化（%）。行是源模型，列是目标模型。三个数据集块的对角线均为0%；行标签为Deepseek-R1、GLM4.5、Qwen3，列按同一顺序对应。
    • 结果：多数非对角线为负。NQ上Qwen3到GLM4.5为-65%，Qwen3到Deepseek-R1为-58%，Deepseek-R1到GLM4.5为-56%。也有上升：MS-MARCO上GLM4.5到Qwen3为+19%；HotpotQA上Deepseek-R1到Qwen3为+9%，GLM4.5到Qwen3为+18%。
    • 作者的解读：作者称多数情况下迁到其他LLM后ASR下降，因而每个目标LLM对目标查询有相对独特的漏洞；同时称下降之后仍有一定效果，说明这种推理扰动仍有误导能力。图中是变化量，不是迁移后的绝对ASR。

    其他消融与分析

    • 变体对比即Non-iter与Iterative，以及轮次0到3；论文没有另设组件删除实验。
    • 代价：作者称随轮次快速增长；论文未报告秒数、费用或实际查询次数，最大轮次设为3。
    • 攻击痕迹：作者称追踪对抗思维链从被拒绝到被接受，可以定位目标LLM的弱点。正文没有案例数字；论文未报告防御方法的拦截率或效用下降。

  5. What are some points that can be further explored?

    作者计划拆开检索与推理的贡献，并研究智能体RAG与抗外部对抗思维链的机制。

    作者指出的局限与后续方向

    论文没有单独的Limitations节。Conclusion的Future work写出三个计划。

    • 拆开两个阶段：作者计划进一步分开检索阶段的暴露和推理阶段的操纵，以理解攻击收益从哪里来。（Conclusion, Future work）
    • 智能体RAG：作者计划研究针对多轮检索和动态规划的对抗思维链，对象是agentic RAG。（Conclusion, Future work）
    • 挡住外部对抗思维链：作者计划探索鲁棒推理机制，使LLM对外部对抗思维链免疫，以便实际部署。（Conclusion, Future work）

    实验覆盖范围

    • 模型：实验跑过的LLM为DeepSeek-R1、Qwen3、GLM4.5、Qwen2.5-7B-Instruct、Qwen-7B-R1-Distilled，共5个；攻击者智能体为KIMI-K2。（第4节）
    • 数据与协议：MS-MARCO、NQ、HotpotQA各随机采样100条查询；比较实验主要在MS-MARCO。检索器为Co-Condenser，top-5，温度0.3，最大交互轮次3。（第4节）
    • 判定：成功按最终答案，每条查询人工核对。论文未报告重复次数、第二名核对者的一致性，也未报告无投毒时的回答准确率。（第4节）
    • 迁移：Figure 4报告三个推理模型之间、三个数据集上的ASR变化。论文未报告迁移后的绝对ASR，也未报告防御实验的数字。（第5节、Figure 4）
    • 代价与目标答案：作者称轮次增加会使代价快速上升，论文未报告具体耗时或查询次数。论文未说明目标答案如何选取。（第4–5节）

  6. Summarize the main content of the paper

    单篇对抗思维链可在决策式黑盒RAG中把指定查询推向目标答案，迁到其他模型后ASR多下降。

    AdversarialCoT研究检索增强推理中的知识库投毒：不批量灌入毒文档，而是用一篇会被检索到的对抗思维链，把指定查询的答案推向攻击者选定的结果。

    • 问题：RAG把检索文档接入推理后，语料可以被外部改写。作者认为批量投毒对推理优化模型越来越无效，也解释不了推理为何失败。设定是decision-based black-box：看不见检索器和LLM的参数，只能看含推理过程的输出，并且只能新增文档。
    • 做法：用一小批查询抽出启动、证据过渡和汇总这三相骨架，由KIMI-K2写成一篇与查询相关的对抗文档。注入后最多交互3轮：没进入top-5就改相关性，检索到但没带偏就按被拒绝的证据改说服力。检索器为Co-Condenser。
    • 主结果：三个数据集各100条查询。Table 2中，Qwen3在HotpotQA上Iterative的ASR为80；DeepSeek-R1在MS-MARCO上Non-iter为35、Iterative为67；GLM4.5在NQ上Iterative为52。作者称Qwen3更易受影响，GLM4.5抵抗更强。
    • 对照与迁移：Table 3中，Qwen-7B-R1-distilled上Iterative的ASR为74，PoisonedRAG为51，提示劫持为32。摘要与引言称，相对已有投毒方法最多提高23%。Figure 4里迁到其他模型后ASR多数下降，NQ上Qwen3文档注入GLM4.5的变化为-65%；也有上升，HotpotQA上GLM4.5到Qwen3为+18%。
    • 作者的结论：作者称单篇文档足以对高级推理LLM构成威胁，并称思维链在提高能力的同时也暴露了推理风格和关键证据。作者计划分开检索与推理的贡献，研究智能体RAG，以及能挡住外部对抗思维链的推理机制。
Read originalarxiv.org