Skip to content

Translation in progress Some entries still include text in the original language.

Original
arXiv· arXiv:2602.06616· Haoyang Hu, Zhejun Jiang, Yueming Lyu, Junyuan Zhang, Yi Liu, Ka-Ho Chow·Indexed by this site · Originally published

Confundo: Learning to Generate Robust Poisoning Content for Real RAG Systems

Confundo: Learning to Generate Robust Poison for Practical RAG Systems

Quick read

Attacks

Based on 论文 PDF （AI 生成）; refer to the original

Confundo微调投毒生成器；Harry Potter、Llama3-8b上事实操纵ASR为88%（Figure 8）。

Threat model攻击者要让目标RAG对预定问题输出指定错误答案、特定偏见或幻觉。

Questions
实际RAG会分块，用户问句也常与设计时不同，现有投毒因此变弱，部署者可能低估风险。Confundo要在这种条件下仍诱导错误事实、偏见或幻觉。
Methods
把投毒写成奖励优化，用GRPO微调Qwen3-0.6b作为生成器。奖励覆盖检索相似度、替代模型上的目标行为、问句改写和随机分块，以及长度与困惑度。短毒文被嵌入待摄入文档。
Experiments and results
Harry Potter、Llama3-8b精确问句：Confundo 88%，AuthChain 54%（Figure 8）。Qwen3-8b在PROCON负面比例60%，在RAGTruth幻觉率98%；Llama3-8b幻觉率95%。
Limitations and future work
论文未专节讨论方法局限。Conclusion称需要更稳健的防御，并把工作定位为研究多目标投毒与缓解的基础。实验覆盖三种攻击目标、black-box迁移和三种防御；未报告题量、重复次数和事实ASR的判定方式。
Experimental setupQwen3-8b、Llama3-8b et al. · Harry Potter、NewsQA et al. · ASR、negative sentiment proportion et al.
Threat model
攻击者要让目标RAG对预定问题输出指定错误答案、特定偏见或幻觉。不了解文档处理、检索器、生成器与配置，且不能查询该系统；只能准备将被摄入的文档。第6.2节称此为black-box。
Evaluated models
Qwen3-8bLlama3-8bDeepSeekGemini2.5-Probge-small-en-v1.5all-MiniLM-L6-v2contrievere5-base-v2
Benchmarks
Harry PotterNewsQAOCR-BenchPROCONRAGTruth
Metrics
ASRnegative sentiment proportionhallucination rateretrieval ratePPL
AI summaryThe researchers propose Confundo, a learned poisoning framework that fine-tunes a large language model into a poison generator to attack deployed RAG systems in practice. The paper notes that existing poisoning attacks degrade severely in real RAG systems, due to content being processed before use, which fragments the poison, and due to mismatches between user queries and the attacker's design-time expectations. Confundo supports multiple attack goals, including manipulating factual correctness, inducing biased opinions, and triggering hallucinations, and substantially outperforms existing specialized attacks across multiple datasets and RAG configurations, while remaining effective in the presence of defenses. The paper also presents a defense use case that can prevent web content from being scraped into RAG systems without authorization, without affecting user experience.

The researchers propose Confundo, a learned poisoning framework that fine-tunes a large language model into a poison generator to attack deployed RAG systems in practice. The paper notes that existing poisoning attacks degrade severely in real RAG systems, due to content being processed before use, which fragments the poison, and due to mismatches between user queries and the attacker's design-time expectations. Confundo supports multiple attack goals, including manipulating factual correctness, inducing biased opinions, and triggering hallucinations, and substantially outperforms existing specialized attacks across multiple datasets and RAG configurations, while remaining effective in the presence of defenses. The paper also presents a defense use case that can prevent web content from being scraped into RAG systems without authorization, without affecting user experience.

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    实际分块与问句变体会削弱现有RAG投毒，Confundo将投毒生成改为微调。

    实际 RAG 会先分块再入库，用户问句也往往不是攻击设计时的原句，按这两种假设设计的投毒会失效。

    • 场景： 作者称 RAG 已用于企业知识助手、法律与医疗决策支持、客服和金融分析。外部库检索后再生成，会使输出看起来有依据；库又常来自审核较弱的来源，恶意文档被命中后就能影响回答。
    • 现有不足： 作者称既有攻击多在极短文档、分块不起作用时评估。块边界落在毒文中部，或攻击者不知道块长，都会切开毒文并削弱检索（Figure 2、Figure 3）。方法还常绑定单一问句和单一目标。
    • 作者的判断： 缺口是缺少流水线意识。文档会分词、按有界块长切分并按块建索引；同一问题有多种说法。用这些攻击做评估时，效果会弱于原先报告，部署者可能因此产生虚假安全感。
    • 本文提出： Confundo 把投毒写成优化，微调 LLM 作为生成器，在一个框架里演示事实正确性操纵、观点操纵和幻觉诱导；另给出用投毒 HTML 干扰网页被未授权抓进 RAG 的用例。
    • 威胁模型：
      • 目标： 对预先给定的问题集，使输出对齐指定目标：攻击者指定的错误答案、特定偏见或观点、或幻觉内容（第 3 节）。
      • 知识： 不能访问目标 RAG，也没有其内部知识，包括文档处理流水线、检索器与生成器架构和系统配置。
      • 能力： 不能查询目标系统；只能准备将被摄入的文档，把短毒文嵌进看似正常的文档（Figure 5）。该步骤可对更多目标问题重复。
      • 用语： 第 6.2 节把摄入、检索和生成配置不为攻击者所知的系统称为 black-box RAG systems。

  2. What related research exists?

    论文讨论的主要是单目标RAG投毒；作者称它们未考虑真实分块和问句变化。

    相关讨论主要在引言和第 2.2 节，论文没有单独的 Related Work。

    事实正确性投毒

    • PoisonedRAG（Zou 等，USENIX Security 2025）——用 LLM 生成对抗内容，并用关键词堆叠提高相关性排序。
    • PR-Attack（Jiao 等，SIGIR 2025）——写成双层优化：维持恶意文档的检索相关性，并提高生成器对特定查询输出目标答案的概率。
    • Joint-GCG（Wang 等，AAAI 2025）与 AuthChain（Chang 等，EMNLP 2025）——前者把梯度式对抗提示优化用于 RAG，联合优化检索与生成；后者分三阶段对齐查询、构造证据链并注入权威性信号。

    观点操纵投毒

    • Topic-FlipRAG（Gong 等，USENIX Security 2025）——注入立场关键词、限制改动量，再用轻量触发器放大被投毒内容对生成观点的影响。
    • FlippedRAG（Chen 等，CCS 2025）——用替代检索器，在语义约束下做梯度引导的词替换，使输出反映攻击者想要的立场。

    第 2.2 节把上述攻击一并批评：评估简化了 RAG 配置，假定毒文按原文建索引，且能预知精确问句，因而没有显式处理真实文档处理和系统差异。

    幻觉相关工作与实验中的防御

    • 生成奖励借鉴针对独立 LLM 的幻觉攻击（Chen 等，ICLR 2024；Du 等，NeurIPS 2024；Duan 等，ACL 2024）。实验基线 OoD（Yao 等，2023）和 BEAST（Sadasivan 等，ICML 2024）在第 6.1.3 节被作者称为只依赖提示注入。
    • 第 6.3 节用困惑度检测、重排序和改写测存活率。第 7 节引用未授权爬取，以及用 HTML/CSS 隐藏文本。

    基线与数据集

    • 事实操纵： PoisonedRAG、AuthChain、PR-Attack、Joint-GCG；数据集为 Harry Potter（默认）、NewsQA、OCR-Bench。
    • 观点操纵： Topic-FlipRAG、FlippedRAG；数据集为 PROCON。评估模型为 twitter-roberta-base-sentiment-latest，奖励用 VADER。
    • 幻觉诱导： OoD、BEAST；数据集为 RAGTruth。评审模型为 lettucedect-large-modernbert-en-v1。

    作者把 Confundo 定位为学习式、多目标的投毒生成框架，并把词形变化和未知预处理写进优化；作者称专用攻击因此没有反映真实流水线下的风险。

  3. How does the paper address this problem?

    以GRPO微调Qwen3-0.6b作投毒生成器，奖励覆盖目标、分块鲁棒和流畅度。

    Confundo 微调一个 LLM 当投毒生成器：给定目标问题、攻击目标和配置，产出短毒文，再嵌入将被目标 RAG 摄入的文档。作者列出三条原则：诱导指定误行为、对语义等价的问句变体仍有效、不易被系统所有者发现。

    目标如何进入提示

    • 配置随目标变化：事实操纵是指定答案，观点操纵是期望偏见，幻觉诱导是回答应当避开的内容。
    • 提示把目标和配置包在一起。三个模板分别要求短引导语料、按指定方向引导无标准答案的问题，或听起来确定但错误的陈述。全文在第 4.1 节，这里不复述句子。
    • 作者称只把预训练模型套进这些模板达不到上述原则，所以要在微调中加入检索、生成、鲁棒和隐蔽信号。

    奖励

    问题为 q、配置为 α、毒文为 p 时，总奖励是

    R(p; q, α) = Rret(p; q) + Rgen(p; q, α) + Rlex(p; q, α) + Rppl(p)

    前两项对应攻击是否达成，后两项对应词形鲁棒和流畅度。检索再拆成词法与语义：

    Rret(p; q) = Rrettf(p; q) + Rretemb(p; q)

    词共现与向量相似度相加，用来提高未知检索器命中毒文的机会。

    • 词法： 用 BM25 的词频部分，因为目标库条目不可用。饱和参数 k1、b 取常用值 1.5 和 0.75。
    • 语义： 嵌入模型集合上，毒文与问题余弦相似度的期望。作者在方法节称，上面没单独建模的检索机制在第 6.2.2 节差异可忽略。
    • 生成： 替代 LLM 模拟 RAG，毒文是唯一检索条目。事实奖励看指定答案是否为回答的子串；观点奖励看情感分类器是否判成 α；幻觉奖励看 ROUGE 是否 ≤ 0.5。作者称该阈值常见于先前工作。替代组件不必与目标系统相同。

    鲁棒与隐蔽

    • 问句变体： 辅助 LLM 生成改写集，在变体上对检索奖励和生成奖励取期望。论文未给出该辅助 LLM 的名字。
    • 切块： 随机把毒文分成前缀和后缀，用两者奖励的较大者更新，使切点落在何处都至少有一段仍能诱导目标行为。
    • 长度与流畅： 限制最大生成 token，默认预算 40。流畅度用预训练语言模型的困惑度奖励。论文未给出该语言模型的名字。

    微调与默认实现

    • 预热： 每个问题与配置以温度 0.70 生成 8 条毒文，记下各奖励项的最小、最大值，再做 min-max 归一化。
    • 更新： 用 GRPO 更新全部参数。每步抽样一批目标问题，生成毒文并归一化奖励。论文未写学习率、训练步数和组大小。作者称奖励在训练中上升（Figure 6b）。
    • 默认模型： 被微调的是 Qwen3-0.6b。替代检索集合是 bge-small-en-v1.5、all-MiniLM-L6-v2、contriever；生成优化用冻结的 Qwen3-0.6b。默认每个查询注入一条毒文。

  4. What experiments did the paper conduct?

    作者称三种目标上都优于专用攻击；Llama3-8b精确问句的事实ASR为88%。

    实验设置

    • 生成器： 主实验是 Qwen3-8b 与 Llama3-8b，检索器都是 bge-small-en-v1.5。Figure 19 还包含同族 Qwen3，以及 DeepSeek、Gemini2.5-Pro；正文以举例点名，没有列出该图全部模型。
    • 数据集： 事实操纵用 Harry Potter（默认）、NewsQA、OCR-Bench；观点用 PROCON；幻觉用 RAGTruth。论文未报告题量。
    • 基线： 事实为 PoisonedRAG、AuthChain、PR-Attack、Joint-GCG；观点为 Topic-FlipRAG、FlippedRAG；幻觉为 OoD、BEAST。
    • 指标： 事实 ASR 是输出指定错误答案的问题占比，论文未写判定是子串、人工还是 LLM。观点用 twitter-roberta-base-sentiment-latest 看负面情感，训练奖励用 VADER。幻觉要求回答不含原正确答案，并由 lettucedect-large-modernbert-en-v1 判断是否为幻觉。
    • 系统配置： 验证集上把准确率调到最高：chunk size 128 token，送入最相关的 3 条。篇幅有限时默认生成器是 Llama3-8b。论文未报告重复次数。
    • 投毒侧： 微调后的 Qwen3-0.6b，默认 token 预算 40，每查询 1 条。未微调的 Qwen3-0.6b 直接套模板时，作者称产生不了有效攻击（Figure 6a），正文无百分数。

    主结果

    正文写出数字的主对比如下。Figure 8 还画了 Qwen3-8b 以及 NewsQA、OCR-Bench，这几组正文没有 ASR 数字，故不列入。

    Swipe horizontally to read the table

    目标设置Confundo对照出处
    事实 ASRHarry Potter，Llama3-8b，精确问句88%AuthChain 54%Figure 8
    负面回答比例PROCON，Qwen3-8b60%无投毒 6%；专用攻击至多 10%Figure 12
    幻觉率RAGTruth，Qwen3-8b98%无投毒 6%Figure 14
    幻觉率RAGTruth，Llama3-8b95%无投毒 2%Figure 14
    • 作者称 Figure 8 两个生成器上都大幅优于基线，AuthChain 第二；毒文更短，平均 30.69 词，AuthChain 为 114.65 词（Figure 9）。词数这句未写数据集。Llama3-8b 的观点结果作者称趋势相似，未给比例。
    • 问句改成释义后，作者称 Confundo 的 ASR 只下降 7%，现有方法再下降 40%–50%（Figure 10）。引言另称轻微改写可把攻击效果降低一半。
    • 观点上，作者称专用攻击的毒文或可被判成负面，但不一定被检索到，或对生成器影响有限。幻觉上，作者称据其所知这是第一个用 RAG 投毒放大幻觉的工作；OoD 与 BEAST 的幻觉率正文未写。贡献称相对专用攻击，事实操纵最高 1.68 倍、观点偏见 6 倍、幻觉诱导 1.78 倍。6 倍与上表 60% 对至多 10% 相符；1.68 倍和 1.78 倍没有给出对应的两格数字。

    向未知配置迁移

    • 切块： Figure 15 作者称 Confundo 在各 chunk size 上 ASR 最高，块越长 ASR 略降；解释是短毒文被稀释。各块长的 ASR 正文未给。作者称较小块长更常用，本实验里 128 token 是较有利的选择。
    • 检索器与 K： Figure 16 作者称，即使用微调时没见过的 e5-base-v2、rank-bm25 和 DSRC，检索率也 near-perfect，并归于三嵌入模型集成（Figure 17）。两图正文都无百分数。Figure 18：作者称 K=3 在其数据上表现最好，K 较大时仍高于先前方法，未给各 K 的 ASR。
    • 生成器： Figure 19 上 Confundo 的 ASR 为 86% 到 92%。作者称有的方法（如 Joint-GCG）最多变动 10%，Confundo 的提升幅度至少 22%。替代生成模型是 Qwen3-0.6b。论文未写 86% 和 92% 各属于哪个生成器。

    防御下的存活率

    • 困惑度： Table 1 是单条例子，不复述毒文。PPL：PoisonedRAG 33.09，PR-Attack 52.02，AuthChain 50.19，Joint-GCG 94.80，Confundo 25.03；Harry Potter 全集为 23.36。作者称 Joint-GCG 最不自然，并称除 PoisonedRAG 外多数攻击会重复问题和目标答案。
    • 重排序： 使用 bge-reranker-large。Figure 20 中 Confundo 的 ASR 为 78%，AuthChain 为 55%。作者称条目顺序对答案影响有限。该段未写生成器。
    • 改写： Llama3-8b 上，问句改写后 81%，条目改写后 76%，两者同时 73%，无防御时 88%（Figure 21b）。作者称两者同时最强。同族生成器上，作者称只从 88% 降到 83%（Figure 21a），该句未写明是哪一种改写。作者称各改写水平和生成器下，Confundo 仍高于现有攻击。

    未见数据与网页防护

    • 问题与数据集： Figure 22 只称未见问题下仍然 highly competitive，无 ASR。Figure 23：NewsQA 上微调的生成器用于未见 NewsQA 问题，ASR 从 83% 降到 74%；用 Harry Potter 上微调的生成器攻击同一批未见 NewsQA 问题，ASR 为 78%。作者称对未见问题，是否来自同一数据集看起来不那么重要。
    • 网页用例： 毒文写入 HTML，文中用 CSS 的 display:none 举例，使访客看不见。作者称页面观感与未防护版相同（Figure 25）。无防护时可正确回答的 40 个问题，抓取防护页后只有 2 个仍能回答。论文未写该案例的生成器、检索器和判定方式。

    其他消融与分析

    • Table 2 完整 Confundo：检索率 100%，Qwen3 与 Llama3 的 ASR 均为 88%，PPL 13.1274；表未注明数据集与检索器。
    • 去掉 Retrieval Optimization：检索率 66%，ASR 53% 与 61%，PPL 46.0725。
    • 去掉 Generation Optimization：检索率 5%，ASR 9% 与 6%，PPL 8.6826。
    • 去掉 Stealthiness Optimization：检索率 93%，ASR 77% 与 72%，PPL 64.0713。
    • 去掉 Pipeline Optimization：检索率 91%，ASR 62% 与 59%，PPL 20.7496。作者称去掉任一组件 ASR 都会下降。
    • Figure 24：token 预算到 40（作者称约 32 词）时 ASR 饱和；每查询 1 条已够，再增加只有边际收益。各预算的 ASR 正文未给。

  5. What are some points that can be further explored?

    论文未专节列出局限；Conclusion称需要更稳健的RAG防御。

    作者指出的局限与后续方向

    论文没有 Limitations、Discussion 或 Future Work 专节，也没有把某项设计写成自身局限。Conclusion 写的是：Confundo 暴露了当前 RAG 的漏洞，并强调需要更稳健的防御；本文为研究多目标投毒，以及在真实场景中设计缓解策略提供基础。同节称更换提示模板和生成优化奖励后可以扩展到其他攻击目标，这是对可扩展性的陈述，不是被标成待做实验的句子。

    实验覆盖范围

    • 攻击目标包括错误事实、负面观点和幻觉。主结果生成器是 Qwen3-8b 与 Llama3-8b；Figure 19 另点名 DeepSeek 和 Gemini2.5-Pro，并给出 ASR 区间 86%–92%，没有逐模型数字。
    • 数据集为 Harry Potter、NewsQA、OCR-Bench、PROCON、RAGTruth。正文写出逐格数字的事实操纵结果，是 Harry Potter、Llama3-8b、精确问句。
    • 防御条件包括 Table 1 的困惑度例子、bge-reranker-large 重排序，以及问句改写、条目改写和两者同时。迁移条件包括 chunk size、多种检索器、K 和生成器。
    • 消融去掉检索、生成、隐蔽和 Pipeline Optimization 四项（Table 2）。网页用例把毒文藏进 HTML，40 个问题里 2 个在抓取后仍可答。
    • 论文未报告各数据集题量、重复次数、事实 ASR 的判定程序、改写问句所用辅助 LLM、困惑度奖励所用语言模型、GRPO 的学习率与步数，以及 OoD 和 BEAST 的幻觉率。

  6. Summarize the main content of the paper

    Confundo用微调生成器做RAG投毒，作者报告事实、观点和幻觉三类目标上的攻击结果。

    Confundo 把 RAG 投毒做成微调：小模型按目标问题生成短毒文，再放进会被知识库摄入的文档。

    它针对的是实际系统会切块、用户也不会照抄预设问句，专用投毒因而变弱。攻击者没有目标系统的内部知识，也不能查询它，只能准备待摄入文档。指定行为可以是错误事实、特定偏见或幻觉。

    奖励同时覆盖检索相似、替代生成器上的目标行为、改写问句、随机切块后较优的一段，以及困惑度。优化用 GRPO，被微调的是 Qwen3-0.6b，替代检索是三个嵌入模型的集成。更换模板和生成奖励即可换目标。

    作者报告的数字包括：

    • Harry Potter、Llama3-8b、精确问句上，事实 ASR 为 88%，同段的 AuthChain 为 54%（Figure 8）；释义问句下作者称 ASR 只下降 7%。
    • PROCON、Qwen3-8b 的负面回答比例为 60%，无投毒为 6%，专用攻击至多 10%（Figure 12）。
    • RAGTruth 上，幻觉率对 Qwen3-8b 为 98%、对 Llama3-8b 为 95%，无投毒分别为 6% 和 2%（Figure 14）。
    • 不同生成器上 ASR 为 86%–92%（Figure 19）。问句与检索条目同时改写后，Llama3-8b 上为 73%（Figure 21b）。网页例子里，40 个原本可答的问题只剩 2 个可答。

    作者的结论是：缺少流水线意识会让专用攻击的成功率看起来偏高，部署者可能低估风险；现有困惑度、重排序和改写还挡不住这种投毒，因此需要更稳健的防御。贡献中作者称，相对专用攻击，事实操纵最高 1.68 倍，观点偏见 6 倍，幻觉诱导 1.78 倍。

Read originalarxiv.org