SilentRetrieval: Hijacking retrieval-augmented generation with semantically preserved adversarial data poisoning

外部语料可被注入流畅对抗文档，使RAG的检索排序和生成答案同时被劫持，并避开高困惑度过滤。

• 场景：作者称RAG用外部语料缓解幻觉与知识过时，并用于企业问答、搜索和对话。知识库常来自可编辑平台、网页爬取或核验有限的第三方，因此语料完整性是安全前提（第1节）。
• 现有不足：作者称梯度优化能劫持检索，但常不做生成操纵；联合攻击能改写生成，但PPL>150，易被简单PPL过滤；对抗解码保持流畅，却作用于生成时而非语料投毒。作者称统一单文档协议下，没有已评基线同时在三项上表现强。
• 做法：提出SilentRetrieval。Stage 1的Coordinated Beam Search（CBS）在流畅度预算下预调主题相关宿主；Stage 2的Context-Adaptive Trigger Generation（CATG）用冻结LLM生成与上下文衔接的触发句。
• 威胁模型：
  • 目标：对查询q_target，使系统生成预定答案a_target，而不是正确答案（第3.2节）。评测使用合成目标答案。
  • 能力：向语料D注入有限数量文档，对应编辑公开知识库、发布可爬取网页或上传到企业系统。附录A的审稿感知研究被作者称为初步证据，不是真实注入可行性。
  • 知识：white-box，即可对检索器做梯度优化；limited-access black-box没有检索器梯度，以surrogate transfer研究，而不是完全自适应的query-only优化。
  • 受害系统与判定：标准RAG按嵌入相似度取top-k，再由生成器G作答。三项目标是排名不超过k、生成接近a_target、PPL不超过τ_ppl（第3.3节）。

论文把相关工作分成语料投毒与防御，并在附录Table 10用特征表对照14种方法。作者称中心比较不是二元特征清单，而是统一单文档协议下的隐蔽–效果权衡。

优化式检索投毒

• Zhong et al.（2023）：用HotFlip式词替换做梯度语料投毒，优化检索劫持；作者称其无流畅度约束，也不做生成阶段操纵。本文将其列为基线。
• AGGD（2025）与GASLITE（2025）：作者称二者检索劫持强并考虑流畅度，但省略生成阶段操纵。GASLITE是本文流畅度可比的主要对照。
• HotFlip（2018）：论文在引言与附录C将其作为白盒离散替换的来源。第8节称CBS的底层优化建立在已有梯度引导替换上。

联合操纵与黑盒投毒

• PoisonedRAG（2025）与Joint-GCG（2026）：同时针对检索与生成。作者称生成操纵有效，但高困惑度文本暴露于简单PPL过滤；给Joint-GCG加PPL惩罚的等流畅度比较留作后续。
• CorruptRAG、RIPRAG、MIRAGE：作者称这些黑盒方法避开white-box假设，但优化较弱或威胁模型权衡不同。EYES-ON-ME、POISONCRAFT、PR-Attack、TrojanRAG、BadRAG主要出现在Table 10。
• AdvDec（2026）：作者称其保持流畅，但作用于生成时解码，而不是语料投毒。

防御

• RobustRAG（2024）：isolate-then-aggregate，提供可证明稳健性；本文生成侧隔离受其启发。
• RSB（2025）：以13个攻击对照7个防御。作者称扩大语料会降低攻击效果。
• 其他方向：交叉编码器重排序、带答案一致性检查的查询增强、理由驱动的段落选择。第6节实测重排序、混合检索与段落隔离。

基线与基准

• 基线：Zhong et al.、PoisonedRAG、GASLITE、Joint-GCG。全部按统一协议重实现：每查询一篇投毒文档、合成目标答案、Contriever、Llama-2-7B-Chat、GPT-4评审、361K的NQ语料。
• 基准：NQ有3,452条测试查询和361K段落，不是标准21M DPR语料；MS MARCO有6,980条dev查询和8.8M段落。

作者把本文定位为任务特定的方法推进：CBS做流畅度约束下的多token优化，CATG做轻量触发融合。相对同期黑盒方法，本文用white-box检索器假设换更强优化；第5节迁移只部分弥补这一差距。

SilentRetrieval先改写主题相关宿主，使其在载荷插入后仍可检索且困惑度受预算约束，再拼入冻结LLM生成的目标句。作者称Stage 1不是为了超过未改动top-1种子的原始可检索性，而是避免Stage 2插入载荷后排名塌掉。

问题设定与形式化

• 流水线：查询q由编码器E按嵌入相似度取top-k，生成器输出a=G(q, D_q)（第3.1节）。
• 优化目标：在离散文本上最大化检索相似度，并惩罚超出困惑度预算的部分：

d_opt=argmax_dsim(E(q_target),E(d))−λ·max(0,PPL(d)−τ_ppl) 作者设λ=0.1。相似度走梯度；PPL是启发式提议信号，束候选再用精确目标重评，并受硬阈值过滤。

• 预算与种子：τ_ppl=50，取NQ良性文档困惑度的第95百分位（均值28.4，标准差12.7，第95百分位48.6），并作为跨数据集固定预算用于MS MARCO。主PPL用GPT-2，辅助用Llama-2-7B。种子是每个目标查询的语料top-1段落，长度归一到100±20 token。

Stage 1：Coordinated Beam Search

• 候选：每步计算检索相似度梯度，并减去对齐到文本空间的PPL提议信号。检索器与GPT-2分词器不同，该信号只用于提议；附录B说明对齐方式。每个位置投影到词表，默认保留K=10。
• 协调替换：按梯度幅度选top-M个位置，默认M=3，在联合空间上做束宽B=5的搜索，对一组同时替换计算含PPL的完整目标。作者称这是为了捕捉单token贪心遗漏的跨位置依赖。
• 接受与停止：取得分最高且PPL≤τ_ppl的候选，否则保持上一步。最多T=500步；目标改进连续20步低于ε=10^{-4}则早停。作者称87%的文档在300–400步内收敛（附录C）。

Stage 2：Context-Adaptive Trigger Generation

• 生成：冻结的Llama-2-7B-Chat读取优化后的宿主和a_target，生成与段落风格、领域用词衔接并纳入目标主张的句子。作者称提示鼓励权威表述，并随文档领域调整，而不是追加固定模板。完整提示在第4.2节，此处不复述。
• 过滤：最多采样5个触发句。须通过NLI蕴含检查（阈值>0.8）、与宿主嵌入的余弦相似度>0.7，以及拼接后PPL≤τ_ppl；再选连贯分最高且全部通过者。论文未给出NLI模型名称。
• 耦合：CATG不直接优化检索目标，但以优化后的宿主而非原始种子为条件。最终文档是宿主与触发句拼接。作者称CBS改变载荷加入后的嵌入偏移。

流程与成功判定

• 流程：Algorithm 1先跑CBS，再采样、过滤并拼接触发句。附录Table 12中本文为15 min/文档；作者称大约比Joint-GCG少2.3倍逐文档优化时间（表中相对时间为1.0×对2.3×）。
• 检索与生成判定：HR@k是对抗文档进入top-k的查询比例。ASR-SM是大小写不敏感、空白归一后的子串匹配。ASR-LLM由GPT-4判断输出是否真正认可目标答案。ASR-P要求3次后续改写查询仍被认可，且按构造不超过ASR-LLM。
• 隐蔽判定：PPL-G2为主、PPL-L2为辅。500篇子样本上二者Spearman ρ=0.84；作者称91.3%通过攻击方门槛的文档也通过Llama-2-7B门槛。

实验设置

• 模型：主检索器为Contriever。生成器为Llama-2-7B-Chat（主）、GPT-3.5-Turbo、Mistral-7B-Instruct-v0.2、Qwen-7B-Chat。CATG生成器固定为Llama-2-7B-Chat。PPL主模型为GPT-2，辅助为Llama-2-7B。
• 数据：NQ有3,452条查询、361K段落；MS MARCO有6,980条dev查询、8.8M段落。每查询配合成目标答案，并各注入一篇对抗文档。规模实验另用Wikipedia抽样构造100K至21M。
• 基线：Zhong et al.、PoisonedRAG、GASLITE、Joint-GCG，按统一协议重实现。作者称这些数字不能替代原文标题结果：原文PoisonedRAG在5文档和子串匹配下报告97% ASR，本协议为48.2% ASR-LLM；Joint-GCG原文接近100%，本协议为62.8%。CorruptRAG、RIPRAG、EYES-ON-ME、MIRAGE、POISONCRAFT因代码可用性未纳入。
• 指标与条件：HR@k、ASR-SM、ASR-LLM、ASR-P、PPL-G2/L2。主表固定Contriever、Llama-2-7B-Chat、GPT-4评审。NQ良性PPL-G2/L2为28.4/22.7，MARCO为30.2/24.1。Table 6把无防御的标准设置记为k=5。
• 评审：GPT-4作LLM-as-judge。500条查询上3次评估的运行间标准差为0.3%；与Claude-3-Opus的Cohen’s κ=0.81。主结果使用1,000次重抽样的bootstrap 95% CI，检验为查询上的配对bootstrap。
• 防御组件：MiniLM-L6-v2、MiniLM-L12-v2、MonoT5-base；BM25+dense；段落隔离加多数投票，等价答案按余弦>0.85聚类。自适应攻击只对着MiniLM-L6-v2。

主结果

据Table 1（每查询一篇；Contriever；Llama-2-7B-Chat；GPT-4）：

| 方法 | NQ HR@10 | NQ ASR-LLM | NQ PPL-G2 | MARCO HR@10 | MARCO ASR-LLM | | Zhong et al. | 72.3% | 38.4% | 847.2 | 67.8% | 34.1% | | PoisonedRAG | 78.6% | 48.2% | 412.6 | 73.4% | 44.7% | | GASLITE | 76.8% | 44.1% | 38.6 | 72.1% | 40.6% | | Joint-GCG | 81.2% | 62.8% | 156.3 | 76.4% | 58.3% | | SilentRetrieval | 84.6% | 57.5% | 32.4 | 81.3% | 54.8% |

• 作者称SilentRetrieval的HR@10最高，NQ上CI为[83.2%, 86.0%]，相对Joint-GCG的配对bootstrap检验p<0.01。Joint-GCG的ASR-LLM更高；作者称其困惑度为本方法的4.8倍，独立PPL审计（τ=50）检出率为94.2%对8.7%（附录Table 11）。
• 相对GASLITE，作者报告NQ上HR@10 +7.8%（p<0.01）、ASR-LLM +13.4%（p<0.001）。
• MS MARCO上方法排序不变，各方法有数据集相关的下降；作者将其与语料稀释一致。附录I中作者定义PES=(HR@10×ASR-LLM)/ln(PPL+1)，并称两数据集上本文均为已评基线最高（NQ 1,386，MS MARCO 1,262）。

跨生成器与检索器迁移

• 跨生成器（Table 2，NQ 361K，检索固定）：ASR-LLM为Llama-2-7B-Chat 57.5%、Mistral-7B-Instruct 54.2%、Qwen-7B-Chat 48.6%、GPT-3.5-Turbo 51.7%，平均53.0%；ASR-P为38.9%、35.8%、31.4%、36.1%。作者称固定CATG生成器下四台LLM都有非平凡效果。Llama-2-7B-Chat最高，作者称与触发器–生成器亲和一致。Qwen最低，作者认为可能与指令微调、安全行为或知识冲突有关。GPT-3.5-Turbo的ASR-SM为59.4%，低于另外三家，但ASR-LLM高于Qwen；作者认为它可能以更转述的方式认可目标，并称需要受控比较才能分开该效应。Table 2的Mistral简称对应正文的Mistral-7B-Instruct-v0.2。
• 迁移（Table 3，代理为Contriever）：白盒Contriever本身为84.6%/57.5%（HR@10/ASR-LLM）。未见检索器中，DPR为72.8%/44.1%，BGE-base为67.3%/40.6%，ColBERTv2为61.4%/37.2%，text-embedding-ada-002为64.7%/39.8%，Cohere embed-v3为57.2%/34.6%；五者平均HR@10 64.7%、ASR-SM 49.2%、ASR-LLM 39.3%。商业嵌入模型上，作者固定已生成文档并重建索引。作者称这是surrogate-transfer证据，不是完全黑盒自适应优化；DPR最强与架构相近一致，ColBERTv2的late-interaction更抗迁移。
• 不持久与知识冲突：附录H称ASR-LLM成功中32.3%在查询改写下失败。200个不持久案例中，检索偏移43.5%、转述下含糊31.0%、竞争上下文24.5%、其他1.0%。附录J称对光速这类已确立常数，参数知识会压过对抗上下文，作者写约占ASR-LLM失败的∼18%。附录给出领域案例，此处不复述替换内容。

防御、自适应与检测

• 检索侧（Table 4，NQ）：仅bi-encoder时HR@5/HR@10/ASR-LLM为76.8%/84.6%/57.5%。加MiniLM-L6-v2后为62.4%/73.2%/46.8%（+120ms）。作者称HR@10下降11.4%、ASR-LLM下降10.7%。Hybrid BM25+Dense为68.1%/79.2%/52.3%；再加重排序为54.7%/67.3%/41.5%。MiniLM-L12-v2的HR@10为68.9%（+180ms），MonoT5-base为68.4%（+340ms）。作者把更大重排序器视为更强防御，并称自适应实验只对着MiniLM-L6-v2；文中建议部署重排序，并写+100–200ms开销。
• 自适应与隔离：Table 5中，匹配的MiniLM-L6-v2上非自适应为73.2%/46.8%，自适应为79.4%/51.2%，作者记Δ +6.2% / +4.4%；PPL从32.4到34.8，时间从15min到42min。Hybrid+重排序从67.3%/41.5%到71.6%/44.1%。Table 6：隔离在k=5时ASR-LLM为38.2%（5×），k=10时为31.4%（10×），HR不变。混合+重排序+隔离在k=5为25.6%（6×）；全部防御在k=10为21.3%（11×）。作者称隔离后的HR@5表示进入k=5生成输入的暴露。
• 检测（附录Table 11）：独立PPL审计（τ=50）对SilentRetrieval为8.7%，Zhong et al.为94.2%，PoisonedRAG为78.6%，GASLITE为12.3%。GPT-4过滤为14.2%，简化RAGuard为34.2%，Mahalanobis为31.6%。作者称本文检出率为8.7–34.2%，Zhong et al.为67–94%；并称查询增强加答案一致性、以及领域调优检测器仍未测。

人工评估与语料规模

• 文档级人工（Table 7，n=600篇，10名标注者，Krippendorff’s α=0.74；聚合可疑度≥4记为flag）：良性7.3%，Zhong et al. 83.3%，PoisonedRAG 56.7%，SilentRetrieval 14.7%。流畅/连贯/表面合理性/可疑度：良性4.52/4.41/4.38/1.42，本文4.03/3.84/3.71/1.94。作者称与良性的flag差在α=0.05下未达到其检验阈值（p≈0.064，Fisher精确检验，各150篇），并称该设计不能解释成与良性无法区分。
• 审稿感知（附录A，n=150，3名有Wikipedia编辑经验的志愿者，Fleiss’ κ=0.68）：被评为“likely to survive review”的比例，SilentRetrieval为78%，Zhong et al.为12%，PoisonedRAG为34%。作者称这只是简化审核场景下的感知证据。
• 规模（Table 8）：100K时HR@10/ASR-LLM为86.4%/59.8%（投毒3.45%）；361K为84.6%/57.5%（0.96%）；21M抽样评估为74.2%/41.5%（0.016%，95% CI [72.2%, 76.2%]）。≥5M的指标在1,500条分层查询上计算，作者写95% CI ≈ ±2–2.5%。作者称相对100K，HR@10绝对下降12.2%、ASR-LLM下降18.3%，并称仅靠扩语料不够。

其他消融与分析

• Table 9：仅CBS宿主的ASR-LLM为21.3%、PPL为30.8，HR@10仍为84.6%；无CBS的种子+CATG为HR@10 38.2%、ASR-LLM 14.7%、PPL 26.1。
• 单token贪心+PPL拒绝：HR@10 79.8%、ASR-LLM 53.1%、PPL 33.7。作者称CBS在相近PPL下HR@10高4.8%。
• 最佳静态模板的ASR-LLM为54.2%、PPL为33.1；CATG为57.5%、32.4。作者称ASR-LLM高3.3%，HR@10同为84.6%。
• τ_ppl=30/50/80：HR@10为76.3%/84.6%/87.9%，ASR-LLM为49.2%/57.5%/59.1%，PPL为24.7/32.4/53.7。作者称收到30损失8.3% HR@10，放到80只增加3.3%。Figure 4还含表外扫描点，星标为τ=50。
• 附录H：另一次top-1种子运行的HR@10为85.2%；随机主题段落使HR@10降6.3%，随机语料段落降22.1%。一条文档服务2/5个相关查询时HR@10为76.3%/58.4%；每查询注入3篇时HR@10为94.3%、ASR-LLM为69.2%。
• 附录Table 12：本文15 min/文档（1.0×，HR@10 84.6）；Joint-GCG 35 min（2.3×，81.2）；GASLITE 18 min（1.2×，76.8）；PoisonedRAG 12 min（0.8×，78.6）；Zhong et al. 8 min（0.5×，72.3）。

作者指出的局限与后续方向

• 协议与假设（第8节）：四个基线按统一协议重实现，与原文设置不同；若干同期黑盒方法因代码可用性缺席。CBS需要white-box检索器梯度；64.7% HR@10的迁移是简单surrogate transfer。给Joint-GCG加PPL惩罚的等流畅度比较留作未来工作。
• 评测范围（第8节）：只评测NQ与MS MARCO，且集中于知识密集型问答/搜索型RAG，不是开放式RAG的全部，如长文摘要或文档抽取。生物医学、法律等领域会进一步检验可推广性。≥5M的规模实验用1,500条分层查询，而不是全部3,452条。跨模型实验没有替代受控的触发器–生成器对换；GPT-4、Claude-3作为目标模型仍未测试。
• 流畅度与实现前提（第8节）：困惑度只是流畅度代理，领域风格检测器可能发现指标漏掉的异常。攻击需要white-box检索器、主题相关种子和非平凡的逐文档优化。附录A不模拟完整注入流程。CATG生成器固定为Llama-2-7B-Chat；自适应重排序实验只匹配MiniLM-L6-v2。
• 更大重排序器（第6.2节）：把自适应攻击扩展到更大重排序器仍是未来工作。
• 未测防御（第6.4节）：带答案一致性检查的查询增强，以及领域调优检测器，仍未测试。
• 后续方向（第9节）：作者列出针对流畅对抗样本训练检测器、用答案一致性稀释单文档影响、限制触发效果的稀疏注意力生成、统一攻防基准（如RSB），以及多模态RAG投毒。

实验覆盖范围

• 主协议在Contriever与Llama-2-7B-Chat上比较四种重实现基线；生成器另测Mistral-7B-Instruct-v0.2、Qwen-7B-Chat、GPT-3.5-Turbo（Table 2）。CATG生成器固定为Llama-2-7B-Chat。
• 检索迁移目标为DPR、BGE-base、ColBERTv2、text-embedding-ada-002、Cohere embed-v3，代理为Contriever（Table 3）。论文写明这不是完全自适应的query-only黑盒优化。
• 防御配置包括三档交叉编码器重排序、BM25+dense、k=5与k=10的段落隔离及组合；自适应优化只在MiniLM-L6-v2及hybrid+该重排序器上报告（Table 4–6）。
• 人工评估为600篇文档、10名标注者；另有150篇、3名评审的感知研究。规模表覆盖100K至抽样21M，≥5M的HR/ASR来自1,500条分层查询（Table 7–8）。
• 论文未报告ASR评审与人工判断的一致性，也未报告攻击优化的重复次数。GPT-4评审在500条查询上有3次评估（标准差0.3%），并与Claude-3-Opus的κ=0.81。NLI过滤所用模型名称论文未说明。

SilentRetrieval是针对RAG的两阶段语料投毒，在每查询一篇、合成目标答案的统一协议下，同时处理检索劫持、生成操纵和流畅度。

• 问题：作者认为可注入的外部语料使密集检索成为劫持入口。先前方法要么不做生成操纵，要么高困惑度易被过滤，要么只在生成时操作。
• 方法：CBS从top-1宿主出发，做多位置联合替换，用嵌入相似度减去流畅度惩罚，并拒绝PPL高于50的候选。CATG用冻结的Llama-2-7B-Chat生成与上下文衔接的目标句，再经蕴含、连贯和困惑度门槛筛选。
• 主结果：Table 1中，NQ（361K，Contriever，Llama-2-7B-Chat）上HR@10为84.6%、ASR-LLM为57.5%、PPL-G2为32.4，良性PPL-G2为28.4。MS MARCO（8.8M）上对应为81.3%、54.8%、33.1。Joint-GCG的ASR-LLM更高（NQ为62.8%），作者称其困惑度高4.8倍。
• 迁移与防御：固定CATG生成器时，四台目标LLM的ASR-LLM为48.6–57.5%（Table 2）。五台未见检索器的平均迁移HR@10为64.7%（Table 3，代理为Contriever）。组合防御在k=5把ASR-LLM降到25.6%（6×延迟），最强配置为21.3%（11×）；匹配MiniLM-L6-v2的自适应攻击恢复6.2% HR@10（Table 5–6）。
• 隐蔽与规模：人工flag率为14.7%，低于不流畅基线，高于良性的7.3%（p≈0.064，Table 7）。抽样21M、投毒比例0.016%时HR@10为74.2%（Table 8）。
• 作者结论：作者称语料完整性是一等安全问题；在所评配置中，分层防御比单一防御更稳健；不做PPL归一的原始ASR比较，会掩盖简单流畅度审计下的可检测性差异。