RAGStress：评测知识库退化下 RAG 鲁棒性的受控基准

现有 RAG 评测默认知识库干净，知识库退化下的行为缺少受控刻画。

• 场景：RAG 用外部知识库为 LLM 提供较新信息、减少幻觉，并扩展小模型的有效知识。作者称真实库在对手介入前就会积累录入错误、文档版本冲突、摄入流水线中的 OCR 噪声，以及未清理的过时内容。
• 仲裁：生成时模型在参数先验与检索上下文之间做隐式仲裁。作者称仲裁质量决定损坏文档被打折还是被忠实复现；哪种损坏要紧、应如何评测，仍是开放问题。
• 现有不足：作者称先前工作分成对抗投毒、知识冲突和噪声检索，但没有在固定检索管线上把损坏类型与 severity 作为联合评测变量。
• 引言与表格：作者称干净知识库把 8B 模型从 42.3% 提到 98.6%；引言写事实损坏后降至 27%。Table 1 中 Llama 3.1 8B 的三档事实损坏为 28.4%、25.4%、27.7%，均低于无检索 42.3%。
• 提出的基准：RAGStress 将 factual corruption、numeric typo、relevance poisoning、contradiction injection 与 subtle、moderate、obvious 配对，用单库元数据过滤实现条件。实例来自 57 个 MMLU 科目、182,546 篇文档，并评测五个系统。设计对应三个问题：损坏类型是否要紧，无检索能力是否预测稳健性，severity 是否单调。作者称它是受控压力测试，不是通用排行榜。

知识库投毒与 RAG 安全

• PoisonedRAG（Zou et al., 2024）：向知识库注入优化段落。论文写道其攻击成功率超过 90%。
• Phantom、BadRAG、Zhong et al. 与 Zhang et al.：分别做触发式后门、少量对抗段落、可跨查询迁移的对抗段落，以及提高隐蔽性的单次注入。Zhang et al.（2025）用 13 种攻击对照 7 种防御做基准。
• RobustRAG（Xiang et al., 2024）：用 isolate-then-aggregate 提供可认证的检索损坏稳健性。Mu et al.（2026）综述威胁、防御与基准。作者称这一支取攻击者视角，把损坏当成二元的干净或中毒，优化最坏情况攻击成功，而不是实践中的非对抗退化。

知识冲突与上下文忠实

• Longpre et al.（2021）与 Xie et al.（2024）：在实体替换反事实下观察参数记忆与上下文的取舍；冲突表述不同时，模型可以跟随上下文，也可以固执于先验。作者称两者用的是窄实体替换和更早一代模型。
• DisentQA（Neeman et al., 2023）与 Shi et al.（2023）：论文称分开预测参数答案和上下文答案，可改善对冲突的稳健性；无关上下文会干扰算术推理。作者称后者促使区分语义保真与信号效用。
• Goyal et al.（2024）与 ClashEval（Wu et al., 2024）：论文称指令微调可能加重对上下文的依赖；ClashEval 在当前一代模型上做分级的上下文与参数冲突。作者称 ClashEval 与本文 severity 轴最接近，本文用更宽的损坏分类重访同类问题。

噪声检索

• Zeng et al.（2025）：论文称误导性检索可以把 RAG 压到无检索基线以下。
• Wu et al.（2025）与 Cuconasu et al.（2024）：论文称并非所有噪声都降低表现；某些噪声类型，以及处在合适位置的无关文档，甚至可能有帮助。
• NoMIRACL（Thakur et al., 2024）：在 18 种语言上评测非相关检索下的幻觉。作者称这一支刻画噪声做了什么，但没有在共同检索管线上联合变化损坏类型与 severity。

评测基准与实验对照

• RGB、CRAG、RAGAS：RGB 评测噪声稳健、负拒绝、信息整合和反事实稳健；CRAG 做跨领域事实问答；RAGAS 提供无参考的 faithfulness、answer relevance、context relevance。
• QE-RAG（Zhang et al., 2025）：把错误类型与 severity 交叉，但扰动的是查询而不是知识库，测的是用户侧输入噪声。
• 基线与数据：本文实验对照是同一 700 道分层 MMLU 题上的无检索、clean-only 与 unfiltered，加上 12 个 type×severity 条件。论文没有把上述攻击方法当作实验基线。

作者把本文定位为评测设计：在单一受控设计里联合变化知识库损坏类型、severity，以及混合检索与按类型过滤的检索，补充而非替代攻击、防御和指标文献。Table 2 图注称，RAGStress 是其中唯一同时采用受控损坏分类、分级 severity、且框架为 evaluation 的条目。

RAGStress 把损坏类型和 severity 做成查询时的元数据过滤：干净文档与损坏变体放在同一向量索引里，检索器与索引保持不变。

问题设定

给定查询 q，检索器返回 top-k 文档，模型在参数先验与上下文证据之间仲裁：

a = M_θ(q, D_q) = f(p_θ(a ∣ q), p(a ∣ q, D_q))

这里 f 是训练中获得的隐式仲裁。作者把它当作行为抽象，不把它写成机制主张：基准测的是受控扰动文档后准确率如何变化。

相对干净知识库的降幅是

Δ(M, t, s) = Acc(M, clean) − Acc(M, t, s)

Δ 接近 0 表示不受该损坏影响，Δ 大表示退化幅度大。韧性差 Γ_t(M1, M2) 是两模型在类型 t 上、对 severity 平均后的 Δ 之差；正值表示 M2 更易受损，与基线准确率差无关。另定义无检索率 ρ，即检索器返回零篇文档的查询比例，用来检查损坏是否改变可检索性。

三条假设对应三个研究问题。H1：对每个模型，事实损坏的 Δ 大于数字错字，矛盾注入的 Δ 大于相关性投毒。H2：无检索准确率不蕴含损坏检索下的 Δ 排序。H3：对足够有害的类型与 severity、以及足够弱的模型，损坏 RAG 可以低于无检索准确率，且 Δ 不必随 severity 单调上升。

损坏分类

损坏函数沿两个信息维度、三档 severity（subtle、moderate、obvious）扰动干净文档。

• 语义保真：改动事实主张。factual corruption 用看似合理的错误答案替换正确答案，并保留结构与权威语气；contradiction injection 断言错误答案，制造上下文与参数记忆的直接冲突。
• 信号效用：真值保留，但有用信息减少。numeric typo 扰动数值并保留正确选项标签；relevance poisoning 把内容换成主题相关但信息量低的填充。
• 先验预测：语义保真会主动误导，读者须推翻上下文才能答对；信号效用只是扣留信息，读者可以退回参数先验。作者因此预期前者严格更有害。
• 生成：全部变体由 Claude 3 Haiku 按类型专用提示生成，severity 写在指令中，使各档在性质上不同，而不是同一变换的缩放。附录 B 描述各类型所模拟的失效模式和 severity 的操作化；完整提示词在产物包中。

单库与十五个条件

作者不用每个条件单独建索引，以避免索引构建、嵌入分布和文档数量的混杂。统一库保存每个版本，查询时用服务端元数据谓词限制到当前条件。

• baseline：不检索，测参数知识。
• clean only：is_corrupted=false，作为 RAG 上界。
• unfiltered：不加谓词。损坏文档与干净文档在库中为 12:1；作者称检索到的块中约 79% 为损坏块，用来模拟未经审计的知识库。
• 12 个 type×severity：每次只允许一种类型、一档 severity。完整条件表在附录 D 的 Table 3。

三条前提：A1，单库过滤在方法上等价于分索引，并更好控制嵌入分布和检索分数校准；A2，精确匹配选择题去掉 LLM 评审方差，差异归于库内容，但发现未必直接迁到开放生成；A3，检索器（top-k=5 稠密检索）和提示在所有条件与模型上固定。作者还假定 LLM 生成的损坏代表系统性、受控的库退化，文档级分块适合 MMLU 长度的条目，静态单轮评测是带主动核验的系统的下界。

语料、摄入与判定

MMLU 全部 57 个科目的测试划分共 14,042 条，被改写成短参考文章，保留可机器核验的标准答案。附录 C 给出结构示例。每条 1 个干净版本加 12 个损坏变体，合计 182,546 篇。格式校验失败则重新生成，作者称拒绝率低于 2%。元数据含 subject、perturbation_type、severity、is_corrupted、question_id。

文档级分块，用 Titan Embeddings V2 嵌入，并以带元数据过滤的近似最近邻索引入库。评测用种子 42 的 700 道分层题。回答提示是中性的，不要求模型标出不一致或怀疑上下文。取回答中第一个属于 A/B/C/D 的字母，与 MMLU 标签做精确匹配。

§5.4 把四类损坏对应到生产库失效：过时或误录但仍流畅的内容、录入和 OCR 错误、版本漂移与主题相邻杂乱、多源冲突。作者同时写明三条边界：生成器只有 Claude 3 Haiku；severity 是模型赋予的操作标签，不是经过人工校验的感知量表；文档来自基准条目而非自然语料。作者据此把比较价值放在相同条件下的相对排序，而不是预测某个已部署库的绝对失败率。

实验设置

• 被测系统：Claude Sonnet 4、Claude Opus 4.6（专有，检索与生成集成）、DeepSeek R1（推理向、托管）、Qwen3-32B（开源权重，先检索后生成）、Llama 3.1 8B Instruct（开源权重）。Section 6.1 给出的无检索基线为 86.7%、78.6%、77.1%、83.1%、42.3%。表中 Llama 3.1 8B 即该 Instruct 模型。
• 数据：MMLU 的 700 道分层题，覆盖 57 个科目，每题 15 个条件。5×700×15=52,500 次评测。知识库 182,546 篇，由 Claude 3 Haiku 从全部测试划分生成。
• 检索与提示：每问 top-k=5，稠密向量检索，Titan Embeddings V2，文档级分块，种子 42（Table 4）。各条件共用元数据过滤和中性提示。服务接口不同；作者把精确匹配准确率当作主要可比指标，并称差异应读成系统级而不是纯参数级。
• 指标：第一个 A/B/C/D 与 MMLU 标签精确匹配，无 LLM 评审。报告 Wilson 95% 区间；作者称 n=700 时，50% 准确率处为 ±3.7 个百分点，95% 处为 ±1.6 个百分点。另使用 Δ、Γ，以及误导率（干净条件下能答对、损坏后答错的比例）。
• 对照：无检索、clean-only、unfiltered，以及 12 个 type×severity。论文未报告解码温度、重复运行次数，也未报告 Section 3 所定义 ρ 的数值。

主结果

据 Table 1（每格 n=700 的点估计；Wilson 区间见该表）。事实损坏与矛盾注入只列 moderate。

Swipe horizontally to read the table

模型	无检索	clean	事实损坏 moderate	矛盾 moderate	unfiltered
Claude Sonnet 4	86.7%	99.4%	52.9%	41.1%	82.4%
Claude Opus 4.6	78.6%	99.7%	73.3%	88.4%	95.0%
DeepSeek R1	77.1%	99.9%	50.4%	59.7%	91.3%
Qwen3-32B	83.1%	100.0%	29.9%	35.7%	81.6%
Llama 3.1 8B	42.3%	98.6%	25.4%	23.1%	74.7%

• 作者称干净检索把无检索基线上的能力差距压进一条窄带，窄到难以区分五个模型；损坏后差异才分开。
• 作者称语义类损坏测的是模型会否跟随流畅的错误证据。表中事实损坏与矛盾的 moderate 格低于各自 clean；Opus 的矛盾 moderate 仍高于其无检索格。
• 作者称混合库准确率不应报成最坏情况敏感度。表中每个模型的 unfiltered 都高于其事实损坏 moderate。

损坏类型与误导率

Table 6 给出对三档 severity 的平均；Figure 4 给出误导率。

• 语义类降幅：作者称按 severity 平均，事实损坏与矛盾注入造成 10–71 个百分点下降，相关性投毒不超过 5 个百分点。Table 6 事实损坏平均为 Sonnet 52.2%（−47.2）、Opus 74.7%（−25.0）、DeepSeek 50.4%（−49.5）、Qwen 29.9%（−70.1）、Llama 27.2%（−71.4）；矛盾注入为 51.0%（−48.4）、89.2%（−10.5）、65.0%（−34.9）、42.1%（−57.9）、31.7%（−66.9）。
• 信号效用：Table 6 数字错字平均为 92.2%、96.2%、95.2%、92.5%、88.6%，降幅 −7.2、−3.5、−4.7、−7.5、−10.0 个百分点；相关性投毒为 98.2%、99.3%、98.9%、99.0%、94.0%，降幅 −1.2、−0.4、−1.0、−1.0、−4.6。作者称离题内容比流畅错误信息更容易丢弃。表注称这两类保持在干净检索约 10 个百分点以内。
• 误导率与 H1：Figure 4 图注称，语义保真类推翻 25–72% 的干净可答题目，信号效用类少于 10%，误差条为 95% Wilson 区间。§6.3 用同一区间说明这些损坏不是惰性产物。Table 6 的降幅方向与 H1 的不等式一致：每个模型上，事实损坏降幅大于数字错字，矛盾注入大于相关性投毒。

参数能力与韧性差

Finding 3 比较无检索准确率与语义损坏下的 Δ。

• 交叉：Qwen3-32B 无检索 83.1%，高于 Opus 4.6 的 78.6%，但事实损坏平均为 29.9%，Opus 为 74.7%（Table 6）。作者称参数知识可以多 4.5 个百分点，损坏下的稳健性却可以少 45 个百分点；并给出 Γ_FACT(Opus, Qwen)=45.1、Γ_CONTRA(Opus, Qwen)=47.4。
• 另一方向：DeepSeek R1 无检索 77.1%，clean 99.9%，事实损坏平均 50.4%（相对 clean −49.5 个百分点）。作者称这与 Sonnet 4 的语义损坏降幅相当，尽管参数基线更低。
• 作者的范围表述：五个系统覆盖专有、推理向和开源权重。作者称这仍是示例性的，更宽的扫描才能检验是否普遍。

severity 与混合知识库

• 非单调：矛盾注入在五个模型中的四个上呈 U 形（Table 1）。Sonnet 4 的 moderate 为 41.1%，subtle 55.7%、obvious 56.1%；作者称这一凹陷为 15.0 个百分点，其 95% 区间不含 0。Qwen 为 44.9%、35.7%、45.6%，Llama 为 38.0%、23.1%、33.9%，DeepSeek 的 moderate 为 59.7%，对照 67.1% 与 68.1%。作者称其中部分 moderate 与 obvious 的差距，区间跨过 0，需要进一步重复。Opus 为 89.1%、88.4%、90.1%，作者称接近平坦。
• 作者对 U 形的保留：severity 由 LLM 指定且未经人工校验。作者认为 U 形可能部分来自生成器行为；即便如此，压力测试应包含看似合理的矛盾，而不只测极端损坏。
• 混合库：Table 6 中 unfiltered 相对 clean 的下降为 Opus 4.7、DeepSeek 8.6、Sonnet 17.0、Qwen 18.4、Llama 23.9 个百分点，准确率依次 95.0%、91.3%、82.4%、81.6%、74.7%。事实损坏平均由高到低为 Opus、Sonnet、DeepSeek、Qwen、Llama。作者称干净证据仍可被检索到时模型会部分恢复，把混合污染稳健性与最坏情况稳健性混为一谈会颠倒排序。

其他消融与分析

• 论文未报告改变 k、嵌入模型、分块或提示词后的准确率；Table 4 将 k=5、种子 42、Titan Embeddings V2、文档级分块和精确匹配固定。
• 作者称事实损坏与相关性投毒的差距从约 25 到近 70 个百分点，类型内 subtle 与 obvious 的差距不超过 4 个百分点。Table 1 事实损坏三档示例：DeepSeek 51.1%、50.4%、49.6%，Qwen 30.6%、29.9%、29.3%。
• Table 1 中 Llama 的 relevance obvious 为 89.1%，同类型 subtle、moderate 为 96.3%、96.7%；Sonnet 该类型 moderate 为 98.1%，Opus subtle 为 99.4%。论文未单独解释 Llama 的 obvious 格。
• 作者称语义损坏可把表现压到随机选择以下。Table 1 中 Llama 的矛盾 moderate 为 23.1%，事实损坏 moderate 为 25.4%，均低于其无检索 42.3%。
• Figure 3 图注称色标以 50% 为中心，并标注各格准确率与区间；这些点估计与 Table 1 一致。论文未报告按科目拆开的准确率。

作者指出的局限与后续方向

• 任务形式：为评分可靠而限于选择题；开放式和多跳问答被写成该元数据过滤设计可以支持的扩展（§6.3）。§7 还列出引用密集生成、多跳推理，以及自然出现的企业或网页文档。
• 生态效度：文档由基准条目派生，用可核验的标准答案换生态效度。作者称价值在于相同条件下的相对比较，不是预测某个已部署库的绝对失败率（§5.4、§6.3）。
• 生成器：全部损坏来自 Claude 3 Haiku。被评系统中有两个属于 Claude 系列；作者把 generator-swap 消融留给后续，以分离同系列混杂（§5.4、§6.3）。
• severity 标签：由 LLM 指定，没有人工校验。作者把它当作受控旋钮，而不是关于人觉得多显眼的主张（§5.4、§6.3）。
• 接口与记忆：各系统服务接口不同，差异应读成系统级而非纯参数级。MMLU 条目很可能出现在预训练数据中，无检索基线部分反映记忆；作者称这抬高绝对基线，但各条件共用题目和流水线，比较性发现仍成立（§6.3）。
• 后续实验：改变 top-k 中损坏比例的受控部分损坏，以及有目标的对抗注入（§6.3）；检索器、重排序器、嵌入模型和分块与损坏的交互（§7）；在同一协议下评测检索过滤、矛盾检测、出处追踪、弃答和稳健聚合（§7）。

实验覆盖范围

• 被测系统为 Claude Sonnet 4、Claude Opus 4.6、DeepSeek R1、Qwen3-32B、Llama 3.1 8B Instruct，共 5 个；文档改写与损坏生成使用 Claude 3 Haiku，嵌入使用 Titan Embeddings V2（§6.1、Table 4、Table 5）。
• 评测集为英语 MMLU 的 700 道分层题、57 个科目、15 个条件，每格 n=700，合计 52,500 次；评分是 A/B/C/D 精确匹配，并报告 Wilson 95% 区间（§6.1、Table 1、Appendix F.1）。
• 条件包括无检索、clean-only、unfiltered，以及四种损坏乘三档 severity。检索固定为 k=5、文档级分块和中性提示（§4.3、Table 4）。
• 论文报告了准确率、相对 clean 的降幅、Γ 和 Figure 4 的误导率。论文未报告 ρ 的数值、解码温度、重复运行次数，以及按科目拆开的准确率。
• 论文未报告检索器、重排序器、嵌入模型或分块策略的对比结果，也未报告检索过滤、矛盾检测、出处追踪、弃答或稳健聚合的防御结果；§7 将这些写为后续方向。

RAGStress 是知识库损坏下的 RAG 受控压力测试；作者明确不把它当作模型排行榜。

• 问题：常见评测假设知识库干净。作者关心录入错误、版本冲突、OCR 噪声和过时内容出现后，模型如何在参数先验与检索证据之间仲裁。
• 做法：四种损坏、三档 severity，放进由 57 个 MMLU 科目建成的 182,546 篇单库；查询时用元数据过滤得到 15 个条件，检索器与索引固定。700 道分层题、五个系统、选项精确匹配，共 52,500 次评测。
• 干净与语义损坏：Table 1 中五模型的 clean 为 98.6%–100.0%。作者称按 severity 平均，事实损坏与矛盾注入下降 10–71 个百分点，相关性投毒不超过 5 个百分点（Table 6）。Table 6 中事实损坏最低为 Llama 27.2%，最高为 Opus 74.7%。
• 能力与 severity：Qwen3-32B 无检索 83.1%，高于 Opus 4.6 的 78.6%，事实损坏平均却是 29.9% 对 74.7%；作者给出 Γ_FACT=45.1。Sonnet 4 的矛盾 moderate 为 41.1%，subtle 为 55.7%，obvious 为 56.1%。
• 混合库与结论：unfiltered 相对 clean 的下降，作者报告为 Opus 4.7、DeepSeek 8.6、Sonnet 17.0、Qwen 18.4、Llama 23.9 个百分点。作者的结论是，RAG 评测不能只看干净检索是否有帮助，还要看模型能否拒绝流畅、相关且误导的证据；混合库准确率也不应当成最坏情况。