RerouteGuard：理解并缓解 LLM 路由的对抗风险

LLM 路由器可被查询前的通用 trigger 改写选模，从而抬高成本、压低回答质量，或把有害查询转到防护更弱的模型。

• 场景：作者称多模型系统用 router 按查询特征（如复杂度）选模型，以平衡质量与成本。文中称 NotDiamond 使 AI 开发快 10 倍并被公司使用，GPT-5 的实时 router 估计每年可为 OpenAI 节省约 1.86 billion 美元。
• 现有不足：作者称已有攻击和案例露出 rerouting，但其安全含义尚未展开。作者列出四项困难：真实查询不可预测，trigger 须通用且不改变原语义；多模型使误路由更难缓解；攻击改的是路由决策而非模型输出，用户不易发现；防御必须轻量。
• 核心划分：成本抬升把简单查询转到更贵的强模型 Ms；质量劫持把复杂查询转到更弱的 Mw；安全绕过把有害查询转到未过滤或更弱、不能拒绝不安全内容的模型。
• 本文做法：按对手目标与知识整理威胁，测量已有攻击，用可解释性看 trigger，再提出即插即用检测器 RerouteGuard。
• 威胁模型：
  • 目标：最大化 M_target 对“trigger 拼接查询”的被选概率。成本抬升的目标是 Ms；质量劫持与安全绕过是 Mw。
  • 知识：white-box 可用权重、梯度与机制；gray-box 只能看到 win rate；box-free 没有路由器信息。一个 Ms、一个 Mw 的二元配置假定对手已知。
  • 能力：从词表取长度为 L 的 trigger 并前置。成本与质量场景中，对手通常是拦截良性查询的中间人；安全绕过中是恶意用户。对用户交互可以全知、部分知或无知。
  • 受害系统：位于一组 LLM 之前的路由器。测量对象是 RouteLLM 的四个二元路由器。路由是否改到目标模型用 ASR 判定；安全绕过另用 JSR。

论文没有单独的 Related Work。引言与 Preliminaries 按路由方法、已有 rerouting 攻击，以及测量用的越狱和检测基线来组织引用。

LLM 路由

• RouteLLM（Ong 等, 2024）：定义强模型 win rate 与用户阈值，并提供本文测量的四类路由器。
• 三类机制：相似度路由（如 SW Ranking，按历史查询相似度加权）；分类路由（如 BERT 或矩阵分解，预测哪个模型更可能胜出）；打分路由（如 Causal LLM，用学到的分数选模型）。
• 二元设定：作者称 AutoMix（2024）、Hybrid LLM（2024）、RouteLLM（2024）等已有工作主要做二元路由，即一个更便宜的 Mw 和一个更贵的 Ms。论文只作这一描述，没有逐篇批评。

Rerouting 攻击

• Shafran 等（2025）：在 gray-box 下用路由器算出的 win rate 迭代优化 trigger，以抬高目标模型被选概率。
• Lin 等（2025）：white-box 用路由器梯度优化 trigger；box-free 用代理路由器筛选高胜率查询，再由总结模型抽取特征构造 trigger。作者称 rerouting 研究有限，仅这两项工作覆盖三种攻击方法。

越狱材料与公开案例

• 有害查询：安全绕过使用 AdvBench Subset 的 50 条问题，并施加 AutoDAN、DeepInception、GCG、PAIR。是否有害由 HarmBench 的 Llama-2-13B 分类器判定。
• 公开报道：作者用 GPT-5 router 被劫持的新闻作为安全绕过实例，该系统不是作者自己运行的实验对象。

基线方法与基准

• 攻击测量：基准为 MMLU、GSM8K、MT-Bench 与 Jailbreak；路由器为 R_CLS、R_MF、R_SW、R_LLM。攻击基线即上述 gray-box、white-box、box-free。
• 防御基线：作者称当时没有针对 rerouting 的专用护栏，因此对照 PPL（GPT-2）、Prompt-Guard-86M、Llama-Guard-3-1B，以及四个路由器的多数投票。

作者称，就他们所知，这是首个系统研究 LLM routing 安全风险的工作：按目标与知识刻画威胁，测量已有攻击，再用对比学习检测器过滤可疑查询。

作者先按目标与知识整理 rerouting 并测量已有攻击；缓解方法是即插即用的 RerouteGuard，在查询进入路由器前过滤可疑提示。

问题设定与形式化

二元路由器把查询映到候选模型。RouteLLM 估计强模型胜率，再用阈值决策：

R_α(q)=M_s if P_θ(M_s|q)≥α, else M_w

α 取该数据集 win rate 分布的中位数，因此正常时约一半查询进入强模型。攻击者把长度为 L 的 trigger 前置到查询，使目标模型的被选概率最大。成本抬升的目标是 Ms，质量劫持与安全绕过是 Mw。

三种攻击设定

• White-box：可用权重、梯度与机制。按 Table 1，用梯度对 trigger 做 HotFlip，并从 top-k 候选中更新。因需要梯度，直接优化限于如 R_LLM 的路由器；优化后的 trigger 可迁到其他路由器。训练集为 Chatbot Arena 加 30% 的 GPT-4 judge 数据集。论文未给出 top-k 与迭代次数。
• Gray-box：只能看到 win rate。在当前 trigger 及其变换组成的邻域中，选择使目标模型概率最大的候选。
• Box-free：没有路由器内部信息。以四个被测路由器为代理路由器，选出在所有路由器上强模型胜率都高的查询，再用总结模型 GPT-4o 抽取特征并构造 trigger。
• 使用方式：每种方法按官方设置重复 10 次，即每方法 10 个 trigger。trigger 前置到用户查询；文中以中间人注入作为例子。

四个路由器的胜率

• R_CLS：微调 BERT-base，输出“强模型胜 / 平局 / 弱模型胜”，胜率取第一类概率。
• R_MF：双线性分数，胜率为两模型分数差的 sigmoid。
• R_SW：无训练。用嵌入余弦相似度检索相似训练查询，再用 Bradley–Terry 模型聚合人类偏好。
• R_LLM：微调 Llama-3-8B，预测 Mw 的 1–5 分；默认 τ=4，胜率为 1 减去不低于 τ 的分数概率之和。

RerouteGuard 的数据与训练

• 正常查询：用文献 [14] 的 38,547 条开放式问题（Chatbot Arena 与 GPT-4 judge 数据集）。四个路由器都把 win rate 排在后 50% 的查询留下，得 11,557 条简单问题，按 8:1:1 划分。作者称成本抬升针对简单查询，所以用简单查询训练。
• 对抗查询：每种方法 50 个 trigger，按 6:2:2 划分。每条正常查询随机配一个同划分 trigger 并前置。划分之间不混用 trigger，以避免泄漏。
• 样本对：正对是同类（正常–正常或对抗–对抗）；负对是正常与对抗的组合，含跨索引对和自索引对。负样本交叉比例 0.5。每条正常样本配 1 个正对和 1 个负对。
• 网络与损失：共享参数的双编码器。预训练 Transformer 经 CLS pooling 和投影头得到归一化嵌入；分类器使用两嵌入、绝对差与逐元素积。损失为

L=λ_bce L_BCE+λ_contr L_SupCon

实验骨干为 XLM-RoBERTa-base（125MB）。λ_bce=0.65，λ_contr=0.35，难负样本权重 1.2，batch size 64，AdamW 学习率 3e-5，最大长度 256，pooling 为 cls。另有判别学习率、对比损失 warmup、梯度裁剪和分层衰减；论文未给出这些项的具体数值。

部署判定

新查询与训练集中 K=4 条正常查询配对。正对表示新查询与正常查询同类，负对表示对抗。对抗票数大于 K/2 则拦截，否则按原路由转发。算法里单对阈值写为 0.5。作者称不修改路由器，也不重训路由器。

实验设置

• 对象：R_CLS（BERT-base）、R_MF、R_SW、R_LLM（微调 Llama-3-8B）。Ms 为 GPT-4o（API），Mw 为 Mixtral-8x7B-Instruct（Ollama 本地）。原训练配对是 GPT-4-1106-preview 与 Mixtral；Table 2 有前者分数，正文未写本次是否调用该模型。
• 数据：剔除过近样本后，MMLU 剩 14,037、GSM8K 剩 1,307、MT-Bench 剩 72。攻击实验从 MMLU、GSM8K 各抽 100 条，MT-Bench 用 72 条。Jailbreak 为 AdvBench Subset 的 50 题加四种越狱方法，共 250 条。
• 阈值与攻击：α 为该基准 win rate 中位数，正常时 50% 进入强模型。GSM8K 阈值为 0.55198、0.26225、0.2287、0.33635（R_CLS、R_MF、R_SW、R_LLM）；其余见 Table 2。三种攻击各重复 10 次。white-box 直接优化限于 R_LLM。
• 指标与评审：MMLU、GSM8K 按标准答案计分；MT-Bench 由 GPT-4o 打 1–10 分。ASR 是原本不进目标模型、加 trigger 后进入的比例。JSR 由 HarmBench 的 Llama-2-13B 判定。论文未报告迭代次数、统计检验和人工一致性。
• 防御测试：每个基准–方法的良性与 rerouting 查询数量相等。Table 7：D_test 7712，MMLU 200，GSM8K 200，MT-Bench 144。PPL 用 GPT-2，阈值 223.59。

主结果

GSM8K 成本抬升（Table 3）。white-box 只在 R_LLM 行有数字。Strong 为 gray-box 的强模型选择率。

| 路由器 | 无攻击 Score | gray-box ASR | box-free ASR | white-box ASR | Strong（gray-box） | | R_CLS | 34.0 | 98.60% | 90.40% | 未报告 | 99.3% | | R_MF | 38.0 | 99.20% | 62.80% | 未报告 | 99.6% | | R_SW | 38.0 | 89.60% | 79.40% | 未报告 | 94.8% | | R_LLM | 33.0 | 85.80% | 41.00% | 69.20% | 92.9% |

• 作者解读：作者称路由器易受成本抬升攻击，R_CLS 与 R_SW 的 gray-box 在各基准接近 90%；R_MF 在 MMLU 低于 70%，在另两个基准仍高。Figure 3 的柱高不在转换文本中。
• 方法差异：作者称 gray-box 多数超过 85%；box-free 在 R_CLS、R_SW 超过 75%，在 R_MF 为 23.4%–62.8%。作者称 MT-Bench 最高，GSM8K 与 MMLU 较低；并称 white-box 在 MMLU、MT-Bench 上与 gray-box 相近，这两处无表内数字。引言称 R_LLM 在 nearly all benchmarks 上 ASR 为 100%，与 Table 3 的 85.80%、41.00%、69.20% 不一致。
• 分数与成本：作者称 ASR 越高，分数越接近 Ms（Table 2：58，Mw 为 14）；ASR 为 100% 时 API 成本翻倍。论文未报告货币成本。同表 R_SW gray-box 的 ASR 为 89.60%，ACG 只有 1.60%。

质量劫持与安全绕过

• 质量劫持：作者称总体弱于成本抬升，没有 ASR 达到 100%，多数低于 60%。Table 4（GSM8K）并非都低于 60%：R_MF gray-box 94.80%、box-free 77.40%，R_CLS gray-box 74.20%，R_SW gray-box 71.40%。R_LLM gray-box 为 10.40%、white-box 8.60%，ACG 为 0.50% 与 1.36%。作者称 MMLU、MT-Bench 上 R_LLM 的 gray-box ASR 接近 0，Mw 选择率从 50% 降到 32.5% 与 42.9%，并归因于 trigger 提高了复杂度。
• 分数：作者称 R_MF 上 gray-box 与 box-free 使 GSM8K 分数降低 60.3% 与 50.8%（Table 4：38.0 到 15.1、18.7）。作者推测难题可能更易被劫持，依据是 GSM8K 的中位阈值对 nearly all routers 最高。
• 安全绕过：Table 5 中 R_MF gray-box ASR 92.40%，JSR 从 42.8% 到 73.4%；box-free ASR 62.56%、JSR 63.7%。作者称其他路由器 ASR 低于 45%。R_LLM gray-box ASR 8.72%、JSR 39.5%，不高于无攻击 JSR 40.4%；white-box ASR 5.52%、JSR 39.0%。Figure 5（三种 rerouting 平均）Direct 为 96.9%、97.6%、99.9%、99.9%（R_CLS、R_LLM、R_MF、R_SW）；DeepInception 在 R_CLS 为 0.0%、R_SW 为 6.0%。作者称短而可读的越狱提示更易受影响。

表征与迁移

• PCA：对象是 R_LLM 最后一层隐藏状态。简单查询 1,129 条（胜率始终低于阈值），复杂查询 1,156 条（始终高于），再前置 trigger。作者称 rerouting 提示形成紧簇，与良性简单查询分开、更靠近良性复杂查询。转换文本只有图例和轴名 PCA Dimension 1/2，看不到点位。
• 迁移：作者称 12 个跨基准、跨路由器设置中过半 ASR 大于 0.6（Figure 7），但并不稳定。Figure 8（GSM8K、gray-box）迁入 R_CLS 的非自身 ASR 为 92.6%、90.2%、86.4%；R_MF 到 R_LLM 为 36.2%，R_SW 到 R_LLM 为 42.2%。作者称在 R_MF、R_SW 上优化的 trigger 除 R_LLM 外迁移较好。
• 形态：Table 6 中 MT-Bench 正常 PPL 为 49.2，gray-box 330.8，white-box 334.0，box-free 51.7。box-free 在 MMLU 的长度为 731.6，正常为 482.3。作者称不可读 trigger 会抬高困惑度，语义型 trigger 不会，施加优化约束即可绕过简单规则。

防御效果

• 检测：Table 8 中 RerouteGuard 除 GSM8K white-box 的 0.99/0.99 外，Accuracy/F1 均为 1.00/1.00。PPL 对 box-free 的 F1 为 0.00；作者称检测准确率为 0%，表中 Accuracy 为 0.43（D_test）或 0.50。PromptGuard 表内 Accuracy 为 0.44–0.50；作者称其检出率超过 87%，但会把正常提示标成恶意。摘要写超过 99%；引言写检测率 100%、四基准平均 FPR 低于 2.5%；结论写准确率 100%、平均 FPR 小于 4%。表未给 FPR 分项。
• 缓解：Table 9（D_test）无防御平均 ASR 为 1.00、0.93、0.98、0.93（R_CLS、R_MF、R_SW、R_LLM）。RerouteGuard 后四种路由器、三种攻击均为 0.00。PPL 对 box-free 仍为 0.93–1.00。Multi-Router 为 0.99–1.00。作者称 trigger 可跨路由器迁移，多数投票挡不住。
• 自适应：Table 10 未写基准。gray-box 自适应后 ASR 为 0.00；white-box 为 0.32、0.26、0.27、0.31。作者认为 white-box 的优化信号更充分，可能利用决策边界的细微弱点。box-free 未做自适应，作者称它不依赖反馈。

其他消融与分析

• 去掉对比学习后，D_test 仍为 1.00/1.00；MMLU 为 0.57/0.70，GSM8K 为 0.50/0.67，MT-Bench 为 0.94/0.95（Table 11）。作者称后两基准上超过 85% 的正常提示被误判为 rerouting。
• 四个路由器胜率都在前 50% 的复杂问题 D_complex 有 11,421 条，区分准确率 0.96。
• 新查询分类耗时 0.009 秒；路由器推理 R_CLS 0.04s、R_LLM 0.21s、R_MF 1.66s、R_SW 8.00s。
• 自适应实验的 gray-box 惩罚系数 α=0.5；white-box 中 ε=1e-8，两项损失权重 α=β=0.5。
• Table 2 模型分数：MMLU 上 Ms/Mw 为 73/60，GSM8K 为 58/14，MT-Bench 为 7.000/6.042。Jailbreak 行 Ms/Mw 为 10.4/76.00，正文未说明该行是否就是 JSR。

作者指出的局限与后续方向

论文未专门讨论局限。Conclusion 与正文没有 Limitations、Future Work，也没有写成“这是不足、留待以后做”的句子。自适应 white-box 的残余 ASR、box-free 不纳入自适应实验，都是结果或实验选择，作者没有把它们写成局限。

实验覆盖范围

• 路由器与模型：四个二元路由器 R_CLS、R_MF、R_SW、R_LLM；应答模型对为 GPT-4o 与 Mixtral-8x7B-Instruct（Section 4.1）。作者称已有研究主要做二元路由，且该设定与已有攻击的威胁模型一致。
• 基准与重复：成本抬升与质量劫持使用抽样后的 MMLU 100 条、GSM8K 100 条、MT-Bench 72 条；安全绕过使用 250 条 Jailbreak 查询。每种攻击重复 10 次（Section 4.1）。
• 防御：Table 7–9 的基准是 D_test、MMLU、GSM8K、MT-Bench，攻击为 white-box、gray-box、box-free。对照为 PPL、Prompt-Guard-86M、Llama-Guard-3-1B 和多路由器投票。自适应只含 gray-box 与 white-box（Table 10）；作者称 box-free 不依赖反馈，故不当作自适应攻击。Table 10 未写基准。
• 判定与骨干：JSR 用 HarmBench 的 Llama-2-13B；MT-Bench 质量用 GPT-4o 打 1–10 分。检测骨干为 XLM-RoBERTa-base，部署时 K=4。
• 论文未报告的信息：HotFlip 的 top-k、优化迭代次数和货币成本；FPR 分项；统计显著性检验；评审与人工一致性。防御表格未给出 Jailbreak 数据集上的检测或 ASR。

这项工作测量 LLM 路由器的 rerouting，并用 RerouteGuard 在路由前拦截可疑查询。

• 问题：路由器用 win rate 和阈值在强、弱模型间分流。对手把通用 trigger 前置到查询，可把简单查询推向更贵的 Ms，把复杂查询推向更弱的 Mw，或把有害查询推向防护更弱的模型。
• 做法：威胁按成本抬升、质量劫持、安全绕过，以及 white-box、gray-box、box-free 整理。测量的是 RouteLLM 的四个二元路由器，模型对为 GPT-4o 与 Mixtral-8x7B-Instruct。RerouteGuard 用孪生网络学习正常对与对抗对的差别，部署时与 4 条正常查询配对并多数投票。
• 攻击结果：GSM8K 成本抬升中，gray-box ASR 在 R_MF 为 99.20%、R_CLS 为 98.60%（Table 3）。同基准质量劫持在 R_MF 上为 94.80%（Table 4）。Jailbreak 上 R_MF gray-box 的 ASR 为 92.40%，JSR 从 42.8% 到 73.4%（Table 5）。R_LLM 的质量劫持往往达不到目标，GSM8K gray-box ASR 为 10.40%。
• 防御结果：Table 8 的检测 Accuracy 多为 1.00，GSM8K white-box 为 0.99。Table 9 中 D_test 上三种攻击的 ASR 降到 0.00。Table 10 未写基准：自适应 gray-box 为 0.00，white-box 在 R_CLS 上为 0.32。
• 作者结论：作者称现有路由器易受 rerouting，尤其是成本抬升；trigger 常带有复杂查询的特征，从而推动决策边界。作者称 RerouteGuard 能检出这些攻击，且对正常查询影响很小。引言中的平均 FPR 低于 2.5%，结论中为小于 4%，表中没有对应分项。