Skip to content

Translation in progress Some entries still include text in the original language.

Original
arXiv· arXiv:2601.21380· Wenhui Zhang, Huiyu Xu, Zhibo Wang, Zhichao Li, Zeqing He, Xuelin Wei, Kui Ren·Indexed by this site · Originally published

RerouteGuard: Understanding and Mitigating Adversarial Risks in LLM Routing

RerouteGuard: Understanding and Mitigating Adversarial Risks for LLM Routing

Quick read

Defenses

Based on 论文 PDF （AI 生成）; refer to the original

作者称四类路由器易被 rerouting；RerouteGuard 在 D_test 将三种攻击 ASR 降到 0.00。

Threat model攻击者把长度为 L 的通用 trigger 前置到查询，迫使路由器选中 M_target：成本抬升选 Ms，质量劫持与安全绕过选 Mw。

Questions
多模型系统用 LLM router 按查询选模型以平衡质量与成本，但分类器式路由器可被前置 trigger 改写路由，造成成本抬升、质量下降或绕过更强模型的安全护栏。作者认为该风险尚未被系统研究。
Methods
作者把威胁分为成本抬升、质量劫持和安全绕过，并按 white-box、gray-box、box-free 测量已有攻击。RerouteGuard 用孪生网络做对比学习，把新查询与少量正常查询配对，经多数投票决定是否拦截。
Experiments and results
成本抬升时 GSM8K 上 R_MF 的 gray-box ASR 为 99.20%。质量劫持与安全绕过整体较低，R_MF 除外。RerouteGuard 在 D_test 将 ASR 降到 0.00；自适应 white-box 下 R_CLS 仍为 0.32。
Limitations and future work
论文未写局限或后续方向。覆盖四个二元路由器、三种攻击设定，模型对是 GPT-4o 与 Mixtral-8x7B-Instruct。防御结果在 D_test 与三个基准；未报告 Jailbreak 上的防御结果和 FPR 分项。
Experimental setupBERT-base、Llama-3-8B et al. · MMLU、GSM8K et al. · ASR、JSR et al.
Threat model
攻击者把长度为 L 的通用 trigger 前置到查询，迫使路由器选中 M_target：成本抬升选 Ms，质量劫持与安全绕过选 Mw。知识分 white-box（梯度/权重）、gray-box（win rate）、box-free（无路由器信息）。前两场景对手多为中间人，安全绕过中为恶意用户。
Evaluated models
BERT-baseLlama-3-8BGPT-4oMixtral-8x7B-InstructXLM-RoBERTa-base
Benchmarks
MMLUGSM8KMT-BenchJailbreak (AdvBench Subset)Chatbot ArenaGPT-4 judge dataset
Metrics
ASRJSRACGBenchmark ScoreTarget Model Selection Ratedetection accuracyF1-score
AI summaryThe paper proposes the RerouteGuard guardrail framework for detecting rerouting adversarial attacks against LLM routers, achieving detection accuracy exceeding 99% across three attack settings and four benchmarks. Such attacks prepend specially crafted triggers to user queries to manipulate routing decisions, which can cause increased computational cost, degraded answer quality, and even bypassing of safety guardrails. The authors classify rerouting threats into three categories by attack objective: cost escalation, quality hijacking, and safety bypass, and conduct measurements on real LLM routing systems, finding that existing systems are especially vulnerable in the cost escalation scenario. Interpretability analysis shows that the attacks exploit router decision boundaries through prepended confounder gadgets. RerouteGuard filters adversarial prompts through embedding-based dynamic detection with adaptive thresholds, with minimal impact on normal queries.

The paper proposes the RerouteGuard guardrail framework for detecting rerouting adversarial attacks against LLM routers, achieving detection accuracy exceeding 99% across three attack settings and four benchmarks. Such attacks prepend specially crafted triggers to user queries to manipulate routing decisions, which can cause increased computational cost, degraded answer quality, and even bypassing of safety guardrails. The authors classify rerouting threats into three categories by attack objective: cost escalation, quality hijacking, and safety bypass, and conduct measurements on real LLM routing systems, finding that existing systems are especially vulnerable in the cost escalation scenario. Interpretability analysis shows that the attacks exploit router decision boundaries through prepended confounder gadgets. RerouteGuard filters adversarial prompts through embedding-based dynamic detection with adaptive thresholds, with minimal impact on normal queries.

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    LLM 路由器可被前置通用 trigger 操纵选模，带来成本、质量与安全三类风险。

    LLM 路由器可被查询前的通用 trigger 改写选模，从而抬高成本、压低回答质量，或把有害查询转到防护更弱的模型。

    • 场景：作者称多模型系统用 router 按查询特征（如复杂度）选模型，以平衡质量与成本。文中称 NotDiamond 使 AI 开发快 10 倍并被公司使用，GPT-5 的实时 router 估计每年可为 OpenAI 节省约 1.86 billion 美元。
    • 现有不足：作者称已有攻击和案例露出 rerouting，但其安全含义尚未展开。作者列出四项困难：真实查询不可预测，trigger 须通用且不改变原语义；多模型使误路由更难缓解；攻击改的是路由决策而非模型输出，用户不易发现；防御必须轻量。
    • 核心划分：成本抬升把简单查询转到更贵的强模型 Ms；质量劫持把复杂查询转到更弱的 Mw；安全绕过把有害查询转到未过滤或更弱、不能拒绝不安全内容的模型。
    • 本文做法：按对手目标与知识整理威胁，测量已有攻击，用可解释性看 trigger，再提出即插即用检测器 RerouteGuard。
    • 威胁模型：
      • 目标：最大化 M_target 对“trigger 拼接查询”的被选概率。成本抬升的目标是 Ms；质量劫持与安全绕过是 Mw。
      • 知识：white-box 可用权重、梯度与机制；gray-box 只能看到 win rate；box-free 没有路由器信息。一个 Ms、一个 Mw 的二元配置假定对手已知。
      • 能力：从词表取长度为 L 的 trigger 并前置。成本与质量场景中，对手通常是拦截良性查询的中间人；安全绕过中是恶意用户。对用户交互可以全知、部分知或无知。
      • 受害系统：位于一组 LLM 之前的路由器。测量对象是 RouteLLM 的四个二元路由器。路由是否改到目标模型用 ASR 判定；安全绕过另用 JSR。

  2. What related research exists?

    作者称这是首个系统研究 LLM routing 安全风险的工作，并测量两类已有攻击。

    论文没有单独的 Related Work。引言与 Preliminaries 按路由方法、已有 rerouting 攻击，以及测量用的越狱和检测基线来组织引用。

    LLM 路由

    • RouteLLM（Ong 等, 2024）：定义强模型 win rate 与用户阈值，并提供本文测量的四类路由器。
    • 三类机制：相似度路由（如 SW Ranking，按历史查询相似度加权）；分类路由（如 BERT 或矩阵分解，预测哪个模型更可能胜出）；打分路由（如 Causal LLM，用学到的分数选模型）。
    • 二元设定：作者称 AutoMix（2024）、Hybrid LLM（2024）、RouteLLM（2024）等已有工作主要做二元路由，即一个更便宜的 Mw 和一个更贵的 Ms。论文只作这一描述，没有逐篇批评。

    Rerouting 攻击

    • Shafran 等（2025）：在 gray-box 下用路由器算出的 win rate 迭代优化 trigger，以抬高目标模型被选概率。
    • Lin 等（2025）：white-box 用路由器梯度优化 trigger；box-free 用代理路由器筛选高胜率查询，再由总结模型抽取特征构造 trigger。作者称 rerouting 研究有限，仅这两项工作覆盖三种攻击方法。

    越狱材料与公开案例

    • 有害查询：安全绕过使用 AdvBench Subset 的 50 条问题，并施加 AutoDAN、DeepInception、GCG、PAIR。是否有害由 HarmBench 的 Llama-2-13B 分类器判定。
    • 公开报道：作者用 GPT-5 router 被劫持的新闻作为安全绕过实例，该系统不是作者自己运行的实验对象。

    基线方法与基准

    • 攻击测量：基准为 MMLU、GSM8K、MT-Bench 与 Jailbreak；路由器为 R_CLS、R_MF、R_SW、R_LLM。攻击基线即上述 gray-box、white-box、box-free。
    • 防御基线：作者称当时没有针对 rerouting 的专用护栏，因此对照 PPL（GPT-2）、Prompt-Guard-86M、Llama-Guard-3-1B，以及四个路由器的多数投票。

    作者称，就他们所知，这是首个系统研究 LLM routing 安全风险的工作：按目标与知识刻画威胁，测量已有攻击，再用对比学习检测器过滤可疑查询。

  3. How does the paper address this problem?

    RerouteGuard 用对比学习区分正常查询与带 trigger 的 rerouting 查询，再多数投票拦截。

    作者先按目标与知识整理 rerouting 并测量已有攻击；缓解方法是即插即用的 RerouteGuard，在查询进入路由器前过滤可疑提示。

    问题设定与形式化

    二元路由器把查询映到候选模型。RouteLLM 估计强模型胜率，再用阈值决策：

    Rα(q)=Ms if Pθ(Ms|q)≥α, else Mw

    α 取该数据集 win rate 分布的中位数，因此正常时约一半查询进入强模型。攻击者把长度为 L 的 trigger 前置到查询，使目标模型的被选概率最大。成本抬升的目标是 Ms，质量劫持与安全绕过是 Mw。

    三种攻击设定

    • White-box：可用权重、梯度与机制。按 Table 1，用梯度对 trigger 做 HotFlip，并从 top-k 候选中更新。因需要梯度，直接优化限于如 R_LLM 的路由器；优化后的 trigger 可迁到其他路由器。训练集为 Chatbot Arena 加 30% 的 GPT-4 judge 数据集。论文未给出 top-k 与迭代次数。
    • Gray-box：只能看到 win rate。在当前 trigger 及其变换组成的邻域中，选择使目标模型概率最大的候选。
    • Box-free：没有路由器内部信息。以四个被测路由器为代理路由器，选出在所有路由器上强模型胜率都高的查询，再用总结模型 GPT-4o 抽取特征并构造 trigger。
    • 使用方式：每种方法按官方设置重复 10 次，即每方法 10 个 trigger。trigger 前置到用户查询；文中以中间人注入作为例子。

    四个路由器的胜率

    • R_CLS：微调 BERT-base，输出“强模型胜 / 平局 / 弱模型胜”，胜率取第一类概率。
    • R_MF：双线性分数，胜率为两模型分数差的 sigmoid。
    • R_SW：无训练。用嵌入余弦相似度检索相似训练查询，再用 Bradley–Terry 模型聚合人类偏好。
    • R_LLM：微调 Llama-3-8B，预测 Mw 的 1–5 分；默认 τ=4，胜率为 1 减去不低于 τ 的分数概率之和。

    RerouteGuard 的数据与训练

    • 正常查询：用文献 [14] 的 38,547 条开放式问题（Chatbot Arena 与 GPT-4 judge 数据集）。四个路由器都把 win rate 排在后 50% 的查询留下，得 11,557 条简单问题，按 8:1:1 划分。作者称成本抬升针对简单查询，所以用简单查询训练。
    • 对抗查询：每种方法 50 个 trigger，按 6:2:2 划分。每条正常查询随机配一个同划分 trigger 并前置。划分之间不混用 trigger，以避免泄漏。
    • 样本对：正对是同类（正常–正常或对抗–对抗）；负对是正常与对抗的组合，含跨索引对和自索引对。负样本交叉比例 0.5。每条正常样本配 1 个正对和 1 个负对。
    • 网络与损失：共享参数的双编码器。预训练 Transformer 经 CLS pooling 和投影头得到归一化嵌入；分类器使用两嵌入、绝对差与逐元素积。损失为

    L=λbce LBCE+λcontr LSupCon

    实验骨干为 XLM-RoBERTa-base（125MB）。λ_bce=0.65，λ_contr=0.35，难负样本权重 1.2，batch size 64，AdamW 学习率 3e-5，最大长度 256，pooling 为 cls。另有判别学习率、对比损失 warmup、梯度裁剪和分层衰减；论文未给出这些项的具体数值。

    部署判定

    新查询与训练集中 K=4 条正常查询配对。正对表示新查询与正常查询同类，负对表示对抗。对抗票数大于 K/2 则拦截，否则按原路由转发。算法里单对阈值写为 0.5。作者称不修改路由器，也不重训路由器。

  4. What experiments did the paper conduct?

    GSM8K gray-box 成本抬升 ASR 为 99.20%；RerouteGuard 在 D_test 将 ASR 降到 0.00。

    实验设置

    • 对象：R_CLS（BERT-base）、R_MF、R_SW、R_LLM（微调 Llama-3-8B）。Ms 为 GPT-4o（API），Mw 为 Mixtral-8x7B-Instruct（Ollama 本地）。原训练配对是 GPT-4-1106-preview 与 Mixtral；Table 2 有前者分数，正文未写本次是否调用该模型。
    • 数据：剔除过近样本后，MMLU 剩 14,037、GSM8K 剩 1,307、MT-Bench 剩 72。攻击实验从 MMLU、GSM8K 各抽 100 条，MT-Bench 用 72 条。Jailbreak 为 AdvBench Subset 的 50 题加四种越狱方法，共 250 条。
    • 阈值与攻击：α 为该基准 win rate 中位数，正常时 50% 进入强模型。GSM8K 阈值为 0.55198、0.26225、0.2287、0.33635（R_CLS、R_MF、R_SW、R_LLM）；其余见 Table 2。三种攻击各重复 10 次。white-box 直接优化限于 R_LLM。
    • 指标与评审：MMLU、GSM8K 按标准答案计分；MT-Bench 由 GPT-4o 打 1–10 分。ASR 是原本不进目标模型、加 trigger 后进入的比例。JSR 由 HarmBench 的 Llama-2-13B 判定。论文未报告迭代次数、统计检验和人工一致性。
    • 防御测试：每个基准–方法的良性与 rerouting 查询数量相等。Table 7：D_test 7712，MMLU 200，GSM8K 200，MT-Bench 144。PPL 用 GPT-2，阈值 223.59。

    主结果

    GSM8K 成本抬升（Table 3）。white-box 只在 R_LLM 行有数字。Strong 为 gray-box 的强模型选择率。

    | 路由器 | 无攻击 Score | gray-box ASR | box-free ASR | white-box ASR | Strong（gray-box） | | R_CLS | 34.0 | 98.60% | 90.40% | 未报告 | 99.3% | | R_MF | 38.0 | 99.20% | 62.80% | 未报告 | 99.6% | | R_SW | 38.0 | 89.60% | 79.40% | 未报告 | 94.8% | | R_LLM | 33.0 | 85.80% | 41.00% | 69.20% | 92.9% |

    • 作者解读：作者称路由器易受成本抬升攻击，R_CLS 与 R_SW 的 gray-box 在各基准接近 90%；R_MF 在 MMLU 低于 70%，在另两个基准仍高。Figure 3 的柱高不在转换文本中。
    • 方法差异：作者称 gray-box 多数超过 85%；box-free 在 R_CLS、R_SW 超过 75%，在 R_MF 为 23.4%–62.8%。作者称 MT-Bench 最高，GSM8K 与 MMLU 较低；并称 white-box 在 MMLU、MT-Bench 上与 gray-box 相近，这两处无表内数字。引言称 R_LLM 在 nearly all benchmarks 上 ASR 为 100%，与 Table 3 的 85.80%、41.00%、69.20% 不一致。
    • 分数与成本：作者称 ASR 越高，分数越接近 Ms（Table 2：58，Mw 为 14）；ASR 为 100% 时 API 成本翻倍。论文未报告货币成本。同表 R_SW gray-box 的 ASR 为 89.60%，ACG 只有 1.60%。

    质量劫持与安全绕过

    • 质量劫持：作者称总体弱于成本抬升，没有 ASR 达到 100%，多数低于 60%。Table 4（GSM8K）并非都低于 60%：R_MF gray-box 94.80%、box-free 77.40%，R_CLS gray-box 74.20%，R_SW gray-box 71.40%。R_LLM gray-box 为 10.40%、white-box 8.60%，ACG 为 0.50% 与 1.36%。作者称 MMLU、MT-Bench 上 R_LLM 的 gray-box ASR 接近 0，Mw 选择率从 50% 降到 32.5% 与 42.9%，并归因于 trigger 提高了复杂度。
    • 分数：作者称 R_MF 上 gray-box 与 box-free 使 GSM8K 分数降低 60.3% 与 50.8%（Table 4：38.0 到 15.1、18.7）。作者推测难题可能更易被劫持，依据是 GSM8K 的中位阈值对 nearly all routers 最高。
    • 安全绕过：Table 5 中 R_MF gray-box ASR 92.40%，JSR 从 42.8% 到 73.4%；box-free ASR 62.56%、JSR 63.7%。作者称其他路由器 ASR 低于 45%。R_LLM gray-box ASR 8.72%、JSR 39.5%，不高于无攻击 JSR 40.4%；white-box ASR 5.52%、JSR 39.0%。Figure 5（三种 rerouting 平均）Direct 为 96.9%、97.6%、99.9%、99.9%（R_CLS、R_LLM、R_MF、R_SW）；DeepInception 在 R_CLS 为 0.0%、R_SW 为 6.0%。作者称短而可读的越狱提示更易受影响。

    表征与迁移

    • PCA：对象是 R_LLM 最后一层隐藏状态。简单查询 1,129 条（胜率始终低于阈值），复杂查询 1,156 条（始终高于），再前置 trigger。作者称 rerouting 提示形成紧簇，与良性简单查询分开、更靠近良性复杂查询。转换文本只有图例和轴名 PCA Dimension 1/2，看不到点位。
    • 迁移：作者称 12 个跨基准、跨路由器设置中过半 ASR 大于 0.6（Figure 7），但并不稳定。Figure 8（GSM8K、gray-box）迁入 R_CLS 的非自身 ASR 为 92.6%、90.2%、86.4%；R_MF 到 R_LLM 为 36.2%，R_SW 到 R_LLM 为 42.2%。作者称在 R_MF、R_SW 上优化的 trigger 除 R_LLM 外迁移较好。
    • 形态：Table 6 中 MT-Bench 正常 PPL 为 49.2，gray-box 330.8，white-box 334.0，box-free 51.7。box-free 在 MMLU 的长度为 731.6，正常为 482.3。作者称不可读 trigger 会抬高困惑度，语义型 trigger 不会，施加优化约束即可绕过简单规则。

    防御效果

    • 检测：Table 8 中 RerouteGuard 除 GSM8K white-box 的 0.99/0.99 外，Accuracy/F1 均为 1.00/1.00。PPL 对 box-free 的 F1 为 0.00；作者称检测准确率为 0%，表中 Accuracy 为 0.43（D_test）或 0.50。PromptGuard 表内 Accuracy 为 0.44–0.50；作者称其检出率超过 87%，但会把正常提示标成恶意。摘要写超过 99%；引言写检测率 100%、四基准平均 FPR 低于 2.5%；结论写准确率 100%、平均 FPR 小于 4%。表未给 FPR 分项。
    • 缓解：Table 9（D_test）无防御平均 ASR 为 1.00、0.93、0.98、0.93（R_CLS、R_MF、R_SW、R_LLM）。RerouteGuard 后四种路由器、三种攻击均为 0.00。PPL 对 box-free 仍为 0.93–1.00。Multi-Router 为 0.99–1.00。作者称 trigger 可跨路由器迁移，多数投票挡不住。
    • 自适应：Table 10 未写基准。gray-box 自适应后 ASR 为 0.00；white-box 为 0.32、0.26、0.27、0.31。作者认为 white-box 的优化信号更充分，可能利用决策边界的细微弱点。box-free 未做自适应，作者称它不依赖反馈。

    其他消融与分析

    • 去掉对比学习后，D_test 仍为 1.00/1.00；MMLU 为 0.57/0.70，GSM8K 为 0.50/0.67，MT-Bench 为 0.94/0.95（Table 11）。作者称后两基准上超过 85% 的正常提示被误判为 rerouting。
    • 四个路由器胜率都在前 50% 的复杂问题 D_complex 有 11,421 条，区分准确率 0.96。
    • 新查询分类耗时 0.009 秒；路由器推理 R_CLS 0.04s、R_LLM 0.21s、R_MF 1.66s、R_SW 8.00s。
    • 自适应实验的 gray-box 惩罚系数 α=0.5；white-box 中 ε=1e-8，两项损失权重 α=β=0.5。
    • Table 2 模型分数：MMLU 上 Ms/Mw 为 73/60，GSM8K 为 58/14，MT-Bench 为 7.000/6.042。Jailbreak 行 Ms/Mw 为 10.4/76.00，正文未说明该行是否就是 JSR。

  5. What are some points that can be further explored?

    论文未专门写出局限或后续工作。

    作者指出的局限与后续方向

    论文未专门讨论局限。Conclusion 与正文没有 Limitations、Future Work，也没有写成“这是不足、留待以后做”的句子。自适应 white-box 的残余 ASR、box-free 不纳入自适应实验，都是结果或实验选择，作者没有把它们写成局限。

    实验覆盖范围

    • 路由器与模型：四个二元路由器 R_CLS、R_MF、R_SW、R_LLM；应答模型对为 GPT-4o 与 Mixtral-8x7B-Instruct（Section 4.1）。作者称已有研究主要做二元路由，且该设定与已有攻击的威胁模型一致。
    • 基准与重复：成本抬升与质量劫持使用抽样后的 MMLU 100 条、GSM8K 100 条、MT-Bench 72 条；安全绕过使用 250 条 Jailbreak 查询。每种攻击重复 10 次（Section 4.1）。
    • 防御：Table 7–9 的基准是 D_test、MMLU、GSM8K、MT-Bench，攻击为 white-box、gray-box、box-free。对照为 PPL、Prompt-Guard-86M、Llama-Guard-3-1B 和多路由器投票。自适应只含 gray-box 与 white-box（Table 10）；作者称 box-free 不依赖反馈，故不当作自适应攻击。Table 10 未写基准。
    • 判定与骨干：JSR 用 HarmBench 的 Llama-2-13B；MT-Bench 质量用 GPT-4o 打 1–10 分。检测骨干为 XLM-RoBERTa-base，部署时 K=4。
    • 论文未报告的信息：HotFlip 的 top-k、优化迭代次数和货币成本；FPR 分项；统计显著性检验；评审与人工一致性。防御表格未给出 Jailbreak 数据集上的检测或 ASR。

  6. Summarize the main content of the paper

    作者测量三类 rerouting 威胁，并用 RerouteGuard 在进入路由器前过滤可疑查询。

    这项工作测量 LLM 路由器的 rerouting，并用 RerouteGuard 在路由前拦截可疑查询。

    • 问题：路由器用 win rate 和阈值在强、弱模型间分流。对手把通用 trigger 前置到查询，可把简单查询推向更贵的 Ms，把复杂查询推向更弱的 Mw，或把有害查询推向防护更弱的模型。
    • 做法：威胁按成本抬升、质量劫持、安全绕过，以及 white-box、gray-box、box-free 整理。测量的是 RouteLLM 的四个二元路由器，模型对为 GPT-4o 与 Mixtral-8x7B-Instruct。RerouteGuard 用孪生网络学习正常对与对抗对的差别，部署时与 4 条正常查询配对并多数投票。
    • 攻击结果：GSM8K 成本抬升中，gray-box ASR 在 R_MF 为 99.20%、R_CLS 为 98.60%（Table 3）。同基准质量劫持在 R_MF 上为 94.80%（Table 4）。Jailbreak 上 R_MF gray-box 的 ASR 为 92.40%，JSR 从 42.8% 到 73.4%（Table 5）。R_LLM 的质量劫持往往达不到目标，GSM8K gray-box ASR 为 10.40%。
    • 防御结果：Table 8 的检测 Accuracy 多为 1.00，GSM8K white-box 为 0.99。Table 9 中 D_test 上三种攻击的 ASR 降到 0.00。Table 10 未写基准：自适应 gray-box 为 0.00，white-box 在 R_CLS 上为 0.32。
    • 作者结论：作者称现有路由器易受 rerouting，尤其是成本抬升；trigger 常带有复杂查询的特征，从而推动决策边界。作者称 RerouteGuard 能检出这些攻击，且对正常查询影响很小。引言中的平均 FPR 低于 2.5%，结论中为小于 4%，表中没有对应分项。
Read originalarxiv.org