面向混合专家模型的路由感知安全对齐

MoE 的稀疏路由让全参数安全微调可能靠路由或专家主导走捷径，而不直接修好导致不安全行为的专家。

• 场景：Mixture-of-Experts 每个输入只经过一小部分专家。作者认为这带来稠密模型里没有的失效，使安全对齐更难。
• 现有做法：作者在初步实验中观察到，端到端全参数安全微调可以提高 attack harmlessness rates，途径是放大已安全专家，或把路由器偏向保守路由，某些专家仍未纠正。作者将此称为 alignment shortcut。
• 假设：安全目标可以在不修复不安全行为对应参数时被满足。作者将其联系到两点：Safety-Critical Experts（SCE）未被纠正，可被未见过或自适应越狱重新激活；已安全的其余专家更占优，带来过度拒答和通用能力下降。Figure 1 用三格示意这一绕过。
• 威胁模型：
  • 设定：作者称聚焦 strictly harder 的 prompt-only 威胁模型，并给出训练时补救，而不是推理时干预。
  • 对比：该设定相对于直接操纵专家执行的绕过；越狱经由提示词。
  • 自适应评测：摘要写 RASA-aware adaptive attack；引言写利用其机制的 white-box adaptive attack。
  • 系统：被对齐的是 MoE 语言模型，实验为 OLMoE-1B-7B、Qwen3-30B-A3B、Mixtral-8x7B，作者称总参数跨 1B 到 47B。
• 方法：作者提出 RASA：找出被成功越狱不成比例激活的专家，在固定路由下只微调这些专家，再强制路由与安全对齐上下文一致。作者称不增加辅助专家、不改架构、不做推理时干预。

作者在 Related Work 中按机制分组，并在每组后说明与本文的差别。批评均出自本文作者，不是被引工作的自述。

• 稠密模型的安全对齐：Bai 等（2022）、Ouyang 等（2022）的 SFT/RLHF，以及 Rafailov 等（2023）的 DPO，主要在稠密模型上抑制明显不安全输出。作者认为这类方法常依赖表层拒答，对自适应提示词越狱仍脆弱（Zou 等，2023；Chao 等，2024；Qi 等，2025a；Wei 等，2024；Zhou 等，2024），因而需要干预内部机制。
• MoE 上的专家级操控：SteerMoE（Fayyaz 等，2025）在推理时改路由 logits 以抑制不安全专家；作者指出它不更新专家参数，也不修复不安全表示。GateBreaker（Wu 等，2025）报告安全常集中在少数专家或神经元，并可被直接操纵专家执行绕过。Jiang 等（2026）报告只操纵少量 safety-critical routers 就足以把拒答翻成有害输出。作者认为这些工作或停在推理时，或只做诊断，没有处理训练时安全集中的成因。
• 改架构的 MoE 对齐：SafeX（Lai 等，2025）、SafeMoE-LoRAExpert（Anonymous，2026）和 MidPO（Qi 等，2025b）用 LoRA 或偏好优化构造安全相关专家，再靠路由平衡安全与效用。作者认为它们改了原模型组成或路由语义，且没有检查监督是否真的修好负责不安全行为的专家，路由捷径因此未被考察。
• 路由正则与重设计：SafeMoE-Fine-tuning（Kim 等，2026）把路由分布约束在安全锚点附近；EMoE（Cheng 等，2026）重设计路由器以减轻专家主导和冗余。作者认为它们改善了路由，但没有直接做安全对齐，也不能防止路由吸走安全监督而危险专家仍未纠正。Chen 等（2026）与 Liu 等（2025）分析专家激活在输入和层上的结构，作者将其作为专家级分析的背景。
• 基线与基准：引言将对照写为全参数对齐和先前的 MoE 专用方法；通用能力基准写明为 MMLU、GSM8K、TruthfulQA。Related Work 里的具体系统没有被逐一标成实验基线。

作者把本文定位为：指出 MoE 安全对齐的训练时捷径，在固定路由下修复 SCE，之后才施加路由一致性；不引入辅助专家，不改架构，不做推理时干预，并在原 MoE 结构内针对 prompt-only 越狱做防御。

整体上，RASA 把专家纠正和路由控制拆开：先按激活差找出 SCE，在固定路由下只微调它们，再优化路由以贴近安全上下文。作者将其写成双层优化，并用交替的块坐标下降近似。论文指向 Algorithm 1 的伪代码和 Table 6 的记号。

问题设定与双层目标

• 记号：模型 M 有 L 层，第 l 层有 E 个专家和路由函数 G_l。对 token x，路由器选 top-k 专家。H_l,e(x) 为该专家是否激活的 0/1 指示。专家参数为 Θ，路由参数为 Φ。
• 拆开的理由：作者认为稀疏 MoE 中联合优化路由和专家时，安全损失可以只靠路由行为下降，SCE 得不到应有更新。
• 双层形式：作者写成 min_Φ E_B[L_router(Φ;argmin_Θ L_SCE-FT(Θ,Φ))]。内层按对抗激活差微调 SCE，外层在已对齐专家上优化路由。

交替优化

• 不直接求导：作者称对内层优化直接求导不现实，原因是 MoE 的规模与稀疏性，以及不安全专家的识别依赖批次。
• 块坐标下降：专家对齐时冻结路由器，路由优化时冻结专家参数。
• 耦合：作者称两步仍通过共享的激活统计，把专家专门化与路由行为耦合起来。

混合批次与 SCE 识别

• 配对：批次 B = B_anchor ∪ B_adv。同一恶意意图、不同表面形式配成一对，意图集合记为 I。
• 两类提示：B_anchor 是当前模型会拒答或给出安全对齐回复的原始恶意提示；B_adv 是同一意图的越狱变体，且能绕过安全、引出非拒答。
• 去噪：每一训练轮重新评估回复，只保留两侧都符合上述定义的配对；任一侧不符合就丢弃。
• AAD：对专家 (l, e)，Δ_l,e=P(active_l,e∣ B_adv)−P(active_l,e∣ B_anchor)。激活概率是该批次上 H_l,e(x) 的平均。作者称差值高表示该专家相对正确拒答的提示，更不成比例地被成功绕过安全的提示激活，因此视为 safety-critical。作者称该量只依赖成对的安全与对抗上下文，不对攻击语义做假设。
• 入选：每个批次取 E_crit^(b) = {(l, e) | Δ_l,e > τ}。τ 控制入选做专家级对齐的专家数量；公式 (4) 处没有写出 τ 的具体数值。

选择性微调与路由一致性

• SCE-FT：给定当批的 E_crit，固定 Φ，只更新对应的 Θ_crit，其余专家参数冻结。作者称目的是把拒答行为注入这些专家，而不改动良性专家。
• 外层：L_router 在专家对齐之后优化路由。摘要称随后强制路由与 safety-aligned contexts 一致；引言称保持与安全路由模式一致。
• Figure 2：图中文字把流程标为识别 SCE、对齐 SCE、对齐对抗路由分布，并在固定路由的专家微调与路由一致性之间迭代。两项损失分别标为 Expert Alignment Loss 与 Routing Consistency Loss。公式 (1) 只给出双层外壳，没有在该式中展开两项的加项。

实验设置

• 被测模型：OLMoE-1B-7B、Qwen3-30B-A3B、Mixtral-8x7B。作者称三套架构总参数跨 1B 到 47B。三者都是被对齐、被评测的 MoE。
• 对照：引言写为全参数对齐，以及先前的 MoE 专用方法。
• 能力基准：MMLU、GSM8K、TruthfulQA。
• 安全评测类型：多样单轮越狱；摘要中的 RASA-aware adaptive attack；引言中利用其机制的 white-box adaptive attack；held-out 多轮越狱；跨攻击泛化；过度拒答。摘要与引言没有写明后两种攻击是否为同一次实验。
• 指标用语：初步实验用 attack harmlessness rates；摘要用 attack success rate。过度拒答和通用能力被作为对照项。
• 因果检验：引言把第 4.4 节称为因果干预，并称另有必要性与充分性检验，用来检查被识别专家是否驱动安全修复。

主结果

摘要和引言给出的是对三套架构的总述，这两处没有列出可回查的百分比。下表只转录作者原词，不把总述拆成每个模型各一行。

| 评测用语 | 作者称 | 出处 | | 三套架构上的多样单轮越狱 | near-perfect single-turn robustness；near-perfect defense | 摘要；引言 | | RASA-aware adaptive attack | low attack success rate | 摘要 | | white-box adaptive attack | maintains resilience | 引言 | | held-out 多轮越狱 | extends effectively | 摘要；引言 | | 相对全参数对齐与先前 MoE 专用方法 | substantially improves cross-attack generalization；significantly reduces over-refusal | 引言 | | MMLU、GSM8K、TruthfulQA | preserving general performance | 引言 |

• 机制解读：作者认为表面安全若来自路由捷径，SCE 仍可被未见过或自适应越狱重新激活；RASA 要让监督到达负责不安全行为的参数。
• 两种失效：作者把全参数对齐的经验表现联系到 SCE 未被纠正，以及已安全的其余专家更占优，从而过度拒答、通用能力下降。
• 因果表述：作者称必要性与充分性检验确认被识别专家驱动了安全修复。这句出自引言，不是一张已列出数字的表。

路由恢复干预

• 测了什么：引言称第 4.4 节用因果干预检查安全收益是否依赖被改变的路由：把原始路由恢复后再看安全收益。
• 作者称的结果：全参数微调的安全收益在恢复原始路由后 collapse；RASA 维持 routing-robust safety。
• 作者解读：作者据此认为全参数对齐的收益可以不来自专家级修复。

泛化、多轮与过度拒答

• 测了什么：跨攻击泛化、held-out 多轮越狱、过度拒答，以及 MMLU、GSM8K、TruthfulQA。对照为全参数对齐和先前 MoE 专用方法。
• 作者称的结果：跨攻击泛化有提升，过度拒答相对对照下降，多轮越狱上能延伸，通用表现被保留。摘要同时称 RASA-aware adaptive attack 下攻击成功率低；引言称 white-box adaptive attack 下仍有韧性。
• 作者解读：作者认为稳健的 MoE 安全对齐更受益于针对性专家修复，而不是全局参数更新，并称这是保持原架构的替代。

其他消融与分析

• 摘要、引言和方法前半没有列出消融变量及其数字；Figure 1 是捷径示意图，不是定量结果。

作者指出的局限与后续方向

• 引言、Related Work 与 Section 3 开头没有把某项设计写成局限、不足或 future work。不根据这些章节以外的文字补写作者未写出的局限。

实验覆盖范围

• 被对齐并在摘要、引言中总述结果的模型为 OLMoE-1B-7B、Qwen3-30B-A3B、Mixtral-8x7B，作者称总参数跨 1B 到 47B。
• 安全侧评测在摘要和引言中写为多样单轮越狱、RASA-aware adaptive attack、利用机制的 white-box adaptive attack、held-out 多轮越狱、跨攻击泛化与过度拒答。
• 通用能力写明在 MMLU、GSM8K、TruthfulQA 上检查。
• 引言将第 4.4 节称为因果干预：恢复原始路由后比较全参数微调与 RASA；并称做了必要性与充分性检验。
• 对照写为全参数对齐和先前 MoE 专用方法。Related Work 讨论了 SteerMoE、GateBreaker、Jiang 等（2026）、SafeX、SafeMoE-LoRAExpert、MidPO、SafeMoE-Fine-tuning 与 EMoE，已读文字没有把它们逐一标成实验基线。

RASA 是面向 MoE 的路由感知、专家级安全对齐框架，用来处理全参数微调可能走的对齐捷径。

• 问题：稀疏路由下，全参数安全微调可以提高攻击无害率，途径是放大已安全专家或把路由器推向保守模式，负责不安全行为的专家仍未修好。作者称安全损失因此可以靠路由或专家主导下降。
• 做法：用成功越狱与安全锚点提示的激活差动态选出 SCE，固定路由只更新这些专家以注入拒答，再优化路由去贴近安全路由模式。不新增专家，不改原 MoE 结构，不做推理时干预。
• 范围：OLMoE-1B-7B、Qwen3-30B-A3B、Mixtral-8x7B，作者称总参数跨 1B 到 47B。评测包括单轮越狱、RASA-aware 与 white-box 自适应攻击、held-out 多轮、跨攻击泛化、过度拒答，以及 MMLU、GSM8K、TruthfulQA。
• 作者称的结果：三套架构上单轮防御 near-perfect；RASA-aware adaptive attack 下攻击成功率低，针对机制的 white-box adaptive attack 下仍有韧性；多轮越狱上能延伸；相对全参数对齐和先前 MoE 专用方法，跨攻击泛化提升，过度拒答下降，通用表现保留。
• 因果说法：作者称恢复原始路由后，全参数微调的安全收益 collapse，RASA 仍保持 routing-robust safety；必要性与充分性检验支持被识别专家驱动修复。
• 作者结论：作者认为 MoE 的稳健安全对齐更应来自针对性专家修复，而不是全局参数更新。