SEAL：通过共享专家对齐强化 MoE 全局安全

混合MoE的安全行为取决于哪些专家被激活，攻击者可通过越狱提示、恶意微调或剪枝安全关键神经元绕过路由级防御。

• 场景：作者称MoE已用于GPT-OSS、Llama 4、Qwen3.5、Nemotron-3、Mixtral等模型；混合MoE再加入每token都执行的共享专家。稀疏路由使安全随专家选择变化。
• 现有不足：作者称路由级防御（KL正则或推理时logit转向）依赖路由可靠；路由专家干预只能提高仍被送到这些专家的token的安全性。攻击者仍可操纵或忽略路由。
• 核心观察：作者称共享专家含少量安全关键神经元，且无条件执行，可作与路由无关的全局安全锚点。Figure 3给出共享相对路由的每模块密度比：Qwen1.5为0.63，DeepSeek为0.88，GLM为0.89，Qwen3.5为0.86。
• 提出方法：训练时的参数高效防御SEAL，在共享专家上挂DPO-LoRA适配器；SEAL++另加正交约束，训练时保留已有安全子空间。作者称二者可与路由级防御组合。
• 威胁模型：
  • Ainput：黑盒查询，可提交任意输入并观察输出，对架构、权重和内部路由了解有限；用模板越狱和多轮操纵诱导有害输出。成功指对有害指令给出顺从回答。
  • Atrain：可访问权重和训练框架，用有害指令–回答对做监督微调。
  • Aweight：可读改参数θ，但不能做基于梯度的训练；用激活差分找出安全关键神经元并在推理时屏蔽。作者称这是主要评测轴。
  • 防御方：训练时白盒、安全偏好数据和轻量模块；不改路由器、路由专家或服务基础设施。

• 混合MoE与共享专家：Shazeer等的经典MoE只激活top-k专家。Dai等[9]引入共享专家，聚合每个token都需要的公共知识。作者列举DeepSeek V2/V3/R1/V4、Qwen系列MoE、GLM-4.5/4.6/4.7-Flash、Kimi-K2、Hunyuan、Llama 4、Gemma 4等部署了该设计。
• 三类攻击：路由分布攻击用对抗输入绕过安全关键专家[31, 59]；权重攻击剪枝安全关键专家或神经元[60, 61]；恶意微调破坏对齐[47]。Figure 1把三者画成同一结构弱点：安全取决于被选中的专家。
• 既有MoE防御：路由级方法用KL正则路由或推理时logit转向[15, 28]，依赖路由可靠。路由专家干预[34]微调安全关键路由专家，但只覆盖路由器仍送达的token。作者称两类方法都以路由器为被保护中心。
• 基线与数据：评测基线为各模型厂商发布的chat/instruct版本（Original），以及SEAL、SEAL++。攻击数据来自AdvBench、HarmBench、WildJailbreak、Do-Not-Answer、JailbreakBench和BeaverTails；对齐用PKU-SafeRLHF；能力用GSM8K、MMLU、ARC-Challenge、TruthfulQA、PopQA。Figure 4还把SteerMoE[15]、SafeMoE[28]、RASA[34]画成对照防御面。

作者称此前没有工作把共享专家当作专用安全组件，本文是作者所说的填补该空白的工作，并把防御放在路由器够不到的参数区域，从而可与路由级方法组合。

整体思路是把安全信号写进始终激活的共享专家，而不是加固路由器。

问题设定

• 混合层输出为共享专家之和加上路由专家的top-k加权和（式1）。共享项对每个输入都执行。
• 设计要求：训练时非特权访问、能力漂移目标不超过5%、在三种攻击下仍有效、不改路由器与路由专家。
• 安全神经元识别沿用剪枝攻击的激活差分：有害集与良性集上的每神经元差分，以z-score阈值ζ=2.0选出Nsafe，并做成对角掩码CSE。剖析约用300条有害与300条良性提示，每个架构一次，之后冻结。正文另写剖析用720+720条。

SEAL

• LoRA只加在全部MoE层、全部共享专家的gate_proj、up_proj、down_proj。秩r=64，缩放α=128。有效权重为W′=W+BA。
• 其余参数冻结。关闭适配器即恢复参考策略πref，无需第二份模型。
• 用DPO在偏好三元组上训练。温度β默认0.1。作者选择DPO是因为它不需要奖励模型、可在静态偏好数据上训练，并与LoRA兼容。SEAL本身不加正交约束。
• Table 1：可训练参数Qwen1.5-MoE-A2.7B为35.4M（0.25%），DeepSeekMoE-16B为35.8M（0.22%），GLM-4.7-Flash为31.7M（0.11%），Qwen3.5-35B-A3B为19.7M（0.06%）。

SEAL++

• 将LoRA更新分成投到安全神经元坐标的部分和正交部分。Lorth惩罚前者的Frobenius范数（式7）。
• 总损失为LDPO加λorth乘Lorth，默认λorth=0.1。作者称这是为避免DPO覆盖使安全神经元可被识别、并对剪枝更稳的已有方向。
• 安全神经元约占中间维1%–3%。推理时把LoRA折进基座，作者称额外推理FLOPs为0。已训练适配器约75–135MB。

成功判定

• 每条回答由GPT-5-nano独立标两次：REFUSAL、COMPLIANCE或UNCLEAR。ASR为标成COMPLIANCE的比例，拒答和UNCLEAR都不算成功。每个攻击范围报告四种条件中的最差ASR。

实验设置

• 模型：Qwen1.5-MoE-A2.7B、DeepSeekMoE-16B、GLM-4.7-Flash、Qwen3.5-35B-A3B，默认chat或instruct。
• 方法：Original（厂商chat、无适配器）、SEAL、SEAL++。
• 攻击：有害提示、越狱（WildJailbreak、Do-Not-Answer、JailbreakBench，共720条）、恶意微调（BeaverTails中300条，3个epoch，学习率5×10−5）；再与剪枝组合。剪枝范围∈{shared, routed, both}，识别∈{zscore2.0, global10%}，层覆盖∈{50%, 100%}，共13种设置。
• 指标：ASR（式10）；Capability为GSM8K、MMLU、ARC-Challenge、TruthfulQA、PopQA五基准无加权平均。MMLU为每科30题、57科共1710；GSM8K为1319；PopQA为2000条子集。
• 评审：GPT-5-nano两次，一致率98.1%。训练用PKU-SafeRLHF过滤后41251对。剖析用AdvBench与HarmBench共720条有害提示，良性为Alpaca-Cleaned与MT-Bench共720条。
• 分离：剖析、训练、评测数据组成不同。论文未在所给正文中写重复次数。

主结果

Table 2为不叠加剪枝的直接攻击ASR（%），越低越好。Capability为五基准平均。

Swipe horizontally to read the table

模型	方法	Harmful	Jailbreak	MFT	Capability
Qwen1.5	Original	27.5	66.4	86.9	49.9
Qwen1.5	SEAL	15.6	57.5	74.3	49.5
Qwen1.5	SEAL++	13.1	56.5	72.5	48.9
DeepSeek	Original	61.3	70.1	94.1	43.9
DeepSeek	SEAL	8.5	46.8	86.5	43.4
DeepSeek	SEAL++	9.9	46.7	87.5	43.1
GLM	Original	20.7	53.6	77.8	61.5
GLM	SEAL	2.4	33.8	48.9	60.8
GLM	SEAL++	1.8	33.2	58.5	60.1

Qwen3.5在Table 2中Original/SEAL/SEAL++的Harmful为5.8/1.1/1.7，Jailbreak为31.9/24.0/22.8，MFT为53.2/47.1/33.8，Capability为69.6/69.2/69.4。作者称SEAL最多降低ASR达60%，五基准平均能力代价至多1.4%。Table 2中DeepSeek有害提示从61.3降到SEAL的8.5（降52.8个百分点），GLM的MFT上SEAL（48.9）低于SEAL++（58.5）。

• 作者解读：共享专家对齐降低直接有害提示、越狱和恶意微调的ASR。
• 后缀攻击：50条AdvBench子集上，未防御ASR从28%升到40%，SEAL保持8%，SEAL++从6%升到14%。作者称参数空间加固削弱了训练时未见过的输入空间后缀攻击。
• 能力：Table 2中四模型Capability相对Original的下降在0.2到1.4个百分点之间（Qwen1.5的SEAL++：49.9到48.9）。

有害提示加剪枝

Table 3为harmful prompt + pruning的ASR（%）。

Swipe horizontally to read the table

模型	方法	Shared	Routed	Both	Capability
Qwen1.5	Original	32.4	39.4	26.3	49.8
Qwen1.5	SEAL	19.7	14.8	17.7	49.2
Qwen1.5	SEAL++	18.3	13.9	16.6	48.8
DeepSeek	Original	60.3	74.2	73.7	41.9
DeepSeek	SEAL	21.1	13.8	18.2	43.1
DeepSeek	SEAL++	21.5	14.0	17.3	42.9
GLM	Original	14.3	48.0	40.8	58.5
GLM	SEAL	2.9	25.5	21.5	60.3
GLM	SEAL++	2.8	21.7	21.1	59.1

Qwen3.5在Table 3中Original/SEAL/SEAL++：Shared为5.7/1.1/2.3，Routed为5.9/13.2/15.3，Both为7.5/13.6/15.2，Capability为68.6/69.4/69.3。作者称routed范围模拟已知共享专家被保护、把预算全放在未保护路由专家上的对手。Qwen3.5在Routed与Both上SEAL/SEAL++高于Original。

组合与开销

• 作者称SEAL与路由级防御组合后，ASR可进一步降到4.8%，比单独路由级防御低五倍以上。所给正文未列出该组合表的逐模型数字。
• 附录敏感性表：Qwen1.5总/激活参数14.3B/2.7B，可训练35.4M（0.25%），r/rs为64/32，模块数72，正交约束每步1.13 GFLOPs，相对DPO前后向<0.01%，适配器67.5MB，安全子空间9.0MB，推理额外FLOPs为0。DeepSeek对应16.4B/2.8B、35.8M（0.22%）、64/32、162、573 MFLOPs、<0.01%、34.2MB、10.1MB、0。
• 附录另用LLaMA-Guard-3-8B作本地二分类，与GPT-5-nano对照；所给正文未给出该表的一致率数字。

其他消融与分析

• Figure 3按层给出安全神经元密度（%），共享专家绝对占比通常低于路由专家，但无条件执行。
• 剪枝因子为范围、识别方法和层覆盖；正文称共13种组合，Table 3只汇总Shared/Routed/Both。
• 安全子空间存储约9–10MB。GLM与Qwen3.5的开销与共享专家模块数成比例，所给正文未列出二者的完整开销行。
• 作者用剪枝代价放大因子γ≥1（附录式11）描述攻击者需剪更多神经元才能回到未防御ASR，并称在第5.6节实测；所给正文未给出γ的数值。

作者指出的局限与后续方向

所给正文在第5.3节中段截断，未见独立Limitations、Discussion或Future Work全文。贡献条目里作者称SEAL++与路由级防御组合可进一步加强剪枝鲁棒性，这是结果主张，不是写成局限的句子。论文未在所给文本中专门列出局限清单。

实验覆盖范围

• 被测模型为Qwen1.5-MoE-A2.7B、DeepSeekMoE-16B、GLM-4.7-Flash、Qwen3.5-35B-A3B，共4个，默认chat或instruct（第5.1节）。
• 直接攻击为有害提示、越狱和恶意微调；复合攻击再叠加剪枝，范围含shared、routed、both（第5.1.1节，Table 2、Table 3）。
• 能力为五基准无加权平均；分项分数作者称在附录H。
• 主评审为GPT-5-nano两次独立标注，一致率98.1%；附录J另用LLaMA-Guard-3-8B。
• 训练只更新共享专家LoRA；路由器与路由专家冻结。论文未在所给正文中报告攻击查询次数或实验重复次数。

SEAL是面向混合MoE的训练时防御：只对齐始终执行的共享专家，使安全不依赖路由器是否把token送到安全专家。

• 问题是稀疏路由让安全随专家选择变化。Ainput构造对抗输入，Atrain做恶意微调，Aweight做神经元剪枝。作者认为路由级防御和路由专家修复都仍以路由为中心。
• SEAL在共享专家三组投影上训练秩64的DPO-LoRA，可训练参数占0.06%–0.25%。SEAL++以ζ=2.0标出安全神经元，用λorth=0.1的正交项惩罚覆盖这些方向的更新。推理额外计算作者称是0。
• Table 2：DeepSeek有害提示ASR从61.3%到SEAL的8.5%；GLM有害提示到SEAL++的1.8%；Qwen1.5越狱从66.4%到SEAL++的56.5%；恶意微调后ASR仍高，Qwen1.5为72.5%–86.9%。五基准平均能力下降不超过1.4个百分点。
• Table 3：剪枝后多数模型上SEAL/SEAL++仍低于Original，但Qwen3.5在Routed上从5.9%升到SEAL的13.2%和SEAL++的15.3%。作者称与路由级防御组合后ASR可到4.8%。
• 作者的结论是共享专家是先前防御未使用的、与路由无关的安全面，可与路由级方法叠成纵深防御。