Safety Kernel：面向 LLM 跨语言防御的机制对齐

1. 01这篇论文试图解决什么问题？

   跨语言安全缺少可干预的共享神经元目标，作者用安全核约束微调。

   跨语言安全缺少一个可直接干预、且各语言共享的内部神经元目标。

   • 场景：作者称同一有害请求可能在一种语言被安全拒绝，换一种语言后却得到可执行的不安全回复，因而跨语言改写是绕过护栏的潜在途径。
   • 现有不足：作者称已有方法主要靠多语言安全数据、偏好优化、一致性约束和能力迁移等外部信号，没有显式定位可支撑跨语言干预的共享内部目标。
   • 核心问题：作者问 LLM 是否含有一组跨语言共享、可直接干预的安全相关神经元。发现不锚定英语，而是各语言独立识别后再取交集。
   • 本文提出：该交集称为安全核（safety kernel, SK）。作者用激活抑制和状态迁移检验其功能关联，并提出 SK-Masked LoRA，只更新对应的 FFN 输出维。
   • 威胁模型：
     • 目标：有害请求换语言后引出可执行的不安全回复。作者将跨语言改写视为绕过护栏的潜在手段。
     • 知识：论文未写攻击者的知识假设，也未使用 white-box、black-box 等词。
     • 输入：评测用的是基准中的多语言有害提示词。论文未写攻击者还能改动的其他输入。
     • 受害系统：多语言应用中的 LLM。GPT-4o 按统一评测提示词判断回复是否构成成功攻击，主指标为 ASR。

   收起这一问

2. 02有哪些相关研究？

   外部多语言对齐未定位共享神经元；机制分析多为单语或英语中心。

   多语言安全差距

   • Shen 等 (2024) 报告：低资源语言上，恶意提示词更常得到不安全回复。
   • XSafety（Wang 等, 2024）、MultiJail（Deng 等, 2024）及后续评测（Friedrich 等, 2025；Kumar 等, 2025）：作者称安全对齐不会在语言间均匀迁移。

   外部对齐与多语言安全方法

   • DPO（Rafailov 等, 2023）、KTO（Ethayarajh 等, 2024）、R-DPO（Park 等, 2024）、SimPO（Meng 等, 2024）：通用偏好优化，论文称被广泛用于安全适配。
   • Multilingual Refusal Alignment（Krasnodębska 等, 2026）比较多语言监督与仅英语对齐的拒绝迁移；MPO（Zhao 等, 2025）用奖励间隔，MLC（Bu 等, 2026）用一致性约束。
   • Layer-wise Swapping（Shin 与 Hwang, 2026）、SmoothLLM（Robey 等, 2023）、LDFighter（Dong 等, 2024）、Sparse Weight Editing（Liang 等, 2026）：模块替换、推理时防御或稀疏参数更新。论文指出，上述方法都没有显式给出跨语言共享的神经元级干预目标。

   安全与多语言的内部机制

   • Arditi 等 (2024) 识别低维拒绝表示；Safety Neurons（Chen 等, 2026）与 Zhao 等 (2026) 定位与安全拒绝、越狱脆弱性相关的神经元。论文称这些分析大多仍是单语或英语中心。机制可解释性方面，论文还引用了把行为定位到模块、激活方向和稀疏特征的工作（Cunningham 等, 2023；Meng 等, 2022；Zou 等, 2023）。
   • Tang 等 (2024) 与 Zhang 等 (2026) 区分共享神经元和语言特异神经元；Wang 等 (2025) 讨论事实处理中的语言无关表示；Wang 等 (2026) 报告拒绝方向可在已对齐语言间迁移。
   • SS-Neuron（Zhang 等, 2026）以英语为中心，把英语与各目标语言共享的神经元当作安全迁移的桥。

   基线与基准

   • 基线方法：DPO、KTO、R-DPO、SimPO、SmoothLLM、Self Defense（Phute 等, 2024）、MPO、SS-Neuron。
   • 基准/数据集：AdvBench-x、MultiJail；通用知识与推理分别用 MMLU、MGSM。

   作者不把发现锚定在英语，而是各语言独立选出安全神经元再取交集，把它作为可直接干预的共享内部目标。

   收起这一问

3. 03论文如何解决这个问题？

   分语言用 SCAR 取神经元，交集为安全核，再以 SK-Masked LoRA 约束微调。

   先分语言从安全与不安全提示词的激活差中选神经元，验证后取交集得到 安全核（SK），再用 SK-Masked LoRA 把微调引起的输出变化限制在 SK 坐标上。神经元指目标 FFN 投影模块的一个输出激活坐标。

   分语言安全神经元

   • 语言 ℓ 有不安全集 Dℓu 与安全集 Dℓs。对模块 m 的坐标 i，在两种条件下估计均值与标准差，差值 Δi 为不安全均值减去安全均值。论文写在输入序列上聚合 token 级输出。
   • SCAR 同时计入可分性与不安全输入引起的激活幅度：SCAR_i=z_m(Δ_i/ρ_i)+z_m(Δ_i)。ρi 是两条件的合并标准差，zm 在该模块的输出坐标上做标准化。
   • 各语言按 SCAR 保留 top-k，默认 k=5000，得到候选集 Sℓ。这一步只使用激活统计。
   • 验证时构造二值掩码，在 prefill 和自回归解码的全部 token 位置把选中坐标置零。对照是数量和模块分布都匹配的随机神经元，并在该语言的 MultiJail 子集上比较。通过该对照后，作者把 Sℓ 称为分语言安全神经元集合。

   安全核与两种干预

   • 发现语言集 Lmain 默认为 EN、ZH、IT、KO、TH、BN。SK 是这些 Sℓ 的交集，只保留在每个发现语言都进入 top-k 的坐标。
   • 抑制：推理时把 SK 坐标置零，其余坐标不变，作用于全部 token 位置。
   • 状态迁移：用不安全提示词配安全回复的集合，在助手回复 token 上对 SK 坐标取平均，得到该语言的安全激活状态。源状态是英语与中文剖面的等权平均，推理时加到目标输入的 SK 坐标上，强度 α=4；非 SK 坐标不变。
   • 前者看去掉共享坐标是否削弱安全，后者看安全回复上估计的状态能否在目标语言减少不安全回复。

   SK-Masked LoRA

   • 对线性投影 m，适配输出为 \tilde{h}_m=W_mu+M_m^{\mathrm{SK}}\odot(\alpha_L/r)B_mA_mu。Am、Bm 为可训练低秩矩阵，r 为秩，αL 为缩放；掩码只在 SK 对应输出维为 1。
   • 基座原输出不变，微调引起的变化只加在 SK 维度。基座冻结，只优化 Am、Bm。训练数据是多种语言的有害提示词配安全回复。发现用的是安全与不安全提示词；状态估计与微调用的是有害提示词配安全回复。数据由已有安全与越狱资源整理，细节在补充材料。
   • 正文未给出 r、αL、学习率或步数。实验在单张 NVIDIA A100 上完成。

   成功判定

   • ASR 是被判为成功攻击的有害提示词占全部有害提示词的比例，越低表示越安全。评审模型是 GPT-4o，使用统一评测提示词。完整提示词与判定标准在补充材料，正文未给数值阈值。

   收起这一问

4. 04论文做了哪些实验？

   作者称四个模型–基准设定上，SK-Masked LoRA 的平均 ASR 为最好或第二好。

   实验设置

   • 模型：三款指令微调 LLM，即 Qwen3-8B、Llama-3.1-8B-it、Gemma-2-9B-it。Table 1、Table 2 与 Figure 3 将 Llama 写作 Llama-3.1-8B。
   • 数据：安全评测为 AdvBench-x 与 MultiJail。除非另有说明，SK 从 EN、ZH、IT、KO、TH、BN 发现。语言外评测为越南语、爪哇语、德语、日语、俄语，由 MultiJail 英语版翻译。通用能力用 MMLU 与 MGSM。正文未报告各集条数。
   • 基线：DPO、KTO、R-DPO、SimPO、SmoothLLM、Self Defense、MPO、SS-Neuron。
   • 指标与评审：主指标 ASR，越低越好。GPT-4o 按统一评测提示词判定。正文未报告重复次数、判定阈值，以及评审与人工的一致性。
   • 参数：构造 SK 时 k=5000。状态迁移的源状态来自英、中文安全回复，α=4。微调时基座冻结。训练与推理的其余配置，以及选择 α 的理由，写在补充材料。
   • Table 3 范围：只含 Llama-3.1-8B-it 与 Gemma-2-9B-it，语言列为 EN、ZH、KO、BN。Qwen3-8B 未出现在该表。

   主结果

   据 Table 3 的平均 ASR（%，↓）。作者所称的四个设定是该表的两个骨干乘两个基准。

   表格较宽，可左右滑动

   设定	Default	MPO	SS-Neuron	Ours
   AdvBench-x，Llama-3.1-8B-it	28.22	2.54	1.11	1.20
   MultiJail，Llama-3.1-8B-it	29.44	5.08	4.41	4.35
   AdvBench-x，Gemma-2-9B-it	3.42	1.59	0.82	0.34
   MultiJail，Gemma-2-9B-it	10.16	7.22	2.78	1.35

   • 作者称四个模型–基准设定上，SK-Masked LoRA 的平均 ASR 为最好或第二好，并认为这支持把安全微调限制在 SK 对应的 FFN 输出维。Llama 的 AdvBench-x 一格，SS-Neuron 的平均低于 Ours。
   • 作者称韩语与孟加拉语上也有下降。同表未进入上表的格子中，Llama 的 MultiJail 孟加拉语 Ours 为 11.43、SS-Neuron 为 10.03；Gemma 的 MultiJail 孟加拉语 Ours 为 5.40、SS-Neuron 为 4.14。
   • 若干基线高于 Default：Llama 的 MultiJail 上 Self Defense 平均为 35.08，Default 为 29.44。Gemma 的 MultiJail 上 KTO、R-DPO、SimPO、DPO 平均分别为 10.96、13.10、11.91、11.04，Default 为 10.16。

   激活抑制与状态迁移

   • 分语言集合：Table 1 在 MultiJail 上把 top-5000 SCAR 神经元置零。Qwen3-8B 平均 ASR 从 Default 的 16.40 到 76.78；表中 Llama-3.1-8B 从 26.51 到 76.40。随机对照平均为 16.88 与 25.40。作者给出抑制后的语言间范围：Qwen 为 69.63 到 81.06，Llama 为 69.52 到 81.27，并称这支持所选坐标与对应语言安全行为的功能关联。
   • SK：Table 2 中，SK 占所分析神经元的比例，Qwen 为 0.12%，Llama 为 0.15%；语言集合为 0.57% 与 0.55%。抑制 SK 后平均 ASR 为 69.05（+52.65）与 71.64（+45.13）。作者称这大约保留语言集合抑制效果的 90%，并称 SK 坐标数大约只有语言集合的 21% 与 27%。等量随机掩码为 17.57（+1.17）与 24.18（-2.33）；Llama 上随机掩码的 ASR 低于 Default。
   • 状态迁移：源状态来自英、中文安全拒绝，Figure 3 的目标语言为 KO、TH、BN。作者报告三语言平均 ASR 从 20.21 到 11.96（Qwen3-8B）、从 35.98 到 30.69（Llama-3.1-8B）、从 5.18 到 3.17（Gemma-2-9B-it）。作者称幅度因模型而异，方向在三个模型上一致。正文未逐语言给出迁移前后数字。

   发现语言之外

   • Table 4 的数据由 MultiJail 英语版翻译，语言为 VI、JV、DE、JA、RU，均未用于分语言识别或 SK 构造。Gemma 未出现在该表。
   • Qwen3-8B 平均 ASR 从 14.41 到 8.95；五语言从 10.16、15.24、15.24、17.78、13.65 到 7.62、11.11、8.25、8.57、9.21。
   • Llama-3.1-8B-it 平均从 18.67 到 4.76；五语言从 8.89、14.92、17.78、36.83、14.92 到 4.44、5.08、4.44、5.40、4.44。作者称这是对发现语言之外的一定泛化，并不意味着这些语言有相同的语言特异安全神经元集合。

   其他消融与分析

   • Table 5，MultiJail 平均 ASR：Qwen 的 Standard LoRA / EN-Masked / Union-Masked / SK-Masked 为 5.50 / 8.31 / 6.35 / 7.52（Default 16.40）；Llama-3.1-8B-it 为 4.71 / 6.77 / 4.87 / 5.30（Default 26.51）。
   • 同表能力：Qwen 的 MMLU 从 0.726 到 SK-Masked 的 0.724、Standard LoRA 的 0.713，MGSM 从 0.560 到 0.580 与 0.444；Llama 的 MMLU 从 0.678 到 0.670 与 0.659，MGSM 从 0.470 到 0.461 与 0.381。作者称 SK-Masked 的通用能力变化总体有限，Standard LoRA 的 ASR 更低、能力下降更大。
   • 神经元比例（表头单位为 %）：Standard LoRA 为 100；EN-Masked 与 SK-Masked 在 Qwen 为 0.12，在 Llama 为 0.15；Union-Masked 为 1.35 与 0.92。作者认为同等预算下 SK 优于等规模英语集合，范围也小于六语言并集。
   • Figure 5：六语言 SK 按模型归一化为 1.0，再对三个模型平均。逐一去掉一种发现语言后，相对规模平均增加 8.3%，单次从 +4.0%（IT）到 +17.6%（BN）。作者称 SK 不被某一种发现语言主导。
   • Figure 6：英语、与下游基准不相交的验证划分上，抑制带来的 ΔASR 随 k 增大后趋于平稳；作者称大约在 k=5000 开始稳定，并把它当作稳定设置而非普遍最优值。其他发现语言的曲线在补充材料，正文无数字。
   • Figure 4：三个骨干上，同一有害请求在微调前为不安全回复，SK-Masked LoRA 之后为安全拒绝。图中三列语言为泰语、韩语、孟加拉语。不复述请求与回复原文。

   收起这一问

5. 05有什么可以进一步探索的点？

   论文未设局限专节，也未列出具体后续实验。

   作者指出的局限与后续方向

   论文未专门讨论局限。Conclusion 称这项工作为更有针对性、可解释的跨语言安全对齐提供了新方向，但没有把它写成待做实验，也没有列出不足。

   实验覆盖范围

   • 被测模型为 Qwen3-8B、Llama-3.1-8B-it、Gemma-2-9B-it；第 4.1 节称三者均为指令微调模型。
   • SK 发现语言为 EN、ZH、IT、KO、TH、BN。Table 4 另评测由 MultiJail 英语版译出的 VI、JV、DE、JA、RU，且该表只有 Qwen3-8B 与 Llama-3.1-8B-it。
   • Table 3 的方法对比在 Llama-3.1-8B-it 与 Gemma-2-9B-it 上进行，语言列为 EN、ZH、KO、BN；基线为 DPO、KTO、R-DPO、SimPO、SmoothLLM、Self Defense、MPO、SS-Neuron。
   • 功能分析包括分语言集合与 SK 的激活抑制（Table 1、Table 2），以及英/中文安全状态迁到 KO、TH、BN（Figure 3，三个骨干）。MMLU 与 MGSM 写在 Table 5，模型为 Qwen3-8B 与 Llama-3.1-8B-it。
   • 评审模型为 GPT-4o。正文给出 k=5000 与状态迁移 α=4。论文未报告评测集条数、重复次数、评审与人工的一致性；LoRA 的 r、αL 与训练步数写在补充材料，正文未列数值。

   收起这一问

6. 06总结一下论文的主要内容

   作者定位跨语言共享安全核，并用掩码 LoRA 降低多语言 ASR。

   作者在 FFN 输出坐标上定位跨语言共享的安全核，并用它约束多语言安全微调。

   • 问题：同一有害请求换语言后，可能从拒绝变成可执行的不安全回复。作者认为外部对齐没有给出可跨语言干预的共享内部坐标。
   • 方法：各语言用 SCAR 对安全与不安全提示词的激活差排序，默认取 top-5000，交集为 SK。激活抑制和英/中文安全状态迁移用来检查功能。SK-Masked LoRA 只让低秩更新作用在 SK 对应的 FFN 输出维，基座冻结。
   • 微调结果：Table 3 中，Llama-3.1-8B-it 的平均 ASR，AdvBench-x 从 28.22% 到 1.20%，MultiJail 从 29.44% 到 4.35%；Gemma-2-9B-it 从 3.42% 到 0.34%、从 10.16% 到 1.35%。Llama 的 AdvBench-x 平均上，SS-Neuron 为 1.11%，低于 Ours。
   • 干预与语言外：Table 2 中 SK 占 Qwen 分析坐标的 0.12%、Llama 的 0.15%，抑制后平均 ASR 为 69.05% 与 71.64%。英/中文状态迁到 KO、TH、BN 后，Qwen 的三语言平均 ASR 从 20.21% 到 11.96%。Table 4 中，未参与发现的五语言平均 ASR，Llama 从 18.67% 到 4.76%，Qwen 从 14.41% 到 8.95%。
   • 作者结论：作者称 SK 是与多语言安全行为相关、可干预的紧凑共享结构；SK-Masked LoRA 降低多种语言上的 ASR，并在发现语言之外有一定泛化，同时为可解释的跨语言安全对齐提供新方向。

   收起这一问

相关论文