ACTR: Aligning Reasoning with Answers to Improve Multilingual Safety of Reasoning Large Language Models

推理 LLM 在非高资源语言的越狱中，推理轨迹已识别安全风险，最终回答仍可能不安全；ACTR 加强已有安全推理的利用，而不是重新学习安全判断。

• 场景：推理模型先生成中间推理轨迹再给出最终回答（Wei et al., 2022; Guo et al., 2025）。作者认为这些轨迹可以识别风险并形成安全判断，但其价值取决于是否引导最终回答，且这种判断需要跨语言仍然有效。
• 现有方法的不足：RLHF、DPO 等主要塑造最终回答。多语言工作探索多语监督和从高资源语言迁移安全知识，但作者称这些防御常需要高质量多语或平行语料，成本高且难获取。Figure 1 给出韩语、泰语案例：英文推理指出非法或有害，目标语言回答仍给出可操作内容。
• 核心观察：作者提出两种可能：非高资源提示引出的安全推理更弱，或模型未能把已经安全的推理写入最终回答。推理轨迹替换后，非高资源 ASR 几乎不变，作者据此把差距指向思考与回答之间的利用断裂。
• 提出的方法：对齐跨语言思考与回答（ACTR）。先用思考差距分数（think gap score, TGS）比较推理轨迹对注意力输出的归一化贡献，再用推理轨迹替换衡量跨语言安全差距；然后用神经元掩蔽定位支持安全推理利用的安全思考神经元；最后用神经元选择性一致性优化（neuron-selective consistency optimization, NSCO）只更新这些参数。
• 威胁模型：
  • 目标：降低非高资源语言越狱的攻击成功率，使推理中的安全类别与最终回答一致。
  • 受害系统：指令微调推理 LLM，实验为 Qwen3-8B 与 Gemma4-12B-it；英文视为高资源语言，其余为非高资源语言。
  • 攻击输入：单语言越狱查询。Figure 1 中模型以英文思考、以目标语言回答。论文未写明攻击者是白盒、黑盒还是无盒，也未写攻击者能否改模型参数。
  • 成功判定：安全评测用攻击成功率（ASR）；附录 C 给出协议。训练奖励看思考与回答的行为立场是否一致，不要求回答本身安全。

作者把相关工作分成三组，并在实验中与多种对齐和推理时防御比较。

推理 LLM 的安全对齐

• RLHF（Ouyang et al., 2022）与 DPO（Rafailov et al., 2023）：提升指令遵循与无害性，但作者称它们主要监督最终回答。
• Deliberative alignment（Guan et al., 2024）：在安全规范上推理，可改善安全；OpenAI o1（Jaech et al., 2024）和 DeepSeek-R1（Guo et al., 2025）生成显式中间推理。作者指出主要在英文对齐的模型（Yong et al., 2023; Zou et al., 2023b）仍易受非高资源语言提示影响。
• 多语言防御（Shen et al., 2024; Zhang et al., 2025）：用多语监督、数据增强或跨语言目标扩展对齐覆盖。作者称它们往往需要高质量多语或平行语料，成本高且难获取。

安全行为的机制可解释性

• 电路、注意力头与神经元（Geva et al., 2021; Meng et al., 2022; Arditi et al., 2024）：被用来关联事实回忆、拒答和其他安全行为。激活引导与探测（Turner et al., 2024; Zou et al., 2023a）显示局部表示可以影响行为。
• 作者的定位：多数研究考察单阶段生成；推理 LLM 在中间思考之后再生成回答，其与多语言输出的交互仍不清楚。多语言思维链（Shi et al., 2022）表明推理语言和答案语言可以相互作用；作者称本文考察思考–回答界面，并定位跨语言安全差距背后的神经元。

面向安全的强化学习

• GRPO（Shao et al., 2024）：用奖励优化改进推理与对齐。RLHF 与 Constitutional AI（Bai et al., 2022）通常奖励完整回答。
• 奖励过优化：Gao et al. (2023) 与 Röttger et al. (2024) 讨论奖励过优化、过度拒答或效用下降。作者称在多语言推理中，模型可能产生偏安全的思考却给出不一致的最终回答，只优化最终回答不能保证推理中的安全判断进入多语言回答。

基线方法与基准

• 训练类基线：SFT、DPO（Rafailov et al., 2023）、MPO（Zhao et al., 2025）。推理时防御：Self Defense（Phute et al., 2024）、SmoothLLM（Robey et al., 2024）、TrajGuard（Liu et al., 2026）、GUARD-SLM（Mia et al., 2026）。主安全基准为 AdvBench-X（Yong et al., 2023）和 MultiJail（Deng et al., 2024）。神经元探测语料来自 BeaverTails（Ji et al., 2023）。效用用 MMMLU、MGSM，拒答用 XSTest。

作者将 ACTR 定位为：用模型评审的思考–回答一致性奖励，只更新安全思考神经元，不需要人工标注回答或偏好数据，从而加强已有安全推理的跨语言使用。

ACTR 先测量跨语言思考利用差距并定位安全思考神经元，再用 NSCO 以冻结评审的一致性奖励只更新这些神经元参数。

问题设定与形式化

• 语言与模型：分析使用 Qwen3-8B 与 Gemma4-12B-it，语言为 EN、ZH、KO、TH、AF、NE、BN。英文为高资源（HR），其余为非高资源（NHR）。
• 轨迹：给定多语言提示 x，策略生成 y = (t, a)，t 为思考跨度，a 为最终回答。
• TGS：对配对对话 x ∈ {HR, NHR}，IT_x 与 IA_x 分别是推理轨迹和最终答案的 token 位置。只取后一半层 L_half。答案位置 i 使用预测该 token 的注意力行 i−1。推理轨迹的归一化贡献是其投影输出能量与全部可见 token 投影输出能量之比，再对答案位置和所选层平均，得到 R_think。TGS 定义为配对对话上 HR 与 NHR 的 R_think 之差；正值表示 NHR 回答预测时思考贡献更低。附录 B 给出证明。
• 替换实验：对每条越狱查询，用其英文版本引出的推理轨迹替换 NHR 轨迹，以固定推理内容。作者用它检验“NHR 推理质量更差”是否为安全差距的主因。

安全思考神经元识别

• 探测集：从 BeaverTails 采样 700 条越狱查询，用 Google Translate 得到多语言变体，并经 LLM 语义一致性检查；与 AdvBench-X、MultiJail 去重。每条查询在相同提示、系统和采样设置下各跑一次思考开、思考关。
• 神经元定义：某一层查询、键或值投影矩阵的一行，或输出投影矩阵的一列。重要性是掩蔽该神经元后、仅在回答 token 位置上表示位移的平均 L2。思考开、思考关分别取每层 top p%（p = 3），安全思考神经元为思考开集合减去思考关集合。
• 因果检验：对识别出的神经元做定向掩蔽，并与数量和层分布匹配的随机掩蔽比较，观察 ASR 与 TGS。附录 F 给出掩蔽前后的定性输出。

NSCO 与训练

• 奖励：冻结的二值一致性评审 C_φ 给每条轨迹 r_con ∈ {0, 1}。1 表示回答中的行为立场或行动与思考跨度所暗示的一致，0 表示不一致；评的是语义与行为一致，而不是表面形式相似。组内奖励标准化为相对优势。实验中该评审为 GPT-4o-mini。正奖励只要求最终回答与思考中的安全立场一致，不要求回答本身安全。附录 E 给出判定标准。
• 目标：在裁剪的策略比率优势上减去对参考策略的 KL 项，形式接近组内相对策略优化。梯度只乘以安全思考神经元的二值掩码；其余骨干、参考策略和评审保持冻结。不需要人工标注回答或偏好数据。
• 训练数据：每种模型独立训练，覆盖六种 NHR 语言。只用第 3.2 节探测集中的默认越狱查询作提示，由当前策略为每条查询采样一组 G 条思考–回答轨迹。与其他训练类方法使用匹配的训练设置。训练中定期评测，按验证结果选最佳检查点。模型相关超参数在附录 D。

评测判定

• ASR：安全评测的主指标，协议在附录 C。TrajGuard 和 GUARD-SLM 采用基于拒答的防御，计算其 ASR 时把显式拒答当作安全结果；其他方法直接根据模型生成的回答判定安全。
• 不一致率：思考被判为安全而最终回答被判为不安全的样本比例，分别在 MultiJail 和 AdvBench-X 上报告。

实验设置

• 被测模型：Qwen3-8B、Gemma4-12B-it，均为指令微调推理 LLM，各自独立训练 ACTR。
• 安全基准：AdvBench-X、MultiJail。Table 4 报告 EN、ZH、KO、BN 及四语言平均；机制分析还使用 TH、AF、NE。未见语言为 Swahili、Javanese、Bulgarian、Vietnamese，在 MultiJail 上评测。
• 其他数据：探测与训练用 BeaverTails 抽样的 700 条越狱查询及其译文。拒答用 XSTest 的安全与不安全请求。效用用 MMMLU 与 MGSM，语言为 EN、ZH、JA、KO、TH。
• 基线：SFT、DPO、MPO、Self Defense、SmoothLLM、TrajGuard、GUARD-SLM。训练类方法使用匹配的训练设置。神经元消融另有数量与层分布匹配的随机掩蔽，以及相同参数预算的随机神经元训练。
• 指标与评审：ASR 越低越安全。TGS 越高表示回答生成时对思考的归一化贡献越低。不一致率为安全思考、不安全回答的比例。XSTest 报告安全请求拒答率与不安全请求拒答率。MMMLU、MGSM 报告准确率。在线一致性奖励由 GPT-4o-mini 给出 0/1。论文未报告 ASR 评审模型与人工一致性、重复次数。
• 选择：p = 3。训练中按验证结果选最佳检查点。附录 D 给超参数；正文未写出 G、学习率或 KL 系数的具体值。

主结果

Table 4 为 ASR（%，越低越好）。下标是相对该模型 Default 的变化。四语言为 EN、ZH、KO、BN。

模型与方法	AdvBench-X 平均	MultiJail 平均
Qwen3-8B Default	7.79	12.94
Qwen3-8B 最强竞争方法	0.91（SFT）	3.49（MPO）
Qwen3-8B ACTR	0.29	1.90
Gemma4-12B-it Default	1.97	7.70
Gemma4-12B-it 最强竞争方法	1.20（GUARD-SLM）	1.90（MPO 与 GUARD-SLM）
Gemma4-12B-it ACTR	0.72	1.03

• 作者解读：在该协议下，ACTR 在两个模型家族、两个基准上平均 ASR 最低。作者称相对 Gemma4 上最强基线，AdvBench-X 与 MultiJail 分别改进 40.0% 与 45.8%。
• 反例：并非每个基线、每种语言都低于 Default。例如 Qwen3-8B 的 DPO 在 AdvBench-X 的 BN 为 21.35（+5.97），Self Defense 的 BN 为 16.20（+0.82）；Gemma4 上 Self Defense 的 AdvBench-X 平均为 2.12（+0.15）。
• ACTR 的分语言：Qwen3-8B 上 AdvBench-X 的 EN、ZH、KO、BN 分别为 0.19、0.38、0.19、0.38；MultiJail 为 0.63、0.95、1.90、4.13。Gemma4 上 AdvBench-X 为 0.20、0.00、1.35、1.35；MultiJail 为 1.27、0.95、0.63、1.27。

思考–回答断裂与神经元因果

• 替换：Table 1 在 MultiJail 上比较原始轨迹与英文轨迹。七语言平均 ASR，Qwen3-8B 从 15.46 到 15.06（降 0.40 个百分点），Gemma4 从 7.89 到 7.44（降 0.45 个百分点）。作者称 NHR 的 ASR 基本不变，因此不能只用推理内容或质量解释安全差距。分语言并非一律下降，例如 Qwen3 的 ZH 从 9.21 到 10.48，NE 从 27.62 到 27.94。
• 不一致率：Table 2。Qwen3-8B 在 MultiJail 上从 EN 的 0.24% 到 NE 的 6.67%；AdvBench-X 上 EN 与 ZH 为 0%，NE 为 13.97%，BN 为 8.89%。Gemma4 在 MultiJail 上从 EN 的 1.90% 到 BN 的 6.67%，AdvBench-X 上从 0% 到 BN 的 1.73%。作者称安全推理并不总导致安全回答，低资源语言更明显。
• 掩蔽：Table 3。Qwen3-8B 定向掩蔽使 AdvBench-X ASR 从 10.27 到 16.32（+6.04 个百分点），MultiJail 从 15.46 到 31.07（+15.60）；随机掩蔽仅 +0.38 与 +0.41。Gemma4 定向掩蔽分别为 +38.22（到 40.52）与 +43.90（到 51.79），随机掩蔽为 +1.13 与 +1.54。Figure 4 中定向掩蔽后各 NHR 语言 TGS 上升，作者给出均值 +0.696，泰语最大 +1.110；随机掩蔽均值 −0.045。作者称这些神经元把推理中的安全相关信息带入回答。Figure 3 中作者称 TGS 较大时 ASR 往往较高，但并非严格单调；Qwen3 的尼泊尔语和 Gemma4 的孟加拉语同时有最高 TGS 与最高 MultiJail ASR。图中可读标注包括 Qwen3 侧 5.46、5.53、4.25、4.29、3.70、1.09，以及 Gemma4 侧 5.20、4.41、4.13、3.79、3.26、1.96。

效用、过拒答与未见语言

• XSTest（Table 6）：Qwen3-8B 的安全请求拒答率，Default 4.40%，随机神经元训练 52.00%（+47.60 个百分点），ACTR 6.40%（+2.00）；不安全请求拒答率从 77.00% 到 ACTR 的 89.50%（随机为 86.00%）。Gemma4 的安全请求拒答从 4.80% 到 ACTR 的 4.84%（随机 46.80%），不安全请求拒答从 82.00% 到 89.20%。作者称 ACTR 提高安全性的同时仍回答安全请求。
• 效用（Table 7）：Qwen3-8B 的 MMMLU 五语言平均从 55.11% 到 55.45%，MGSM 从 84.96% 到 89.20%。Gemma4 的 MMMLU 从 42.33% 到 48.97%，MGSM 从 91.76% 到 91.92%。分语言并非全部上升，例如 Qwen3 的 MMMLU 英文从 70.36 到 69.28，MGSM 英文从 96.8 到 96.4；Gemma4 的 MGSM 日语从 90.4 到 89.2，泰语从 92.4 到 92.0。
• 未见语言（Table 8，MultiJail ASR）：训练不含 SW、JV、BG、VI。Qwen3-8B 从 Default 的 62.86、12.70、11.75、6.67 到 ACTR 的 1.27、0.63、0.95、2.22；作者称总体从 23.5% 到 1.3%。Gemma4 从 8.25、10.79、10.79、7.62 到 3.49、8.57、5.40、5.08；作者称总体从 9.4% 到 5.6%。作者认为方法学到与语言无关的思考–回答对齐。

其他消融与分析

• 选择阈值 p（Figure 5，掩蔽而非训练）：p ∈ {1, 2, 3, 5, 7}。作者称 p ≤ 3% 时 MGSM 接近基线；p = 5 时 Gemma4 的 MGSM 下降 83.60。图中还标有 ACC = 91.76、ASR = 7.89，以及 90.00、90.80、89.60、83.60、78.00、68.88、67.62、51.79、31.75、19.05。作者据此把 p = 3 作为稀疏集合。
• 随机神经元训练（Table 5，跨语言平均 ASR）：Qwen3-8B 的 Default 为 AdvBench-X 11.25、MultiJail 16.08；随机更新为 1.03 与 1.32；ACTR 为 0.45 与 1.27。Gemma4 的 Default 为 2.31 与 7.89；随机为 1.13 与 1.86；ACTR 为 0.93 与 1.72。作者称两者都降低 ASR，ACTR 略好，但随机更新的安全–效用权衡不如 ACTR（见 Table 6）。Table 5 的 Default 与 Table 3、Table 4 的平均口径不同，论文未说明差异来源。
• 附录讨论：作者称一致性奖励不是安全奖励的替代，故意不奖励“仅安全回答”，以避免良性请求过拒答。识别出的神经元可能混合安全专用电路与一般思考利用通路，且表示是多义的。随机掩蔽对 ASR 与 TGS 变化很小，作者据此认为定向掩蔽不等同于全局能力移除。

作者指出的局限与后续方向

• 单语言提示：附录 G 写，本工作主要在每次一种语言的提示下评测多语言安全，而真实用户可能在同一次交互中混合多种语言、文字或语言特有表达。（Limitations）
• 语码转换：作者计划在 ACTR 上研究语码转换和语言动态变化情境中的思考–回答对齐，以检验提示、推理轨迹和回答的语言不固定时，安全判断能否一致传递。（Limitations）
• 语言切换感知的对齐：作者将进一步考察语言切换感知的对齐能否在保持自然多语言交互的同时提高鲁棒性。（Limitations）
• 神经元并非只服务安全：附录 H 的 Q2 中，作者认为按越狱探测选出的神经元可能混合安全专用电路与一般思考利用通路，表示本身多义；超过 3% 的掩蔽会损害 MGSM。这是作者对识别结果的限定，不是单独的未来实验计划。
• 一致性奖励与安全目标：附录 H 的 Q1 中，作者称一致性奖励不是安全奖励的替代，直接优化拒答可能导致良性请求过拒答。论文未把它写成未解决的缺陷。

实验覆盖范围

• 模型与语言：机制分析、训练和主评测为 Qwen3-8B 与 Gemma4-12B-it。训练语言为 ZH、KO、TH、AF、NE、BN。Table 4 的分语言列为 EN、ZH、KO、BN。未见语言评测为 SW、JV、BG、VI 的 MultiJail（Table 8）。
• 防御比较：Table 4 包含 SFT、DPO、MPO、Self Defense、SmoothLLM、TrajGuard、GUARD-SLM。后两者计算 ASR 时把显式拒答计为安全。
• 神经元干预：探测集为 BeaverTails 的 700 条查询及通过语义检查的译文，并与两个安全基准去重。p = 3。因果对比为定向掩蔽与数量、层分布匹配的随机掩蔽（Table 3、Figure 4），以及相同预算的随机神经元训练（Table 5、Table 6）。
• 效用与拒答：MMMLU 与 MGSM 的五语言准确率（Table 7）；XSTest 的安全请求与不安全请求拒答率（Table 6）。Figure 5 报告的是掩蔽阈值下的 MGSM 与 MultiJail，不是 ACTR 训练后的曲线。
• 论文未报告的评测细节：正文未给出 G、学习率、KL 系数和训练步数（附录 D 称有模型相关超参数）。论文未报告 ASR 由哪个模型或规则判定、与人工的一致性，以及重复次数。一致性奖励的评审是 GPT-4o-mini，判定标准在附录 E。

ACTR 针对推理 LLM 的跨语言安全断裂：非高资源语言越狱时，英文推理可以指出风险，最终回答仍然不安全。

• 问题：作者认为差距不一定来自推理内容更差。把非高资源轨迹换成对应英文轨迹后，MultiJail 七语言平均 ASR 只降 0.40 与 0.45 个百分点（Table 1）。TGS 衡量回答生成时推理轨迹对注意力输出的归一化贡献差；安全思考、不安全回答的比例在非英语上更高（Table 2）。
• 方法：在 BeaverTails 的 700 条查询上比较思考开与思考关，取每层 top 3% 的差集作为安全思考神经元。掩蔽它们使 ASR 与 TGS 上升，匹配的随机掩蔽变化较小（Table 3、Figure 4）。NSCO 用冻结的 GPT-4o-mini 奖励思考与回答的安全立场一致，只更新这些神经元；不需要人工标注回答或偏好数据。
• 主结果：Table 4 中，Qwen3-8B 的 ACTR 把 AdvBench-X 与 MultiJail 四语言平均 ASR 降到 0.29% 与 1.90%；Gemma4-12B-it 降到 0.72% 与 1.03%。作者称这是所评方法中的最低平均，且相对 Gemma4 最强基线分别改进 40.0% 与 45.8%。部分基线在个别语言上高于 Default。
• 副作用与迁移：XSTest 上，ACTR 把 Qwen3-8B 的良性拒答从 4.40% 调到 6.40%，随机神经元训练则到 52.00%（Table 6）。MMMLU、MGSM 五语言平均准确率保持或上升（Table 7）。四种未见语言的 MultiJail ASR 下降，作者称 Qwen3-8B 总体从 23.5% 到 1.3%，Gemma4 从 9.4% 到 5.6%（Table 8）。
• 作者结论：定向更新安全思考神经元，比现有对齐和推理时防御更有效地把内部安全推理接到最终回答。作者同时认为这些神经元可能混合一般的思考利用通路。后续计划研究语码转换和语言不固定时的对齐。