注意力看见，MLP 拒绝：追踪 LLM 中从注意力到 MLP 的安全路径

如何把有害性识别转成拒绝写入，而不只是记录越狱或过度拒绝。

• 场景：作者称对齐后的LLM仍会被越狱诱导有害遵从，也会拦住良性请求。行为基准能量化这两种结果，但看不出失败是因为没识别有害性，还是识别之后没有产出拒绝。
• 现有不足：作者称已有工作找到拒绝方向、安全相关注意力头和层，以及可分开表示的有害性与拒绝，但刻画的是信息在何处，不是它如何变成安全行为。作者援引浅层对齐，认为脆弱处也许不是有害性表示本身，而是把它变成拒绝的计算。
• 通路问题：哪些模块暴露有害性信息，哪些写入拒绝证据，二者如何在网络中功能相连。作者把识别有害性与使用该信息产出拒绝分开。
• 本文做法：在decoder-only Transformer的残差流更新上分开测这两端，并用因果干预检验上游注意力与下游MLP的联系；再提出诊断方法Sentinel，用注意力侧感知分P和MLP侧决策分D，在解码前路由条件提醒。

拒绝行为与攻击评测

• AdvBench、JailbreakBench、HarmBench（Zou et al., 2023; Chao et al., 2024; Mazeika et al., 2024）把有害遵从、越狱鲁棒性和自动红队做成可测基准。
• XSTest与SORRY-Bench（Röttger et al., 2024; Xie et al., 2025）分别测安全提示上的夸大安全行为，以及不安全类别上的拒绝质量。引言还引用OR-Bench（Cui et al., 2025）和WildGuard（Han et al., 2024）作为行为基准。
• ReNeLLM、PAIR、AutoDAN、GCG用嵌套改写、黑盒迭代、可读对抗提示和对抗后缀探测拒绝边界。作者把CEMA（Wang et al., 2025）放在少查询、多任务黑盒文本攻击中讨论。

拒绝控制与内部定位

• Arditi et al. (2024)、Yu et al. (2025)、Wang et al.与Lee et al.用拒绝方向、拒绝特征、假拒绝向量和条件激活导向，经残差流干预读出、去除或放大拒绝。
• Zhao et al. (2025)主张有害性与拒绝可在模型内部分开编码。作者称这贴近本文的识别到拒绝缺口：模型可以暴露有害性却写不出足够拒绝证据，或在感知风险弱时仍写入拒绝。
• Zhou et al. (2025)、Li et al. (2025)、Zhou et al. (2024)定位安全相关注意力头、层、token位置和中间隐状态。Ren and Sutherland (2025)、Du et al. (2025)、Qi et al. (2025)讨论微调如何重塑内部预测、拒绝与置信度，以及输出token层面的浅层对齐。

基线方法与基准

• 基线方法：无提醒，以及Helpfulness、Self-Reminder（Xie et al., 2023）、ICD（Wei et al., 2026）、Balanced、Safety提醒和Llama Guard 3（Dubey et al., 2024）；另有只用P或只用D的消融。
• 基准/数据集：通路分析用JailbreakBench的配对有害/良性提示。Sentinel参考组用AdvBench、AlpacaEval、XSTest和EVOREFUSE-TEST。越狱组是Sheng et al. (2025)基于AdvBench查询生成的ReNeLLM、PAIR、AutoDAN、GCG。

作者把本文放在这些工作之后：既有研究说明安全相关信息出现在何处，没有说明该信息如何变成安全行为。附录A称Sentinel把控制与定位接到残差更新上，把注意力更新当作有害性识别载体，把MLP更新当作拒绝证据写入。

作者在decoder-only Transformer的残差流上把有害性识别和拒绝写入拆开测，再用因果干预连接两端，最后做成Sentinel。

残差更新与两个量

对提示p，进入第ℓ层、位置t的残差状态记为x_ℓ(p,t)。每一块先加注意力更新，再加MLP更新：

x^attn_ℓ=x_ℓ+a_ℓ, x_ℓ+1=x^attn_ℓ+m_ℓ

该式把模块更新和残差状态分开：探针看更新本身可读出什么，更新前后的残差比较看它改变了什么。t是预测下一个生成token的位置。answer_start是第一个可见答案token之前的位置，测量发生在该token被模型消费之前。

有害选择性拒绝写入差为

ΔRWS^U_ℓ=RWS̅^U_ℓ,harmful−RWS̅^U_ℓ,harmless

正值表示模块U对有害提示写入的拒绝证据，相对无害提示更强；均匀抬高所有提示的拒绝证据不算有害选择性。

识别、拒绝证据与写入

• 有害性识别：对注意力更新或MLP更新训练线性探针，sigmoid加二元交叉熵，指标为ROC-AUC。另测加入该更新后，残差流上有害/无害线性可分性的增量。作者称二者不必一致：更新本身信息高，但若与已有残差重复，增量可以接近零。
• 拒绝证据分RES：用unembedding和模型最终输出归一化把残差映到词表logits，再对拒绝向token集与遵从向token集做log-sum-exp之差。附录G.5给出固定token集，各模型共用。特异性另相对16个规模匹配的对照词表。
• 拒绝写入分RWS：同一更新前后的RES之差。正值表示该更新增加拒绝证据。
• 比较设置：相对深度为ℓ/(L−1)。Base–Instruct比较中，Instruct用各自chat template，测在答案边界；Base测在最后输入token。第3.1节的探针用JailbreakBench的100对里70对训练、30对留出；Sentinel的P用全部100对训练。探针按检查点和层分别训练。

因果干预

• 单模块反事实：缓存某一层的注意力或MLP更新，做有害供体打进良性受体，以及反向替换。每次只换一个边界位置，各层独立。看最终拒绝读出变化，以及同层MLP写入变化，再除以该配置内干净有害–良性最终拒绝证据差。覆盖31个配置：21个非推理，10个推理。
• 联合切断：用Sentinel冻结上游注意力层P和下游MLP层D。比较干净前向、只打P层供体注意力更新、以及打P的同时把D层MLP恢复成受体干净更新。总效应T、被挡住的部分B与残余R满足T=B+R。7个模型–模式配置，各100对，两个方向，三种条件。
• 对照：Llama-3.1-8B、Qwen3-8B、Gemma4-12B的非推理设置里，前50对只选层，后50对做held-out，在相同下游位置比较恢复MLP与恢复注意力。另从P之后的MLP层随机抽与D等大的集合作位置对照。

Sentinel的P与D

• P聚合选定注意力层上的有害性探针logit，用训练集均值和标准差标准化后再平均。D对选定决策层上的MLP拒绝写入分取平均。类别分析用这两个标量；路由保留逐层特征。
• 自动选层：每个模型、每种推理配置用100对有害–良性校准样本，在下游评测前冻结。一层的一侧95%下置信界超过基线才保留，相邻层并成连续段。P取相对最佳层一个标准误以内、超额AUC积分最大的平台。D取P之后最早、且P之后至少两层的持续正写入段。非推理Qwen3-14B-Instruct的P窗落到最后一层，改选正写入间隙积分最大的段，得到单层决策窗。附录F列出冻结窗口。Figure 5的零点不是行为决策阈值。

条件提醒路由

• prefill结束、生成第一个响应token之前抽取校准后的P/D特征。四分类器预测有害/良性与遵从/拒绝的组合，再映射到无提醒，或在原请求后插入安全提醒、有用性提醒或两者。
• 八个非推理模型用5个外折、3个内折，按底层请求标识分组。分类器候选包括多项逻辑回归、RBF核分类器和小型神经网络，并配不同类别权重。内折在约束下选择：相对无提醒，不得提高越狱、过度拒绝或原始有害错误，且原本正常回答的良性请求上新假拒绝率不超过5%。
• 只保留四种动作都有有效输出的样本。AVG是越狱ASR、一般良性假拒绝率、此前过度拒绝样本假拒绝率的算术平均，再对八个模型等权平均。越狱与过度拒绝由gpt-5.6-luna判定；附录G给出评判提示词。

实验设置

• 模型：通路比较为Table 15的18个Base–Instruct对、36个检查点，来自Qwen2.5、Qwen3、Qwen3.5、Llama、Gemma2、Gemma3，规模1B到27B。生成位置分析为六个Qwen3/Qwen3.5 Instruct检查点。单模块反事实31个模型–模式配置；联合干预7个配置。路由为八个非推理指令模型。名单不能在20个模型槽位里列全，正文以附录G.1为准。
• 数据：JailbreakBench提供结构接近的100对有害/良性提示。AdvBench作有害参考；AlpacaEval随机抽100条作良性参考。XSTest与EVOREFUSE-TEST按无提醒时的实际行为分成正常回答和过度拒绝。越狱组为ReNeLLM、PAIR、AutoDAN、GCG。
• 路由样本：八模型路由池共3662条。三种主队列中四种动作都有输出的合计为越狱671、良性751、过度拒绝694（Table 11）。Gemma3-12B-Instruct有183条历史成功越狱，但历史过度拒绝只有29条，低于预先设定的50条，未进入路由。
• 指标：探针ROC-AUC、可分性增量、RES、RWS、ΔRWS、相对16个对照词表的特异性、正负写入抵消比。路由报告ASR、两类假拒绝率和AVG，作者称各列越低越好。
• 评审与重复：行为标签由gpt-5.6-luna给出，队列在生成提醒输出前固定。论文未报告该评判与人工的一致性，也未报告主图探针AUC的随机种子重复次数。干预置信区间使用提示对bootstrap，联合实验为10000次。
• 位置：非推理干预在assistant_start；推理配置在缓存推理之后的answer_start。P/D窗口在使用提醒结果前冻结。

主结果

指标	数值	条件与出处
MLP净拒绝写入上升	18/18	Instruct相对各自Base；第3.2节、Figure 2
注意力净拒绝写入上升	12/18	同上
末四分之一正MLP写入中位数	23.01%到63.86%	Base到Instruct；正文。Figure 3图注为23.0%与63.9%
Thinking末四分之一中位数	66.13%	六个thinking模型；正文。图注66.1%
MLP特异性	1.10到4.20	后训练前后；第3.2节；18/18上升
注意力特异性	0.77到1.63	同上；18/18上升
MLP抵消比	0.78到0.32	后训练前后；第3.2节

• 作者称36个检查点的层平均探针AUC都是注意力高于MLP；18个Instruct检查点里，MLP净写入都超过注意力。注意力抵消比从1.66降到1.20，仍大于1。
• 作者称后训练没有系统性提高任一模块的层平均有害性AUC。Instruct里注意力与MLP的差距变大，主要来自MLP可解码性下降，而不是注意力可解码性上升。
• 作者称后训练加强的是拒绝写入，并把正MLP写入更集中到后层；Figure 1中早层注意力提高残差可分性，MLP增量接近零或略负。

因果干预

• 单模块：作者称非推理配置里，替换上游注意力更新可使最终拒绝读出向供体方向移动，同层MLP写入响应相对较小、方向不如最终读出一致。作者把它解释成通路层面的上游效应，而不是严格的逐层注意力到MLP因果链。替换MLP更新时，局部写入和最终读出方向更一致，后层更明显。Figure 7的10个推理配置在答案边界呈类似区分。曲线是配置中位数，阴影是四分位距。
• 下游MLP恢复：Figure 9中，B的95% bootstrap区间在14个模型–模式–方向格子里有13个不含0。例外是Llama-3.1-8B非推理的良性到有害方向，总效应区间也含0，图中标为n.s.。作者给出的挡住比例包括：Llama-3.1-8B非推理、有害到良性64%；Qwen3-8B非推理两方向65%与69%；Gemma4-12B非推理82%与87%；Qwen3.5-9B非推理只有19%与11%。
• 生成计数：Figure 10中，良性目标上的拒绝数，Qwen3-8B非推理为11、39、14，Gemma4-12B非推理为14、58、16，分母均为100，顺序是干净、只打P、再恢复D。Gemma4-12B非推理在有害目标上的遵从为4、22、5。作者称行为恢复在非推理Qwen3和Gemma4上较强，在推理配置和Qwen3.5上较弱。

生成过程中的识别与写入

• 六个Qwen3/Qwen3.5模型、thinking开启时，Figure 4(a)的探针AUC大致呈U形：进入推理内容后下降，答案边界回升；打乱标签对照接近机会水平。注意力在推理内容内更高，在assistant_start、think_start、answer_start与MLP接近。
• Figure 4(b)：推理轨迹25%、50%、75%处MLP拒绝写入弱且不累积，answer_start的跨模型中位数为16.76；注意力没有相当升幅。thinking关闭时，答案边界中位数为MLP 13.94、注意力−1.47，六个模型都是MLP高于注意力。
• 作者给出的一种可能解释是：推理token要编码任务内容，稀释而非消除模块更新里有害性信号的相对强度。作者称强拒绝写入集中在答案边界，而不是随推理累积。

Sentinel诊断与路由

表格较宽，可左右滑动

方法	越狱ASR	良性假拒绝	过度拒绝	AVG
无提醒	95.97%	0.00%	88.73%	61.57%
Helpfulness提醒	68.22%	0.00%	59.95%	42.72%
Safety提醒	30.45%	2.90%	85.24%	39.53%
Llama Guard 3	26.58%	1.08%	92.53%	40.06%
Sentinel（仅P）	39.94%	0.00%	74.32%	38.09%
Sentinel（仅D）	37.15%	0.26%	67.47%	34.96%
Sentinel（P+D）	35.17%	0.13%	55.72%	30.34%

据Table 1，八个非推理模型等权平均，单位为百分比。表中省略Self-Reminder、ICD、Balanced，其AVG分别为41.60%、41.14%、40.85%。

• 作者称固定提醒有安全与有用性的权衡。相对Safety提醒，作者报告Sentinel的越狱ASR高4.72个百分点，过度拒绝低29.52个百分点。Table 1里越狱ASR最低的是Llama Guard 3，不是P+D；AVG最低的一行是P+D。
• Figure 5为Llama3.1-8B、Qwen2.5-7B、Gemma2-9B。作者称正常回答的AlpacaEval为低P、低D，正确拒绝的AdvBench为高P、高D。ReNeLLM的P最低、D也相对低，ASR最高；PAIR和AutoDAN的P较高，但拒绝写入弱、ASR高；GCG的拒绝写入接近AdvBench，ASR较低。圆面积编码ASR，正文未给出各攻击组的精确坐标。
• 作者称XSTest过度拒绝子集的平均P和D高于正常回答，但P仍低于AdvBench。EVOREFUSE-TEST的过度拒绝子集P更高，三个模型上D也更高。作者称P与D提供互补信息。

其他消融与分析

• Held-out同位置恢复（Table 2，50对、两方向合并的方向带符号均值之比）：Llama-3.1-8B的MLP挡住26.5%、注意力−15.4%；Qwen3-8B为79.4%与−34.6%；Gemma4-12B为82.8%与19.2%。负比例表示恢复增大了供体方向效应。三模型的MLP减注意力差值，95%区间不含0。
• 随机post-P MLP（Table 3）：五个总效应区间不含0的组合里，随机集合也有非零挡住，选定D更强，配对区间都在0以上。Llama-3.1-8B良性到有害因总效应区间含0而省略。
• 窗口内取均值后的低维路由（Table 12，同一八模型）：P均值AVG 42.96%，D均值41.36%，二者联合39.34%，都高于逐层P+D的30.34%。八模型平均增益1.50个百分点，中位数0.62，配对bootstrap 95%区间为[0.28, 3.10]。Gemma4-31B的差为0，三种输入都退回无提醒；Qwen3-14B为−0.50个百分点。
• 匹配明文输入和同一测量位置（Table 9，六对）：六对的MLP有符号层和在Instruct上都更高。末四分之一正质量占比只在2/6对上升；峰值深度在Llama-3.1-8B和Qwen3.5-9B上前移。作者称写入强度的上升在该对照中仍在，深度分布对界面更敏感。
• 替代拒绝读出（附录C，三个Instruct模型、四种词表）：八个推理时间线配置的答案边界缺口为10.00到26.47；12个配置的Instruct减Base MLP层和差为+8.96到+21.49。11/12中MLP净写入超过注意力；例外是Qwen3-8B的data-driven k=8，S^M为7.16、S^A为7.73。三模型宏平均路由AVG为33.37%到35.45%，作者称不能与Table 1的八模型平均直接比。
• thinking关闭仍有正的答案边界增益：八个模型–读出配置为+2.58到+19.97；thinking开启为+7.80到+24.15。作者称生成出来的推理跨度不是答案边界增强所必需。

作者指出的局限与后续方向

论文未专门讨论局限。结论、伦理声明和可复现性声明没有把某项结果写成不足，也没有列出后续实验。

实验覆盖范围

• 表示与拒绝写入比较覆盖Table 15的18个Base–Instruct对、36个检查点；正MLP写入的深度分析另外包含六个开启thinking的Qwen3/Qwen3.5 Instruct检查点。
• 单模块反事实为31个模型–模式配置，名单在附录G.1；联合P层打补丁与D层MLP恢复为7个配置，各100对、两个方向、三种条件，并有完整生成。
• 条件提醒路由为附录E.1的八个非推理指令模型，5外折3内折，评判模型为gpt-5.6-luna。论文未报告该评判与人工判定的一致性，也未报告主图探针AUC的随机种子重复次数。
• 读出词表对照做在Llama3.1-8B-Instruct、Qwen3-8B-Instruct、Qwen3-14B-Instruct上，校准生成与评测提示按底层提示不相交。匹配输入、匹配位置对照为六对检查点（附录D）。
• 路由用的层窗口、读出和标准化统计在使用提醒结果之前固定。Gemma3-12B-Instruct因历史过度拒绝29条、低于预先设定的50条阈值，未进入路由实验。

作者把对齐模型的越狱和过度拒绝，改写成残差流上从识别到写入的通路问题，并据此做解码前的条件提醒。

• 要分开的两步：行为失败可能是没读出有害性，也可能是读出之后没有写成拒绝。作者在decoder-only Transformer里，用模块加到残差流上的向量来拆这两步。
• 测量：线性探针看注意力或MLP更新能否区分有害与无害提示；拒绝证据分比较拒绝向token与遵从向token的支持；拒绝写入分看一次更新使该证据变化多少，再减去无害提示上的变化，得到有害选择性。
• 组织方式：18个Base–Instruct对、各自chat边界上，36个检查点的层平均探针AUC都是注意力更高，且后训练没有系统性提高这一可解码性。MLP净拒绝写入在18/18对上升，注意力只在12/18对上升。末四分之一层正MLP写入质量占比的中位数从23.01%到63.86%。六个推理模型在thinking开启时，answer_start的MLP写入中位数为16.76；关闭时MLP为13.94、注意力为−1.47。
• 因果与路由：恢复下游干净MLP更新，能去掉上游注意力打补丁引起的一部分拒绝读出变化，比例随模型和方向变化，Qwen3.5-9B非推理只有19%与11%。八个非推理模型上，无提醒AVG为61.57%，Sentinel P+D为30.34%，仅P为38.09%，仅D为34.96%。Table 1中越狱ASR最低的是Llama Guard 3的26.58%，其过度拒绝假拒绝率为92.53%。
• 作者的结论：作者认为后训练主要加强拒绝写入，而不是从零建立有害性识别；强写入集中在后层和答案起点，开不开推理都如此。作者认为改进安全可能需要加强拒绝写入，而不只是有害性表示。Sentinel用两路信号诊断失败并选择提醒，聚合错误低于单信号路由和所评固定提醒。