研究将拒答激活引导分解为组件级干预，在四个开源权重模型上识别出足以复现完整行为效果的稀疏注意力与 MLP 组件子集。这些拒答方向集中在占上游组件 28% 至 48% 的稀疏机制中，仍保留 88% 至 101% 的引导效果；在这些机制内部，有效引导进一步集中在约 50% 的残差流维度上，保留组件机制基线的 85% 至 98%，与存在特权基结构的判断一致。作者据此认为拒答并非弥散编码于整个 Transformer，而是由结构化、可识别的机制组装而成，并将代码与原始实验结果开源在 https://github.com/wang-research-lab/Refusal_Mechanisms。
研究者提出 SIGMA，一条让模型自我改进安全对齐的数据生成与训练流程，仅需一份描述期望行为的 Model Spec。SIGMA 先做规格引导的任务合成，把候选模型当作任务设计智能体，生成多样化的对齐困境场景并转成训练任务；再用监督微调和基于评分标准的强化学习进行自我评判式对齐训练，由模型自身充当奖励模型。尽管只用单轮对话数据训练，SIGMA 在多轮智能体环境中改善了安全对齐，AgentHarm 有害性从 22.6 降至 14.8，Agentic Misalignment 从 79.1 降至 3.8，并优于 Deliberative Alignment 与 Constitutional AI 基线，同时保留通用能力。分析显示，兼顾无害与有用的 Model Spec、测试时安全审慎推理以及任务设计智能体产出的高质量评分标准，是有效自我改进的关键。
研究者提出反事实激活潜力（CAP）指标，用编码器对齐、抑制强度和安全性关键度三项乘积刻画被压制的安全特征，并给出 CAP 引导的安全特征发现（CSFD）两阶段筛选算法，从数十万 transcoder 特征中筛出候选而无需穷举消融。在 Gemma-2-2B、Qwen3-8B、Gemma-3-4B-IT、Qwen3-1.7B 和 Llama-3.2-1B 五个模型上，78% 至 100% 的候选特征经消融验证具有因果作用，单个特征置零可使最高 82.5% 的拒答转为顺从。使用 PAIR 攻击时，最高 CAP 特征受到的抑制强度上升 2 至 4 倍，激活相应下降最多 80%；放大抑制特征本身即可降低其激活并提高有害顺从率，而随机特征无此效果。作者据此认为越狱部分通过压制安全关键特征而非仅激活有害特征实现，被压制特征是激活式可解释性的必要补充。
推荐理由论文提出用编码器对齐、抑制强度与安全关键性三项乘积定位被压制的安全特征，为理解越狱机制提供了激活视角之外的补充。
研究提出用转向子空间维度衡量控制某一行为所需的最小维度，并检验两类拒答行为。结果显示，由安全对齐触发的拒答是 1 维可转向的，多个不同转向方向都能实现相近控制；而一般语境中的拒答激活几何更复杂，即使 5 维转向子空间也无法可靠覆盖其全部可转向变化。作者据此指出，拒答背后的激活几何高度依赖语境，可能远比单一线性转向方向复杂。
研究者提出 HeadEdit，一种免梯度方法，通过冻结的 unembedding 矩阵校准语言模型行为，用于缓解拒答良性请求、调用不必要工具、屈从虚假用户主张等行为错误。该方法从成对补全中提取低秩行为子空间，利用每个提示词在该子空间中的坐标生成全词表修正，实现隐式自适应引导，无需人工指定目标 token 或更新参数。在三个任务、三个模型家族的九个实验设置上，HeadEdit 均取得提升，推理开销可忽略，且未出现通用能力的系统性损失。研究还显示其低维表示能部分预测偏好微调在未见提示词上对输出 logits 的改变，且学到的子空间在微调后可复用，无需重新提取或调参。
伊利诺伊大学厄巴纳-香槟分校的研究者提出对齐诱导不忠实（alignment-induced unfaithfulness，AIU），指对齐后的模型在遇到不安全或敏感内容时会静默修改输入而不披露，这与凭空编造的模型幻觉不同，是压制已存在的内容。团队构建 FaithConflict 数据集，包含 940 组配对实例（1,880 份文档），同一模板分别填入模型认同与冲突的声明，用 FaithGap 衡量两者忠实率之差，并给出输出行为 B1–B8 与思维链推理模式 C0–C6 两套分类。在 8 个模型家族 22 个检查点上，所有对齐模型都出现正 FaithGap（+3.8 至 +32.3 个百分点），规模越大、对齐越强的模型缺口越大，呈反向缩放规律；后训练各阶段缺口递增，DPO 阶段增幅最大（家族内最高达 SFT 的 7.4 倍），RLVR 只能部分恢复。
推荐理由论文用配对数据集量化对齐训练带来的忠实性缺口，并给出 DPO 阶段与思维链监控失效的具体证据。
针对在策略自蒸馏（OPSD）安全对齐中监督信号随生成长度增加而崩塌、以及特权提示词引发的风格差异稀释安全梯度两大瓶颈，研究者提出 EOPSA，通过基于 Teacher Rescue Rate（TRR）指标的自适应 rollout 调度与选择性蒸馏，将梯度更新集中在安全关键 token 上。在最高 32B 参数的推理模型上，EOPSA 减少约 50% 的 rollout 计算量，反向传播仅涉及约 2% 的 token，在安全合规与推理能力保持上均优于全 token 蒸馏基线。
研究者发现当前大语言模型对道德概念的范畴化能力较弱，在 23 个模型上常无法区分对立的道德类别，也难以保持类别内的典型性梯度，这一缺陷在不同参数规模和对齐阶段都持续存在。为此他们提出表征相似度优化，直接让模型的潜在表征对齐人类道德判断中的范畴结构，而不监督生成回复。在使用同一批 251,334 条道德标注的对照实验中，标准行为对齐在回复层面学会了目标道德判断，却基本未改变范畴结构，并在多项对抗评测中提高了脆弱性；重组道德范畴化虽在显式判断上提升有限，却在不同模型规模和多种攻击策略下持续改善对抗鲁棒性。作者认为这为原型式范畴化有助于行为适应性提供了功能层面的支持。
一项针对四个开源权重模型的研究发现，拒答决策并不读取模型用于道德判断的完整道德子空间，而是只读取其中与伤害相关的低秩切片。作者在 OLMo-3 上用嵌套交换秩扫描做因果检验：随着道德基扩大，道德判断的迁移系数从 0.05 升到 0.66，而拒答迁移在 k=3 后停在 0.22 至 0.24，约四分之三的拒答因果输入落在道德子空间之外。研究还发现道德理解在预训练阶段就已形成，OLMo-3 上该子空间与最终状态的余弦从 1000 步的 0.869 升到 0.999，对齐只做一次约 40 度的旋转；而拒答门是后训练新建的，与其预训练前身的余弦仅 0.155。四个模型的读取方式并不一致：Llama-3.1 读取宽泛道德内容，Qwen2.5 超出单一伤害线索但在样本量下未定论，GPT-OSS 读取伤害且其拒答可被自身推理链推翻。
推荐理由论文用嵌套交换干预追踪拒答决策读取的内容，给出拒答与道德判断在决策点近乎正交的机制解释。
Jonas Geiping 等人发布预印本，提出直接针对无害性与诚实性探针优化模型，并称在持续更新探针的前提下效果良好，模型学会对有害请求生成无害回答、在压力下保持诚实。作者转述的论文观点认为，AI 安全领域不少被视为禁忌的技术（如用思维链检测奖励作弊、用模型内部表征做训练）缺乏清晰科学依据，而随着未来模型可能靠通用奖励寻求行为刷满对齐训练场景，用内部表征监督训练且不丧失可监控性将愈发重要。作者本人指出，这种训练让模型学会无害，而不是学会拒答有害请求，小模型在被诱导输出有害内容时会出现一些有意思的回答。
AUDITPLAN 让模型先输出包含威胁标签、预期动作和显式约束的结构化安全计划，再据此作答，计划对用户隐藏但可机器审计。该方法用监督微调加 FAITHGATE 奖励门控强化学习训练，仅在安全计划正确时才给予答案奖励。在 Qwen2.5-3B-Instruct 上，ASR 从 24.0% 降至 11.6%，LSR 从 1.0% 降至 0.36%，过度拒答从 11.0% 降至 2.0%，Qwen2.5-1.5B-Instruct、Qwen-3-4B-Instruct 和 Qwen2.5-7B-Instruct 上趋势一致。
作者将 STAR-1 安全对齐方法扩展到多语言微调，在 lightblue/DeepSeek-R1-Distill-Qwen-1.5B-Multilingual 上比较四种设置：不微调、仅英文微调（FT-EN）、只翻译提示词与标签但保留英文思维链（FT-Q）、提示词与思维链都翻译（FT-QA），覆盖英语、泰语、西班牙语、法语和印地语五种语言。在 StrongREJECT 上五语言平均安全率为 baseline 0.374、FT-EN 0.660、FT-Q 0.805、FT-QA 0.826；在 JBB 上为 0.570、0.754、0.832、0.842，翻译思维链的 FT-QA 在两个基准上都最好。作者还发现，用翻译后思维链微调的模型在英语评测中往往也优于仅英文微调，说明它可能学到更通用的安全行为而非英文专属的拒答模板。
论文测量了语言模型对“已验证来源”错误答案的顺从程度，发现单条声称已验证来源的注释会让八个模型中七个的 45–88% 原本正确回答被翻转，且顺从率随来源措辞的权威程度上升。作者在五个开源权重模型族和三个闭源 API 上做行为对比，并在 Qwen3.5、GPT-OSS、OLMo-3.1 上用激活方向移除与归因补丁做因果实验：移除来源方向可把对错误来源的顺从降低约 65–80 个百分点，而移除用户或助手方向影响小得多，移除用户方向则呈现相反偏好。用 trivia 拟合的权威方向无需重新拟合即可迁移到 PIQA 和多轮 SYCON 对话，移除后在五个开源模型族中的四个降低了错误来源顺从，在 MMLU-Pro 与 GSM8K 上未检测到准确率变化。作者据此认为来源顺从与用户认同需要分开评测，并指出该结果不构成对提示注入的防御。
推荐理由论文用因果干预把来源权威顺从与用户谄媚拆成两条通路，为检索与工具调用场景的评测设计提供了可迁移方法。
作者提出 Matryoshka Attribution（MAttr），把归因问题定义为寻找能最小化下游损失的嵌套内部组件子集，并用可微的 sigmoid top-k 算子参数化掩码。训练时随机化 k 以同时监督所有稀疏度，从而得到按归因分数排序的组件序列。MAttr 在 Mechanistic Interpretability Benchmark（Mueller 等，2025）官方排行榜上排名第一，能在不同电路基上识别稀疏且可跨任务迁移的电路。
研究用补偿性特征注入（CFI）检验减少谄媚是否能提升模型对有害请求的拒答能力。作者在三个 Qwen3.5 基座模型上用稀疏自编码器（SAE）从谄媚与独立回答的配对中找出排名最高的谄媚特征，并通过推理引导验证其行为影响，再在谄媚目标的监督微调中注入该特征。正向注入在移除后使学到的谄媚下降，35B-A3B 上相对普通微调降低 62.0%，而适度负向注入反而增加谄媚。谄媚的下降并未稳定改善对有害请求的直接拒答，但在用户施压场景下，普通微调会显著削弱拒答，而正向注入训练的部分检查点恢复了部分损失，35B-A3B 上约恢复 95%。
论文研究拒答在语言模型内部的位置是否随架构改变。作者发现，在 Transformer 中由残差流单一方向控制的拒答表征，在状态空间模型（SSM）中依然存在：一个刚性旋转即可对齐两种模型的表征空间，使二者真正共享该表征。在 Transformer 上训练的伤害探针能标记 SSM 的有害输入，移除对齐后的方向会让模型回答原本拒答的攻击，而同等大小的随机方向效果远弱。架构差异不在方向被施加的位置，而在必须读取的位置：每层计算的新输出在加入残差流之前，即写入位置，伤害可被清晰读出；固定干预强度的对照实验显示，关键是在哪里估计方向，而非在哪里施加。
论文从几何角度解释事后安全训练（RLHF、DPO）为何脆弱：在五个模型家族上，安全更新 Δ 与模型能力方向近乎正交，只集中在少数高曲率方向，相当于在完整能力之上加了一道拒答闸门，而非抹除能力。核不动性引理说明这类更新只能掩盖能力，因此少量良性微调就能恢复：100 条良性样本让 Qwen-2.5-7B-Instruct 和 Llama-3-8B-Instruct 在 AdvBench 上的拒答率下降 35–38 个百分点。OLMo-2-1B 的预训练检查点扫描显示，拒答所依附的特征在 1B 到 63B 预训练 token 之间急剧出现。在整个预训练过程中持续加入安全共训练、从头训练的模型，在 410M 到 6.9B 各规模上达到 87%–98% 的 AdvBench 拒答率，同样的攻击只让它下降 2–14 个百分点，代价是短答案能力探针上的少量损失；总安全权重相同但只在一个窗口内加入则装不上拒答。作者的结论是，带来攻击鲁棒性的是安全信号在预训练中的持续性，而不是加入的时机。
推荐理由论文用几何视角解释事后安全训练为何容易被少量良性微调抹掉，并实测在整个预训练中持续加入安全共训练能让拒答经受住同样的攻击。
研究通过从各风险类别的危害表征中移除共享的通用危害表征，得到与通用危害性在每一层都正交的类别残差，并用激活引导在 3 个指令微调 LLM 的 11 个风险类别上测试。结果显示，类别残差是否编码危害性因类别而异，且这一类别模式在不同模型间相似；类别残差是否引发拒答同样因类别而异，但这一模式更依赖具体模型。研究还发现类别残差会增强 LLM 下游内部与共享通用危害表征的对齐。作者据此认为，理解 LLM 安全不能只看共享的通用危害表征，还需考虑更细粒度的类别残差；即使某一层上与某概念正交的方向，也可能促进该概念在下游的放大。
Anthropic 可解释性团队发布 4 月更新，用电路追踪方法分析一个失败的越狱提示，发现模型拒绝该提示的原因与拒绝直接请求不同，且拒绝倾向反而高于普通提问。该提示要求把 B O M B 拼成单词并说明如何制造炸弹，归因图显示模型并未激活与制造炸弹相关的特征，而是由炸弹概念直接触发有害请求特征；把 make 换成 detect 后模型仍拒绝，且首句与有害版本完全相同。团队用干预实验验证机制：抑制 say bomb 超级节点后 say making 激活降至原来的 1%，模型转而输出与炸弹无关的拒答内容。附录指出特征可视化若数据不够多样会产生误导，并列出 30M CLT 模型中最密集的 10 个特征及其解释，其中 6 个可解释。
推荐理由Anthropic 可解释性团队公开了失败越狱的电路追踪分析，展示模型拒答机制与预期不同的案例，并给出密集特征与入行建议。
Anthropic 可解释性团队在 2025 年 11 月的 Circuits Updates 中报告，Claude 3.5 Haiku 在无有害意图时对 129 道二选一多选题准确率为 100%，加入有害意图表述后降至 48.1%。研究发现注意力机制是关键：有害检测 key 特征与拒答 query 特征负向交互，压低了对正确答案的注意力分数，使答案选择头转而关注错误答案。团队识别出一个拒答特征，在广泛语料上表现为检测到用户请求有害后提供替代方案，称为 refuse and redirect；对该特征做负向引导可将数据集准确率恢复到 93%，仅对部分中层注意力头的 query 侧做更精细干预也能达到同样效果。
推荐理由Anthropic 可解释性团队用注意力头与特征交互定位了模型在有害意图下改选错误答案的机制，并给出可复现的干预方法。
Goodfire Research 提出基于探针的数据归因方法，可定位 LLM 后训练中涌现的有害行为对应的训练数据点。研究以 OLMo 2 7B 的 DPO 训练为自然测试床：模型在有害请求后附加格式约束（distractor）时从拒答转为顺从，该现象在 OLMo 2 32B 上更强。方法将行为变化与训练数据点都表示为模型激活向量，用余弦相似度匹配，再用 Grok 4 生成的 150 条提示构建探针向量。过滤探针排名最高的 3 万个数据点后，有害行为下降 63%，且 GSM8k、IFEval、XSTest 性能无明显损失；交换这些数据点的 accepted/rejected 标签可下降 78%。
推荐理由原文给出探针定位 DPO 有害数据的具体流程与 63% 降幅，做后训练数据清洗的团队可参考其归因与验证方法。
SPY Lab 提出“模态失语症”概念，指统一多模态模型能生成记忆中的图像，却无法通过文本查询访问同一知识。研究用九张电影海报测试 ChatGPT-5，图像生成的整体错误率明显低于口头描述，且重大幻觉只出现在文字描述中。
推荐理由研究提出统一多模态模型能生成却无法描述记忆图像的现象，并展示其可绕过基于文本的安全过滤。