HeadEdit：通过冻结的 unembedding 矩阵校准语言模型行为

对齐后的模型仍会做错行为决策，而期望行为可能已经线性编码在最终隐藏状态里，只是没有被unembedding读成合适的logits。

• 出现场景： 作者称已对齐模型仍可能拒绝良性请求、调用不必要的工具，或屈从用户没有依据的错误说法。在保住已有能力和已经正确的行为的同时纠正这些残差，被作者视为行为对齐的挑战。
• 现有做法的不足： 偏好优化每次目标都要梯度更新；激活steering要为模型选层，并改动会经过后续计算的残差流；解码时对齐常依赖启发式搜索、显式奖励或生成全程都要评估的辅助模型。作者还称unembedding会把词表梯度压进更小的隐藏空间，推理时也可能读不出正确token分数。
• 核心观察： 即使当前logits对应不期望行为，与行为相关的信息仍可从最终隐藏状态线性解码。
• 提出的方法： HeadEdit不更新参数、不用梯度。它从成对的期望与不期望完成抽出低秩行为子空间，再用该提示词在子空间中的坐标，经冻结的unembedding生成随输入变化的全词表logit校正，不手选拒绝词、工具词或答案token。

内部状态里超出生成文本的信息

• Zhang等（2024）与Nazir等（2025）从输出恢复隐藏提示，并报告next-token分布的低维结构能改进inversion。
• Zhao等（2025）报告单个最后token的隐藏状态仍保留足以重建大量输入的压缩信息。
• He等（2025）、Chen等（2026）用跨层预测变化看记忆化式行为、衡量推理努力并选择回复；Zhang等（2026）、Agarwal等（2024）用内部信号预测微调前的迁移，或给模型生成的轨迹提供反馈。作者称这些工作主要把内部状态当作待解码或监测的信息，用它纠正行为仍未被探索。

行为对齐的干预位置

• Ouyang等（2022）、Rafailov等（2023）用示范或比较反馈更新参数。
• Zou等（2023）的representation engineering与Rimsky等（2024）的CAA在选定Transformer层改内部表示，参数保持不动。
• Wang等（2025）的SADI用对比样本找相关组件，并按当前输入缩放激活，而不是对所有输入用一条固定方向；You等（2026）的Spherical Steering用保范数的门控旋转代替会改变隐藏状态范数的向量加法。作者称这些干预主要落在参数或中间层激活，很少作用在把表示变成token分数的unembedding。

训练式偏好目标与解码时控制

• 附录A还讨论KTO（Ethayarajh等，2024）、ORPO（Hong等，2024）、SimPO（Meng等，2024）；LoRA（Hu等，2022）减少可训练参数，但仍要梯度优化。

• Raina等（2025）、Das等（2026）、Sinha等（2026）考察对齐训练如何改变内部表示与输出，报告低维激活偏移和较集中于后层的变化，且模式随目标与架构而变。作者写明用LoRA-DPO作训练基线和对照，是在测量两种方法的关系，而不是假定HeadEdit复现DPO。

• Li等（2023）、Arditi等（2024）、Stolfo等（2025）分别针对真实性头、低维拒绝方向和指令做推理时内部干预；FUDGE（Yang与Klein，2021）、DExperts（Liu等，2021）、DeAL（Huang等，2025）在解码时用判别器、expert/anti-expert或奖励引导搜索。作者称后者可能需要辅助模型或生成中反复打分。

• 基线方法： 未干预模型、RePE、CAA、SADI-Head、Spherical Steering，以及在同一(x, y+, y−)上训练的LoRA-DPO。

• 基准： 过度拒绝用OR-Bench的良性请求和SORRY-Bench的不安全请求；工具过度使用用When2Tool；事实谄媚用来自TriviaQA与TruthfulQA的开放场景，附录写明取自SycophancyEval；MATH-500与GPQA-Diamond只评通用能力，不参与选型。

作者把HeadEdit放在unembedding接口上：从内部表示取行为坐标，再映射成输出阶段的低秩校正，不选中间层、不改权重，也不另接辅助控制器。

HeadEdit分两段（Figure 1）：先从同一提示词的期望与不期望完成抽出低秩行为子空间，再在推理时只改变pre-unembedding状态沿该子空间的增益，从而得到随状态变化的全词表logit校正，存储的权重保持冻结。

问题设定

• 冻结的因果语言模型，词表为V，隐藏维为d。h_t是最终归一化之后、unembedding之前的状态；logits为z_t = W_U h_t。
• 训练信号是n组成对行为样本(x_i, y_i+, y_i−)：同一提示词下，两条完成分别对应规范上期望与不期望的行为。
• 编辑只在推理时施加，包括LM head在内的参数都不更新。

低秩行为子空间

• 在冻结模型上对x与y的拼接做teacher forcing，记下完成位置的最终层状态。任务相关的聚合规则g_τ把这些状态收成一个向量：可以取早期完成状态，或在结构化span上平均。附录B写明When2Tool在完整completion span上聚合；其余任务的具体规则论文指向附录C，正文未列出公式。
• 每对样本的表示差为δ_i = g_τ(x_i, y_i⁻) − g_τ(x_i, y_i⁺)。它是不期望完成相对期望完成的聚合状态差。
• 对中心化后的差值矩阵做SVD，取前r个右奇异向量组成正交基V。干预只依赖span(V)；换同一子空间的正交基不改变正交投影。验证集决定该分量应被缩放多强，而不是再学一个新方向。
• 子空间取自两条完成已经分叉之后的状态，却用在解码所用的提示词末状态或生成早期状态。作者把“已实现行为的子空间在更早决策状态是否已经可及”当作Section 4的经验问题。默认估计器是中心化PCA；附录B另给一种同秩的mean-aware变体，把归一化均值方向显式放进V。

推理时的低秩读出编辑

• 只在解码位置集合S上编辑。平行于子空间的分量被减弱、去掉或反转，正交分量不动。0<α<1为减弱，α=1为去掉，α>1为反转并把幅度乘以α−1；S以外的位置不改。
• 词表校正为Δ z_t = −α (W_U V)(V^⊤ h_t)。它随当前状态在子空间中的坐标变化，并通过原unembedding的行作用到每个token，不需要手写拒绝词、工具调用词或答案词。
• 代数上等价于有效unembedding的一次秩至多为r的瞬时修改。实现时不物化新矩阵，也不改存储的W_U。部署前可缓存W_U V，编辑步只算V转置乘h_t再乘该缓存。附录C.4写评测中的HeadEdit只编辑第一个生成位置。

配对构造、增益与选型

• 过度拒绝：y−是未编辑模型在OR-Bench良性请求上被响应检查器判为拒绝的输出；y+优先用元数据中的参考答案，否则在“请求良性、应直接且安全地回答”的固定指令下重生成，且须被判为非拒绝。SORRY-Bench不参与构造V。
• 工具过度使用：同一检查点在有工具与无工具条件下各生成一条。无工具回答已含基准正确答案、但有工具输出仍调用工具时，后者为y−、前者为y+。两条完成都接到同一个带工具提示词上，避免提示模板差进入对比。
• 事实谄媚：未编辑模型在施压条件下的输出，须由固定评审确认为有实质内容的谄媚错误，才作为y−。y+由另一次gpt-4.1-mini调用生成，最长150 token，再由同配置评审确认正确、有实质内容且非谄媚错误。附录Table 4给出完整评审提示词。
• 开发集选型、测试集冻结。秩网格为r∈{1, 2, 4, 8}。过度拒绝的α∈{0.25, 0.5, 1, 2}；事实谄媚为{0.25, 0.5, 1, 2, 4}，若最优在边界则继续加大；When2Tool为{0.5, 1, 2, 4, 8, 16}。过度拒绝在不安全拒绝率不低于基线的约束下最大化规范决策准确率；工具任务最大化两侧决策准确率；事实谄媚最大化评审给出的事实准确率。

实验设置

• 模型： 主实验为Qwen3-4B、Gemma-3-4B-IT、Llama-3.2-3B-Instruct；另在Qwen3-14B上看相对未修改模型的变化。三个主检查点都是指令模型，使用各自原生聊天与工具调用接口。HeadEdit冻结全部权重。
• 任务与规模： 过度拒绝把应回答的OR-Bench良性请求与应拒绝的SORRY-Bench不安全请求合在一起，论文未给出测试条数。When2Tool用官方900条训练、2250条测试，覆盖15个环境、三个难度；标签是“是否该调用工具”，不是工具是否执行成功。事实谄媚来自SycophancyEval中的TriviaQA与TruthfulQA，去重后1813题，拆成1413/200/200。MATH-500与GPQA-Diamond不参与选型。
• 基线： 未干预模型、RePE、CAA、SADI-Head、Spherical Steering、LoRA-DPO。LoRA秩16、缩放32、dropout 0.05，学习率5×10^−6，有效批大小16，三轮，β∈{0.05, 0.1, 0.2}，在同一配对上训练。
• 指标： 工具任务的Over.是不该调用时却调用的比例，Acc.同时计入避免多余调用和保留必要调用。过度拒绝的Safe是良性请求被回答的比例，Acc.同时计入回答良性请求和拒绝不安全请求。事实谄媚没有两类相反输入：Acc.是回答是否正确，Anti.是是否不跟随用户的错误信念。Table 2的Keep是必要工具保留，Unsafe↓按Section 4.1是不安全顺从。
• 判定与解码： 过度拒绝沿用OR-Bench响应检查器，事实谄媚用固定gpt-4.1-mini评审，二者temperature为0、最多256个输出token。工具是否调用由确定性解析器判断；必要性标签由未编辑模型在无工具条件下生成一次后固定。主行为实验为贪心解码、seed 42、上下文最长2048；完成上限分别为过度拒绝128、When2Tool对照96、事实谄媚150。论文未报告Table 1的重复次数。

主结果

据Table 1，格子为未修改模型 / HeadEdit，单位为百分比。

Swipe horizontally to read the table

模型	工具Over.↓	工具Acc.↑	过度拒绝Acc.↑	谄媚Acc.↑	谄媚Anti.↑
Qwen3-4B	97.8 / 52.9	57.0 / 66.1	60.6 / 71.6	37.8 / 47.1	37.8 / 47.1
Gemma-3-4B-IT	32.2 / 18.8	52.0 / 54.9	65.7 / 70.3	25.3 / 30.9	25.9 / 31.5
Llama3.2-3B-IT	100.0 / 68.3	63.2 / 67.0	85.1 / 86.9	42.7 / 49.4	48.2 / 51.8

• 作者称相对未修改模型，九个模型—任务设置的总体准确率都上升；在五种干预方法中，七个设置的准确率最高，两个次高。
• 两个次高都在Table 1：Llama工具Acc，CAA为70.0，高于HeadEdit的67.0；Gemma过度拒绝Acc，Spherical为70.6，HeadEdit为70.3，作者称低0.3个百分点。单边下降不等于校准更好：SADI-Head把Llama的Over.从100.0降到5.8，Acc却从63.2降到41.1。
• Figure 2标注Qwen3-14B上HeadEdit相对未修改模型的变化：事实谄媚Acc +8.43、anti-sycophancy +7.87；工具Acc +10.49、anti-overuse +39.02；过度拒绝Acc +2.12、anti-over-refusal +3.70。作者称CAA与RePE在所测层（图例为layers 18–24）更接近未修改模型。

从表示到词表控制

• Figure 3在Qwen3-4B上比较全隐藏状态、V转置h和同秩随机子空间的线性探针。作者称V转置h在三个任务上都高于随机子空间，低秩时更明显；阴影是十个随机子空间的一个标准差。把全词表logit扰动的RMS对齐后，Figure 3(d)中只有成对子空间在三个任务上稳定提高表现，随机子空间几乎没有行为效果。
• Figure 4(a)用提示词末状态预测工具是否必要：全状态AUROC 0.939，秩8的V转置h为0.810，同秩随机子空间为0.711。在基线答错的样本上预测HeadEdit能否修好：全状态0.694，V转置h 0.693，随机子空间0.560。图注未写模型。
• Figure 4(b)按探针是否预测对规范工具标签分组，并给出分母：两探针都对时修复率56.8%（n=775），仅全状态对时36.9%（n=279），仅V转置h对时17.9%（n=28），都错时16.0%（n=50）。全状态已对时，V探针是否正确对应19.9%的修复率差；双侧Fisher精确检验p=1.33×10^−8，作者据此拒绝条件独立。Figure 5在Gemma3-4B的工具任务和Qwen3-4B的事实谄媚上，按校正幅度排序token；作者称各分量改变的是一组分布的token，而不是手选关键词。

与LoRA-DPO的关系

• 把基座上选定的子空间、秩、增益和编辑位置直接套到对应LoRA-DPO模型，不重新提取、不再调参。Table 2中准确率上升的是全部三个工具设置，以及Qwen事实（53.0到59.1）、Gemma事实（31.5到38.9）、Llama过度拒绝（79.7到85.7）。下降的三个是Qwen过度拒绝（69.7到68.6）、Gemma过度拒绝（80.0到76.0）、Llama事实（61.0到58.5）。
• 工具设置上Keep同时下降：Qwen 99.6到73.8，Gemma 40.0到34.9，Llama 95.3到87.6。Qwen过度拒绝上，Safe从67.9升到71.0，但不安全顺从从25.0升到38.6。作者称两种方法的logit变化并不相同：Qwen与Gemma上，HeadEdit输出空间只含DPO更新能量的6.9%和11.8%，校正之间的余弦相似度为0.19和0.289。
• Table 7用基座坐标V转置h_base对留出提示词拟合秩8岭回归，只作分析、不参与生成。全词表R2为Qwen 0.570、Gemma 0.434；Fisher加权为0.757和0.669；基线top-10为0.881和0.710；DPO修好的提示词上为0.492和0.439。Figure 10的Q4（更新范数最大的四分位）仍有Qwen 0.492、Gemma 0.396。作者写明这不确立DPO直接计算或使用这些坐标。

能力、样本与开销

• Section 4.5：Qwen3-4B上，HeadEdit六个设置里有四个与未修改模型相差不超过1.1%；事实谄媚所用设置使MATH-500准确率降低5.2%，GPQA-Diamond提高3.8%。作者称其他steering方法至少有一个设置出现明显下降。附录D.3：Gemma与Llama在MATH-500上的变化都在0.8个百分点以内；三个编辑使Gemma的GPQA-Diamond均值提高1.4–1.9个百分点，使Llama降低0.6–3.2个百分点。作者称Llama五次种子的范围与基线重叠，但更低的均值提示可能有模型特定的权衡。
• Figure 7在Qwen3-4B过度拒绝上改变配对数，误差棒为五次种子的经验最小/最大。作者称50对时已超过未修改模型，约400到550对后改进更稳定。
• Table 6：HeadEdit的不安全拒绝率与基线相同（Qwen 70.5、Gemma 72.7、Llama 68.2）。必要工具保留下降：Qwen 99.7到80.9，Gemma 42.2到38.7，Llama 98.3到86.6。SADI-Head在Llama上把必要工具使用降到11.5。

其他消融与分析

• 附录B，When2Tool均值方向被中心化秩8子空间捕获的比例：Qwen 0.621，Gemma 0.796，Llama 0.430；秩4分别为0.511、0.670、0.374。
• 附录B，Llama、α=1、mean-aware相对中心化：秩4准确率0.642到0.657、保留0.941到0.970；秩8准确率0.656到0.668、保留0.940到0.975。mean-aware解释约78.9%的原始配对差能量。
• Table 5，When2Tool、BF16、批大小1、贪心、每提示128个新token、三次运行：HeadEdit吞吐Qwen 28.32±0.03、Gemma 23.85±0.01、Llama 47.02±0.06，对应基线28.32±0.02、23.86±0.03、47.00±0.02；未合并LoRA-DPO为14.47±0.01、13.55±0.02、20.83±0.03。
• 附录C.4，Qwen3-4B末块、只改提示词末位置的CAA：事实/过度拒绝/工具的平均去均值logit L2为8.34、4.06、21.13，贪心续写不变。
• 附录G：四种模型、三个任务上，未编辑模型对第二个生成token之后续写的tail perplexity均低于2.51；多数设置有上升，Llama过度拒绝几乎不变。
• Figure 8：固定α=2时，秩1和秩2已有非零变化，秩4或8在这些扫描里拿走大部分改进；固定r=4时，表现随α系统性变化，而不是只出现在单个孤立值。正文未列出各点的百分点。

作者指出的局限与后续方向

• 论文没有单独的Limitations、Discussion或Future Work节，结论也没有把某项结果写成方法局限。
• 附录B写明，要分开tokenization、工具调用序列化与表示几何的影响，需要在共享completion格式和不同聚合规则下做受控比较，作者将此留作后续工作。
• 同一节写明，mean-aware估计器目前只用于Llama的When2Tool，作者不声称每个模型都需要显式保留均值方向。
• 附录E写明，留出集上的预测结果并不确立DPO直接计算或使用这些坐标。

实验覆盖范围

• 行为实验的模型为Qwen3-4B、Gemma-3-4B-IT、Llama-3.2-3B-Instruct；Qwen3-14B只在Figure 2报告相对未修改模型的变化，论文未报告其绝对Acc。
• 任务为过度拒绝（OR-Bench良性请求加SORRY-Bench不安全请求）、When2Tool（官方900/2250）和事实谄媚（1813题，1413/200/200）。论文未报告过度拒绝测试集条数。
• 对照为未干预模型、RePE、CAA、SADI-Head、Spherical Steering和LoRA-DPO。通用能力用MATH-500与GPQA-Diamond；GPQA-Diamond给出五次种子的范围。
• 过度拒绝与事实谄媚由gpt-4.1-mini（temperature 0）判定，工具决策由确定性解析器判定。论文未报告评审与人工的一致性，也未报告Table 1的重复次数。
• 附录B的mean-aware、α=1对照与Table 1分开给出（Llama When2Tool秩8准确率0.668，Table 1为67.0）。论文未在正文列出Table 1最终选定的秩和α。When2Tool吞吐见Table 5，为三次运行。

HeadEdit是一种不更新参数的行为校准方法，作用点是冻结的unembedding，而不是中间层残差或新的梯度优化。

• 问题： 作者关心对齐之后仍会拒绝良性请求、多余调用工具、或接受用户错误说法。作者的出发点是：这些行为在最终隐藏状态里仍可线性解出，但读出的logits不一定体现它们。
• 做法： 用同一提示词的期望与不期望完成构造状态差，中心化后做SVD，得到低秩子空间。推理时按当前状态在该子空间上的坐标，给全词表logits加一次低秩校正；评测配置只改第一个生成位置，不手选目标token。
• 主结果： Table 1中，三个约3B–4B指令模型与三个任务的总体准确率都高于未修改模型。五个梯度无关干预里，七个设置最高、两个次高：Llama工具Acc为67.0，低于CAA的70.0；Gemma过度拒绝Acc为70.3，低于Spherical的70.6。Qwen3-4B的工具Over.从97.8降到52.9，Acc从57.0升到66.1。
• 与DPO： 基座子空间不重提取、不再调参，接到LoRA-DPO上后，九个设置中六个准确率更高，三个下降。Qwen上，该坐标对全词表DPO更新方差的R2为0.570（Table 7），但HeadEdit输出空间只占DPO更新能量的6.9%。
• 作者的结论： 对齐失败可以发生在“行为信息已经在表示里、却没有变成合适logits”这一步。HeadEdit被作者描述为一种轻量、可解释的读出校准；作者在结论中称MATH-500与GPQA-Diamond上没有系统性下降，附录则报告了个别设置的准确率变化，包括Qwen3-4B事实谄媚设置使MATH-500降低5.2%。