First-Order Steering：将权重适配转化为激活引导

如何把可组合的权重适配译成推理时可用、可相加的激活转向向量。

• 场景：作者认为，沿残差流中的可解释方向做推理时干预，可以改变语言模型行为；同时施加多个目标行为对对齐与安全很重要，但现有激活转向仍难做到（Section 1）。
• 现有不足：作者称 CAA、RepE、SAE steering、ODESteer 等在分布外、尤其是多行为同时转向时结果不稳定；偏离加性更新的方法又缺少非平凡的向量组合程序（Section 2）。
• 对照：作者称任务算术、TIES、DARE、KnOTS 能组合表示为权重适配的行为；把权重更新译回激活转向这一反向问题仍少被研究。RepE 中的 Low-Rank Representation Adaptation 是用参数更新去模拟激活干预（Section 1）。
• 做法：提出 First-Order Steering，把由强度向量 s 参数化的可微权重更新在各隐藏层做一阶近似，得到可相加的激活方向，并用 Hessian 范数界近似误差；再提出 HeRD-Merging，在保留常规合并表现的同时压低这些误差项（Section 1、3、4）。

激活转向

• ActAdd（Turner et al., 2024）——用一对对比提示的残差流激活差作为转向向量，按 h′ = h + αv 加到选定层；多个向量通过相加组合。
• CAA、RepE、FGAA——CAA（Panickssery et al., 2024）用正负样本均值差，并考察跨提示格式的迁移以及与微调的结合；RepE（Zou et al., 2023）用 PCA、k-means 和逻辑回归提取方向；FGAA（Soo et al., 2025）用稀疏自编码器特征选择并组合方向。作者对这一类的说法是：分布内可用，但分布外、尤其多行为同时转向时结果不稳定（Scalena et al., 2024; van der Weij et al., 2024; Braun et al., 2025; Tan et al., 2024），且准确率方面的进展有限，难以满足实用的 PEFT 需求（Section 2）。
• 偏离加性形式的方法——Representation Surgery（Singh et al., 2024）把转向归为最小二乘；Activation Transport（Rodriguez et al., 2024）学习把源激活分布送到目标分布的传输映射。作者称 ODESteer、MiMiC、RE-Control、AcT 为提高准确率而偏离加性形式，因而缺少非平凡的向量组合程序。

模型合并

• LoRA 与任务算术——作者称数据足够时 LoRA（Hu et al., 2021）可用于微调，但本身不提供合并框架。任务算术（Ilharco et al., 2023）把任务向量定义为微调权重与基座之差，再按系数 s 对多个 LoRA 增量线性组合。
• TIES、DARE、KnOTS——TIES（Yadav et al., 2023）修剪低幅度参数并消解符号冲突后再聚合；DARE（Yu et al., 2024）随机丢弃并重缩放增量；KnOTS（Stoica et al., 2024）先对任务向量做 SVD，再在共享低维子空间里用 TIES、DARE 合并，以降低跨任务干扰。

权重与激活的对应

• Low-Rank Representation Adaptation——RepE 中用参数更新模拟激活空间干预。作者称这暗示二者有关，但由权重更新得到激活转向这一反向问题仍少被研究（Section 1）。

基线与数据

• 转向基线：CAA、Linear-AcT、RE-Control、RepE、ODESteer。合并基线：task arithmetic、DARE task arithmetic、DARE-TIES、KnOTS-TIES、TIES。
• 数据：UltraChat（Ding et al., 2023）对话，由 GPT-5.5 改写成 Analogy Usage、Bulletpoint Usage、Sophisticated Language。作者称方向选择与 Diallo et al. (2025) 的风格向量评测方式一致，论文未报告与该文数字的对照。

作者把本文定位为：用一阶近似把可微模型合并译成与 ActAdd 相同的可加转向，并用 Hessian 范数给出既有转向方法所没有的准确率量化信号；HeRD-Merging 则在匹配常规合并表现的同时降低该误差（Section 1、2、6）。

整体上，First-Order Steering 把由转向强度 s 参数化的权重更新看成隐藏层的函数，在 s = 0 处取一阶近似，用 Jacobian 的列作为可相加的激活方向；HeRD-Merging 则在任务算术上加入可学习的交互项，并压低控制该近似误差的 Hessian 相关量。

问题设定

• 冻结自回归 transformer f_θ，L 层、隐藏维 d。投影头 p 的基座权重记为 W_p^base，n 个目标行为对应 LoRA 增量 ΔW_1,p, …, ΔW_n,p。
• 任务算术写成 ΔW_p(s) = Σ_k s_k ΔW_k,p，s ∈ R^n。加入该更新后的隐藏状态记为 h′_ℓ。下文在不致混淆时省略投影头下标。
• 实验里 n = 3，三个行为是 Analogy Usage、Bulletpoint Usage、Sophisticated Language（Section 5.1）。方法本身按一般的 n 写出。

一阶近似与转向向量

作者把 h′_ℓ,i(x, s) 在 s = 0 处展开。Hessian 足够小时，得到加性形式

h′_ℓ,i(x,s)≈ h_ℓ,i(x)+∑_k(∂ h′_ℓ,i)/(∂ s_k)(x,0) s_k

该式即激活相加，但加法项仍依赖残差输入 x。为去掉这一依赖，作者在 M 个激活样本上对 Jacobian 做最小二乘，解析解 A* 是这些 Jacobian 的均值。A* 的各列是单个行为的转向向量，组合由矩阵乘积 A* s 给出；适配器所在的每一层都可同时算出向量（Section 3）。

误差界

• Taylor 余项由各分量对 s 的 Hessian 的 Frobenius 范数控制：余项范数不超过 (1/2) Σ_i sup ||H_s h′_ℓ,i||_F ||s||^2（式 (4)）。
• Proposition 2：在包含数据集与 s = 0 的开矩形上，若混合 Jacobian 的 Frobenius 范数有上界 Q、样本间距离有上界 L，则最小二乘误差不超过 L^2 Q^2 / 2。作者指出 Q 同样被 Hessian 范数界住，因此正则 Hessian 会同时压低一阶余项和最小二乘误差。
• Proposition 1 用高斯 Poincaré 不等式把函数值的协方差与 Jacobian 联系起来，用来说明降低对 x 的变化可以减弱对提示的依赖。附录 A.1 给出 Proposition 2 的证明。

HeRD-Merging

HeRD 适配器在任务算术之外加入交互校正：

Δ W(s)=∑_k s_kΔ W_k+∑_{S∈ C}η_S(∏_{t∈ S}s_t)R_S

C 是大小至少为 2 的行为子集；R_S 写成秩为 r_S 的低秩分解，η_S 与 R_S 可学习，且 0 ≤ η_S ≤ η_max。η_S 全为 0 时退回任务算术。论文未给出实验中 r_S 的具体秩。

按原式 (3) 直接做一阶转向时，HeRD 与任务算术得到的向量相同。作者改用附录 A.2 的推广式 (16)：把权重处的 Jacobian 作用在完整的 ΔW(s) 上，从而纳入 R_S。作者称这不改变第 3 节的 Hessian 正则结论。满足 ∂ΔW/∂s_k 在 0 处还原 ΔW_k 的合并规则，其一阶项都含任务算术。

为避免物化各层混合 Jacobian，训练分两段（Section 4）：

1. 固定 η_S = 1，用梯度下降训练全部 R_S。在网格 G ⊆ [0,1]^n 上，使下一 token 分布 p_s 接近由各单行为分布在 log 空间线性插值、再经配分函数归一化得到的 Q_s。损失是提示与网格上的 KL(Q_s, p_s)。Q 在 s = 0 与各个标准基向量上分别回到基座分布和单行为分布。
2. 固定 R_S，用 Levenberg-Marquardt 在 η 的盒约束上做非线性最小二乘。四个残差是：同一 KL；混合 Jacobian 相对 Jacobian 的大小；激活集上 Jacobian-向量积的协方差相对其能量；校正项范数相对各 LoRA 范数之和。每个 minibatch 重采样单位方向 s*。作者用 r2、r3 近似惩罚式 (4) 与 Proposition 2 中的 Hessian 块，r4 用来避免校正项盖过 LoRA 已学到的行为。

读出与成功判定

• 转向向量取 Jacobian 在一批提示上的均值的列。实验中这批提示是 UltraChat 训练集里的用户提示（Section 5.3）。
• 行为是否出现，由三个分别微调的 DeBERTa-v3-base 二分类器判定；阈值在验证集上按验证准确率选取（Section 5.2）。
• 与基线公平比较时，所有方法只加在一个公共层。该层对每个行为最大化对比激活分布的归一化均值差 S_ℓ,k，再取 argmax。论文未报告实际选中的层号。

实验设置

• 模型：Qwen2.5-VL-3B（附录写作 Qwen/Qwen2.5-VL-3B-Instruct，3B 参数）、Gemma-4-E2B（逐层嵌入，共 5B）、Mistral-7B-Instruct-v0.3（7B）。每个行为单独训练 LoRA，秩 8，加在每个投影头上；Adam，100 步，minibatch 2，梯度累积 16，序列长度 512（Section 5.1、B.3）。
• 数据：UltraChat 用户对话交给 GPT-5.5 重写回复（temperature 1.0，top-p 1.0，不提供原回复），三个方向各约 10,000 条。分类器按 80%/10%/10% 划分。转向评测使用与合成训练集独立的测试提示（Section 5.1、B.1）。
• 转向基线：CAA、Linear-AcT、RE-Control、RepE、ODESteer。作者称超参取各方法原文中表现最好的配置。CAA 用合成正负对的均值差；Linear-AcT 拟合依赖输入的线性映射；RE-Control 用输出在 [0,1] 的小 MLP，Adam 200 步，再以该 MLP 为目标做 30 步在线梯度下降；RepE 取中心化均值差的第一主成分；ODESteer 沿 log 密度比障碍的梯度做 10 步 Euler，degree-two polynomial count sketch，γ = 0.1，c0 = 1.0。论文未说明 Linear-AcT、RE-Control、ODESteer 在多行为角点上如何组合。
• 合并基线：task arithmetic、DARE task arithmetic、DARE-TIES、KnOTS-TIES、TIES。DARE 丢弃率 p = 0.9；TIES 保留绝对相对幅度前 20%，符号取总参数质量的符号，只合并与该符号一致的参数（Section 5.4）。
• HeRD：在均匀网格 G ⊆ [0,1]^n 上用 Adam 训练 R_S 100 步；LMA 的 minibatch 为 1，η_max = 1，初始阻尼 μ_0 = 0.1，共 12 步。转向主实验的 HeRD 适配器训在所选单层；合并实验则在所有层的全部投影头上训练，超参与 Section 5.3 相同。论文未给出网格的具体分辨率。
• 判定：行为符合率（%）。每个行为的分数跨所有包含该行为的组合（单个、两两、三者）计算。三种方法各在 8 个组合上生成 100 条，共 800 条；greedy decoding，无 system prompt。95% 区间来自 2000 次以提示为单位的百分位 bootstrap。三个 DeBERTa-v3-base 分类器的测试集含 1994 条，阈值分别为 0.85、0.12、0.20（Table 4）。

主结果

据 Table 1，转向加在一个公共层，数字为三模型平均的行为符合率（%）：

表格较宽，可左右滑动

方法	Analogy	Bulletpoint	Sophisticated	Average
First-Order (HeRD)	19.8	65.9	53.6	46.4
First-Order (Task Arithmetic)	20.2	63.5	44.2	42.6
Linear-AcT	1.1	45.8	44.1	30.3
CAA	2.1	42.9	37.3	27.4
RepE	2.6	42.9	26.9	24.1
ODESteer	0.2	37.8	31.5	23.2
RE-Control	0.4	32.6	5.7	12.9

• 作者称 HeRD 一阶转向平均高于任务算术一阶，且最强非一阶基线 Linear-AcT 与 HeRD 相差 16.1 个百分点；三轴相对各自最强非一阶结果分别高出 17.6、20.1、9.5 个百分点（Section 5.3）。Analogy 列上任务算术一阶高于 HeRD。
• Table 2 的平均符合率：HeRD 在 Qwen2.5-VL-3B、Mistral-7B-Instruct-v0.3、Gemma-4-E2B 上为 64.7%、42.5%、32.0%；任务算术一阶为 55.4%、40.7%、31.8%。作者称相对各模型最强非一阶基线（Linear-AcT 25.4%、ODESteer 39.2%、Linear-AcT 31.3%）的差距为 39.3、3.3、0.7 个百分点，相对任务算术的平均提升为 9.3、1.8、0.2 个百分点，并称收益在 Qwen 上最明显。
• 作者称没有任何非一阶基线在各模型、各行为上稳定位列第二。Table 2 中可见反例：Mistral 上 ODESteer 的 Bulletpoint 为 70.8%，HeRD 为 63.5%；Gemma 上 ODESteer 的 Sophisticated Language 为 42.5%，HeRD 为 35.4%。

模型合并

• 比较的是全层、全部投影头上的权重合并，符合率协议与 Table 1 相同（Section 5.4）。
• Table 3 三模型平均：HeRD 79.9%，DARE task arithmetic 78.5%，task arithmetic 78.2%，DARE-TIES 77.8%，KnOTS-TIES 64.6%，TIES 60.9%。HeRD 三轴聚合为 Analogy 74.8%、Bulletpoint 94.4%、Sophisticated Language 70.6%。作者称相对 DARE task arithmetic 与 task arithmetic 的提升为 1.4 与 1.7 个百分点，并称幅度较小，说明合并表现与既有方法相当。
• Table 5：Qwen 上 HeRD 平均 92.4%，DARE task arithmetic 为 90.2%，作者称超出最强基线 2.2 个百分点；Mistral 上 HeRD 78.9%，task arithmetic 76.7%。Gemma 上 HeRD 与 task arithmetic 同为 68.5%，DARE-TIES 为 71.9%，且在三个行为上都高于 HeRD。作者称 HeRD 不是在所有模型上都优于既有合并方法（附录 C.1）。

全层一阶转向

• 附录 C.2 用全层 LoRA 比较全层与单层。Table 6 中 HeRD 全层平均符合率：Qwen 81.2%、Mistral 35.4%、Gemma 34.3%。相对单层的 64.7%、42.5%、32.0%，Qwen 与 Gemma 上升，Mistral 下降。作者称全层转向的收益取决于模型，加更多层并不一律提高行为控制。
• 全层 Analogy：Qwen 上 HeRD 66.0%、任务算术 69.8%；Mistral 与 Gemma 上两种一阶方法都是 0.3%（Table 6）。单层时 Mistral 的 HeRD Analogy 为 16.6%（Table 2）。
• 有效层数 P_i（式 (17)，Table 7）均值：Qwen 7.4（三轴 5.5–8.6），Mistral 11.1（9.9–12.9），Gemma 20.3（19.9–20.8）。作者称 Qwen 的 Sophisticated Language 最集中，Gemma 三轴能量分布相近。Figure 1 的图注是各层转向矩阵的 Frobenius 范数，正文未给出可读数值。

其他消融与分析

• 分类器：Analogy / Bulletpoint / Sophisticated Language 的 Test Acc 为 99.95% / 99.85% / 99.85%，Test AUROC 与 AUPRC 均为 1.00，Test F1 均为 1.00（Table 4，1994 条）。作者称这与各方向在用词上可区分有关。
• Table 1 中 HeRD 的 Analogy 聚合低于同表的 Bulletpoint 与 Sophisticated Language。
• Table 2 单格：Qwen 上任务算术一阶的 Analogy 为 43.0% [38.2, 47.8]，HeRD 为 42.2% [36.8, 48.0]；Mistral 上任务算术的 Bulletpoint 为 63.7%，HeRD 为 63.5%。
• 附录 C.4 给出三轴输出示例；部分基线出现重复片段或拒答式回复。论文未报告人工复核子集的样本量与一致率（Section B.2 只写核对了一个子集）。

作者指出的局限与后续方向

• 一阶转向的实用局限是模型微调所需的算力与数据；后续可看少样本微调能否得到可比结果（Section 6）。
• 可探索 Jacobian J_s h_ℓ 与 system prompt 影响之间的关系，作者认为这可能带来关于模型鲁棒性和行为预测的认识（Section 6）。
• HeRD 做 Hessian 正则的效果依赖所给的权重更新矩阵；后续可把 Hessian 正则纳入模型训练，看是否改善合并与转向（Section 6）。
• 全层同时转向因已有的表征崩溃问题而少被研究；作者鼓励后续考察全层转向向量范数与特定模型或层的可转向性（附录 C.2）。

实验覆盖范围

• 被测模型为 Qwen2.5-VL-3B、Gemma-4-E2B、Mistral-7B-Instruct-v0.3（Section 5.1）。
• 行为为 Analogy Usage、Bulletpoint Usage、Sophisticated Language，各约 10,000 条合成样本；每种转向方法评测 8 个组合、每组合 100 条输出（Section 5.1、5.3）。
• 转向对比包括 CAA、Linear-AcT、RE-Control、RepE、ODESteer；合并对比包括 task arithmetic、DARE task arithmetic、DARE-TIES、KnOTS-TIES、TIES（Section 5.3、5.4）。
• 主对比把所有方法加在一个按 S_ℓ,k 选出的公共层；附录 C.2 另报告全层一阶转向。判定用三个 DeBERTa-v3-base 分类器，区间来自 2000 次 prompt 级 bootstrap（Section 5.3、B.2）。
• 论文未报告所选层号，未报告 Linear-AcT、RE-Control、ODESteer 在多行为组合上的叠加方式，也未报告人工复核子集的样本量与一致率（Section 5.3、B.2）。合成回复由 GPT-5.5 生成（Section 5.1）。

First-Order Steering 把可微权重合并译成推理时的加性激活转向，HeRD-Merging 用来压低其一阶误差界。

要处理的是多行为同时控制：作者认为现有激活转向难组合，而 LoRA 权重适配可以用模型合并组合。做法是在 s = 0 处展开隐藏层，用 Jacobian 的样本均值作为可加向量，用 Hessian 范数界误差；HeRD 在任务算术外加交互低秩项，先匹配插值后的下一 token 分布，再用 LMA 调交互系数。行为是否出现由三个 DeBERTa-v3-base 分类器判定。

• 单层、三模型、跨含该行为的组合：HeRD 一阶平均符合率 46.4%，任务算术一阶 42.6%，Linear-AcT 30.3%（Table 1）。作者称与 Linear-AcT 相差 16.1 个百分点。
• 分模型平均符合率：Qwen2.5-VL-3B 64.7%、Mistral-7B-Instruct-v0.3 42.5%、Gemma-4-E2B 32.0%（Table 2）。作者称相对各模型最强非一阶基线的差距为 39.3、3.3、0.7 个百分点。Analogy 的三模型聚合为 19.8%（Table 1）。
• 合并平均符合率：HeRD 79.9%，DARE task arithmetic 78.5%（Table 3）。Gemma 上 DARE-TIES 为 71.9%，HeRD 为 68.5%（Table 5）。
• 全层 HeRD 在 Qwen 为 81.2%，在 Mistral 降到 35.4%（Table 6）。作者称加更多层并不一律提高行为控制。

作者称一阶转向比所比较的激活转向更准确，并给出既有方法缺少的误差指示；HeRD 的合并表现与常规基线相当，同时使一阶转向更准确。作者把微调所需的算力与数据称为实用局限。