GeoSteer：面向大语言模型激活引导的测地线优化方法

保范数激活引导仍依赖预定义轨迹和一步更新，难以沿复杂激活分布做自适应转向。

• 场景：作者认为现代 LLM 参数量很大，微调对齐成本高，需要在不更新参数的前提下，于推理时修改隐藏激活来控制幻觉、偏见、毒性和其他有害行为。
• 现有方法的不足：加性引导（把方向向量加到激活上）对干预强度敏感，过强会离开模型的自然表示空间并损害生成质量。已有保范数方法（Angular Steering、Spherical Steering）多用均值差等简单统计和一步更新；HPR 虽用神经网络，仍把转向方向限制在预定义的二维平面内。作者还称这些方法常对超参数敏感，跨模型或任务不一定一致。
• 核心观察：归一化层（如 RMSNorm）调节激活尺度，因此隐藏表示的方向是可控转向的目标。保范数转向可看成在黎曼流形上把激活从非期望区域移向期望区域，同时保持范数不变。
• 本文提出：GeoSteer，把保范数激活引导写成激活球面上的 Riemannian 优化，用区分期望与非期望激活的非线性目标，在推理时做一串小的测地线（geodesic）更新，而不是固定的一步旋转。

论文在引言和 Related Work 中把相关工作分成加性引导与保范数转向，并在实验中单列基线。

• 加性激活引导：ITI（Li et al., 2023）、RepE（Zou et al., 2023）、CAA（Rimsky et al., 2024）从对比激活估计方向并在解码时加到隐藏状态，同一更新用于不同输入，作者认为这限制了适应性。MiMiC（Singh et al., 2024）与 Linear-AcT（Rodriguez et al., 2025）给出更结构化的线性形式。ODESteer（Zhao et al., 2026）把转向看成 ODE 轨迹以提高适应性。作者指出这些方法不显式约束激活范数，更新仍可能离开模型的自然激活几何并降低效用。
• 保范数激活引导：Angular Steering（Vu and Nguyen, 2026）与 HPR（Pham and Nguyen, 2024）用固定低维平面或 Householder 反射做几何更新，作者认为仍对转向方向有较强假设。Spherical Steering（You et al., 2026）在球面上旋转激活，但作者称其常依赖简单均值统计，忽略更丰富的分布结构；多数保范数方法只做一步更新。
• 几何与归一化背景：作者引用 Absil et al. (2008) 的流形优化，以及 Zhang and Sennrich (2019) 的 RMSNorm，用来说明方向比尺度更适合作为干预对象。对比样本构造转向向量的工作还包括 Liu et al. (2023)、Lee et al. (2024)。
• 基线与基准：实验基线为 RepE、ITI、CAA、MiMiC、Linear-AcT、ODESteer，以及保范数的 HPR、Spherical Steering、Angular Steering。基准为 UltraFeedback（有用性）、TruthfulQA（真实性）、RealToxicityPrompts（去毒）。作者排除多属性控制（Nguyen et al., 2025）、差分隐私转向（Goel et al., 2025）、指令跟随改进（Stolfo et al., 2025），以及需要全层干预的 SADI（Wang et al., 2025），理由是它们与单层推理时激活转向设置不兼容。

作者把 GeoSteer 定位为：用非线性探针的局部梯度在每一步重算方向，从而走出弯曲轨迹，而不是依赖单一全局方向或对所有激活固定的二维旋转平面。

GeoSteer 把推理时的保范数转向写成单位球上的约束优化：先学一个区分期望与非期望激活的探针，再用它的梯度引导多步测地线，最后乘回原激活范数。

问题设定与球面几何

• 编辑对象：对预训练模型，给定输入 x，取选定层和 token 位置的激活 h ∈ R^d。常规加性编辑为 ĥ = h + αv。作者认为这会同时改变方向和范数。
• 保范数：先归一化 z = h / ∥h∥₂，z ∈ S^{d−1}，编辑方向得到 ẑ 后再还原 ĥ = ∥h∥₂ ẑ。约束是 ∥z∥₂ = 1。
• 黎曼梯度：欧氏梯度 g = ∇_z L(z) 一般会离开球面。切空间为 T_z S^{d−1} = {u : u^⊤ z = 0}，黎曼梯度去掉径向分量：g_R = g − (g^⊤ z) z。

学习转向目标

• 探针：训练集 D = {(h_i, y_i)}，y_i ∈ {0, 1} 表示非期望或期望。先归一化 z_i = h_i / ∥h_i∥₂。得分 s_φ(z) = w^⊤ φ(z) + b，期望类概率 p_φ(z) = σ(s_φ(z))，用二元交叉熵训练。
• 非线性特征：φ(z) 取 Polynomial Count Sketch（PCS）。附录 A.3 固定 γ = 0.1、c_0 = 1.0、多项式次数 d = 2、随机特征数 N_poly = 8000，作者称该配置在不同数据集和基座模型上稳定。训练后探针冻结。
• 推理目标：最小化 L_steer(z) = −log p_φ(z)，即最大化期望类概率。

测地线更新

• 轨迹：z^{(0)} = h / ∥h∥₂，共 K 步，步长 η = T / K，T 为总转向强度。每步算欧氏梯度，投影到切空间，取归一化下降方向 u^{(t)} = −g_R^{(t)} / ∥g_R^{(t)}∥₂。
• 更新：z^{(t+1)} = cos(η) z^{(t)} + sin(η) u^{(t)}。附录 A.4 证明：若 z^{(t)} 与 u^{(t)} 均为单位向量且正交，则更新后仍在单位球上，故中间点范数不变。结束后 ĥ = ∥h∥₂ z^{(K)}。流程见 Algorithm 1。
• 与已有保范数方法的两点差别：作者写明，一是把转向当作球面上的优化问题，而不是固定几何变换；二是方向由非线性探针的局部梯度决定，每步可适应，从而沿弯曲轨迹移动，而不是对所有激活使用单一全局方向或固定二维旋转平面。

干预位置与数据如何进入探针

• 层与 token：所有方法使用同一转向层，只干预新生成的 token。层由 CAA 在 TruthfulQA 上按 True×Info 扫描各层后选定（Figure 3，层 11–18）：Falcon-7B 用第 15 层，Mistral-7B 用第 16 层，LLaMA3.1-8B 与 Qwen2.5-7B 用第 14 层。主实验取 T = 0.64；步数消融中把步数固定为 15 来扫 T。
• 激活采集：TruthfulQA 与 UltraFeedback 把提示词分别与正、负回答拼接后前向，取序列最后一个 token 的隐藏状态。去毒任务没有问答对，直接用 Jigsaw 的有毒与无毒句子提取激活。
• 主实验强度：作者称根据 Figure 2b，T = 0.64 在各模型上较强且稳定，无需按模型单独调参。

实验设置

• 模型：Falcon-7B、Mistral-7B-v0.3、LLaMA-3.1-8B、Qwen2.5-7B。Table 1 将后两者写作 LLaMA3.1-8B、Qwen2.5-7B。
• 任务与数据：有用性用 UltraFeedback，指标为相对原模型的 Win，以及 RMmean、RMP90。真实性用 TruthfulQA（817 个问题，扩展为 5,918 个问答对；40% 训练、10% 验证选超参，再做两折交叉验证使全部问题进入测试）。主指标 T×I，并分开报告 True、Info；评审为 allenai/truthfulqa-truth-judge-llama2-7B 与 allenai/truthfulqa-info-judge-llama2-7B。去毒用 Jigsaw 按毒性分数均匀抽 10k 句（5k 有毒、5k 无毒）训练，RealToxicityPrompts 取 500 条有毒提示做测试，毒性由 unitary/toxic-bert 打分，并报告 PPL 与 Dist-2。
• 基线：Original，以及 RepE、ITI、CAA、MiMiC、Linear-AcT、ODESteer、HPR、Angular Steering、Spherical Steering。同一层、只干预新生成 token。
• 重复：Table 1 为五次运行平均。主实验 T = 0.64。奖励模型的具体名称论文未在可见正文中单独列出型号以外的阈值。
• Win 定义：附录给出系统 A 相对 B 的胜率，0.5 为与基线持平，平局计半胜。Table 1 的 Win 是相对原模型。
• 吞吐：Table 2 在 4 张 NVIDIA A100 40GB 上测自回归 tokens/s，模型为 Falcon-7B、Mistral-7B、LLaMA3.1-8B，不含 Qwen2.5-7B。

主结果

Table 1 的主指标（五次平均）。Win、T×I 越高越好，Toxic 越低越好。

Swipe horizontally to read the table

模型	方法	Win (%)	T×I (%)	Toxic
Falcon-7B	Original	50.0	28.4	0.181
Falcon-7B	GeoSteer	57.3	41.1	0.071
Mistral-7B	Original	50.0	36.7	0.125
Mistral-7B	GeoSteer	54.7	63.2	0.015
LLaMA3.1-8B	Original	50.0	41.5	0.124
LLaMA3.1-8B	GeoSteer	63.2	69.4	0.018
Qwen2.5-7B	Original	50.0	63.8	0.097
Qwen2.5-7B	GeoSteer	53.2	68.1	0.029

据 Table 1。表中 GeoSteer 在四个模型上的 Win、T×I 均为该模型列的最高值，Toxic 均为该模型列的最低值。次优并不总是同一方法：例如 LLaMA3.1-8B 的 T×I 次高为 ODESteer 67.7，Qwen2.5-7B 的 Win 次高为 ODESteer 51.4；Spherical Steering 在 Qwen2.5-7B 上 Win 为 17.2、PPL 为 125.9，在 LLaMA3.1-8B 上 PPL 为 371.5。

• 作者解读：作者称 GeoSteer 在全部被评模型的主指标上最好，能把行为转向期望属性并保持生成质量；相对 CAA、MiMiC、ITI、Linear-AcT 等加性或线性方法的提升，作者归因于在超球面上转向并保持范数。
• 相对保范数基线：作者称相对 HPR、Angular Steering、Spherical Steering，收益来自每步重算方向，并把大步分成多段测地线，从而路径更灵活。
• 辅助指标并不一律最好：例如 Falcon-7B 上 GeoSteer 的 Info 为 93.6，低于 Original 的 96.3；Mistral-7B 上 GeoSteer 的 PPL 为 39.6，高于 Original 的 18.7。作者未把这些辅助指标称为全面最优。

步数与转向强度

Figure 2 在 TruthfulQA 上以 True×Info 为指标。Figure 2a 固定总强度、改变测地线步数：作者称增加步数（即减小步长）先有有限增益，随后趋稳，说明中等步数足够，且对确切步长不敏感。Figure 2b 把步数固定为 15 扫描 T：作者称 T 过小则干预太弱，T 过大则会过度扰动激活并降低生成质量；Mistral-7B 与 LLaMA3.1-8B 从 T = 0.5 上升后在 T = 0.64 附近仍强，Falcon-7B 在所测范围内变化更小。图中曲线的具体端点数值论文正文未逐点列出。

目标函数与运行时间

• 目标函数：Table 3 在 LLaMA3.1-8B 上比较三种目标。线性：True 66.2、Info 96.2、True×Info 62.4。RFF：71.4、96.0、67.8。PCS：73.3、95.8、69.4。作者称线性目标更能保住 Info，但分离期望与非期望区域较弱；非线性目标提高 True 而 Info 接近不变，PCS 三者中最好。
• 吞吐：Table 2 中 Original 为 104.2、96.1、104.6 tokens/s（Falcon-7B、Mistral-7B、LLaMA3.1-8B），GeoSteer 为 103.9、95.5、102.8，作者给出的相对开销为 0.3%、0.6%、1.7%。作者称三模型平均 GeoSteer 为 100.7 tokens/s，Original 为 101.6，平均开销 0.9%，并称该开销可忽略、与其他高效转向方法相当。

其他消融与分析

• 选层：Figure 3 用 CAA 在 TruthfulQA 上报告层 11–18 的 True×Info，再据此固定各模型的转向层；CAA 只用于选层。图中可读到的纵轴刻度约在 Falcon 30–37、Mistral 39–42、LLaMA 47–54、Qwen 61–66，正文未逐层抄出数值。
• 范数：附录 A.4 给出测地线更新保持 ∥z∥₂ = 1 的证明，没有另报经验范数误差。
• Table 1 例外：Spherical Steering 在 LLaMA3.1-8B 上 True 为 88.4，高于 GeoSteer 的 73.3，但 Info 为 70.1、T×I 为 59.5；Mistral-7B 上 Spherical Steering 的 True 为 69.9，与 GeoSteer 的 70.0 接近，Info 为 86.8。作者未对此另作解释。
• Qwen 有用性：Qwen2.5-7B 上多种基线 Win 低于 Original 的 50.0，Spherical Steering 为 17.2；GeoSteer 为 53.2。论文未单独解释该模型上基线下降的原因。
• PCS 超参：附录 A.3 固定一组超参，未报告该组之外的扫描数字。
• 统计检验：论文写五次平均，未报告显著性检验。

作者指出的局限与后续方向

• 方向发现方式（Limitations）：当前实现从对比激活样本学习转向目标，能接入常规激活引导流程，但不直接纳入其他方向发现机制，例如稀疏自编码器（SAE）。
• 与 SAE 结合的困难（Limitations）：作者称 SAE 表示常常高维、稀疏且按特征而非按方向组织，因此如何选择稳定的特征组合、变成球面上平滑的切向，并高效做测地线更新而不引入噪声或不稳定，目前并不清楚。
• 误用（Limitations）：激活引导是通用的推理时控制机制。实验关注真实性、降毒和偏好生成，但同类方法若配上不适当的目标或方向，可能引出有毒、有偏、欺骗或其他有害输出。
• 保范数的边界（Limitations）：保持激活范数并不保证避免所有意外行为变化。作者认为部署前应仔细评估下游安全、鲁棒性和误用风险。
• 后续计划（Limitations）：作者计划研究 GeoSteer 与基于 SAE 的特征发现的稳定集成，并做更广的安全评估，以刻画跨任务、跨模型族的意外行为变化和误用风险。

实验覆盖范围

• 被测模型：主结果为 Falcon-7B、Mistral-7B、LLaMA3.1-8B、Qwen2.5-7B 四个开源模型（Table 1）；吞吐只报前三个（Table 2）。
• 任务：有用性（UltraFeedback）、真实性（TruthfulQA）、去毒（Jigsaw 训练、RealToxicityPrompts 的 500 条有毒提示测试）。
• 协议：单层、只干预新生成 token；层由 CAA 在 TruthfulQA 的 True×Info 上选定（附录，Figure 3）。Table 1 为五次平均。
• 消融范围：步数与 T 的曲线在 TruthfulQA 上、以 True×Info 报告（Figure 2）；目标函数消融只在 LLaMA3.1-8B 上比较线性、RFF 与 PCS（Table 3）。
• 比较范围：作者写明不纳入多属性控制、差分隐私转向、指令跟随改进，以及需要全层干预的 SADI，因为它们与单层推理时设置不匹配（第 4 节 Scope of Comparison）。论文未报告查询次数意义上的攻击预算，本文不是攻击评测。

GeoSteer 是一种推理时的保范数激活引导方法：在不改模型参数的前提下，于单位球上把隐藏激活从非期望区域移向期望区域。

• 问题：加性转向会改变激活范数，过强时可能离开模型学到的表示几何。已有保范数方法多用均值统计、固定平面或一步旋转，作者认为难以适应复杂激活分布。
• 方法：用对比激活训练并冻结非线性探针（实现为 PCS），推理时最小化 −log p_φ(z)。从归一化激活出发，按切空间梯度做 K 步测地线更新，步长为总强度 T 除以 K，最后乘回原范数。主实验 T = 0.64；转向层由 CAA 在 TruthfulQA 上选定，只改新生成 token。
• 主结果（Table 1，五次平均）：LLaMA3.1-8B 上 GeoSteer 的 UltraFeedback Win 为 63.2%（Original 50.0%），TruthfulQA 的 T×I 为 69.4%（Original 41.5%），RealToxicityPrompts 毒性为 0.018（Original 0.124）。四个模型上这三项主指标均为表中该模型的最好值。辅助指标有例外，例如 Mistral-7B 上 GeoSteer 的 PPL 为 39.6，高于 Original 的 18.7。
• 消融与开销：LLaMA3.1-8B 上 PCS 的 True×Info 为 69.4，高于线性目标的 62.4 和 RFF 的 67.8（Table 3）。三模型平均生成吞吐从 101.6 降到 100.7 tokens/s，作者给出的平均开销为 0.9%（Table 2）。
• 作者结论：把预定义的一步编辑换成由局部梯度引导的多步测地线，可以在保持范数的同时得到更稳的转向。作者同时指出，该方法尚未与 SAE 特征结合，保范数也不能排除全部意外行为，且转向机制可能被误用。