正确的Token,正确的时机:从逐Token门控到轨迹感知的激活转向
Right Token, Right Time: From Per-Token Gating to Trajectory-Aware Activation Steering
作者把激活引导建模为固定预算下的逐 token 分配问题,提出 CFP 与 CLABS 两种门控,作者称其在匹配预算下行为偏移最大且最保流畅度。
- 激活引导通常对每个生成 token 施加同样的干预,作者称这会累积偏离训练分布、随强度增加损害流畅度。论文研究在固定干预预算下该在哪些 token 上施加引导。
- 把逐 token 引导建模为固定预算 p 下的分配问题,方向由 SAE 特征差分构造。CFP 按瞬时对齐度阈值引导最不对齐的 token;CLABS 用带泄漏积分的 PI 控制器按累计失配设定引导概率,并给出线性响应模型下的稳定性条件。
- 在 Gemma 2 2B 与 Llama 3.1 8B、降毒与恐惧/悲伤引导三个目标上,作者称 CFP 与 CLABS 在匹配预算下行为偏移最大、小预算时领先最大;AlpacaEval 降毒设置下它们是唯一在两个评审下各预算胜率均超过 No-Steer 的门控。
- 作者在附录 E 写明:仅覆盖两个开源基础模型与三个英文目标,依赖目标层 SAE 质量,仅单层单方向,评估全靠自动分类器与 LLM 评审、未做人工评估,稳定性结论只对线性化内部工作点成立。
- 被测模型
- Gemma 2 2BLlama 3.1 8B
- 基准
- RealToxicityPromptsGoEmotionsAlpacaEval
- 指标
- behavioral shiftwin ratePPLrep-3distinct-2realized intervention rate
论文研究用稀疏自编码器(SAE)对LLM做激活转向,以在无需任务特定微调的情况下控制模型行为,提出把干预施加的时机作为决定性控制维度,将转向建模为固定可转向token预算下的逐token分配问题,并给出两种门控方法。作者指出标准方法在每个生成token上都施加转向信号,会使表示偏离训练分布并损害生成质量。无记忆的Contrastive Feature Projection(CFP)用稀疏可解释的特征投影选出与目标行为最不对齐的token;轨迹感知的Closed-Loop Adaptive Bernoulli Steering(CLABS)把分配当作闭环反馈控制,追踪生成已累积的对齐程度,在轨迹落后处花费预算。作者在线性转向响应模型上推导出保证CLABS闭环稳定性的显式增益区域,并表明其积分项可减小稳态跟踪偏差。
深度解读
这篇论文试图解决什么问题?
研究固定干预预算下应在哪些 token 上施加激活引导,以兼顾行为控制强度与生成质量。
核心问题:在固定可引导 token 预算下,选择引导哪些 token(何时干预)能在行为控制强度与生成质量之间取得更好的平衡。
- 问题场景:激活引导在推理时向隐藏状态加固定方向以控制行为(降毒、情绪、风格),无需微调。作者称多数方法对每个生成 token 均匀施加干预,使表示偏离训练分布,且偏离沿序列累积,行为强度越大流畅度越差。
- 现有方法的不足:作者称已有的自适应幅度控制仍在每个位置干预;随机稀疏引导的选择与需求无关;条件式方法(特征触发、熵触发、回溯重写)既没有校准到显式干预预算,其触发规则也不响应生成迄今累积的对齐度。
- 核心观察:作者认为许多 token 本来已与目标行为一致,对它们引导收益小却照样扰动残差流;若少部分 token 携带大部分行为信号,则何时干预是控制的决定性维度。
- 论文提出:把逐 token 引导建模为预算 p 下的分配问题,使各方法只在选择哪些 token 上不同;并提出两个门控——无记忆的 CFP(Contrastive Feature Projection)和轨迹感知的 CLABS(Closed-Loop Adaptive Bernoulli Steering),后者带闭环稳定性分析。
- 设定(非攻防威胁模型):这是推理时行为控制方法,无攻击者;干预作用于单一中间层残差流,方向由 SAE 特征构造,强度 α 固定,唯一变量是门控序列。
有哪些相关研究?
相关工作分激活引导、SAE 方向和稀疏/条件/自适应引导三组,本文定位是预算校准加轨迹反馈的门控。
激活引导与方向构造
- Activation Addition(Turner et al. 2023)、Contrastive Activation Addition(Rimsky et al. 2024)、Representation Engineering(Zou et al. 2023)、ITI(Li et al. 2023a)——推理时向隐藏状态加固定方向控制行为,不做权重更新;作者称这类方法大多对每个 token 密集施加,随强度增加损害流畅度。
- 方向来源的其它工作:类条件均值差(Marks and Tegmark 2024)、上下文向量(Liu et al. 2024)、权重算术(Fierro and Roger 2026)、MoE 专家开关(Fayyaz et al. 2026)。
- AxBench(Wu et al. 2025)——论文引其结论称方向的选择重要、简单基线可媲美 SAE 方向,这是本文固定方向、只改变分配的理由。
SAE 特征
- Cunningham et al. 2024、Bricken et al. 2023、Templeton et al. 2024、Lieberum et al. 2024——用 SAE 把残差流分解为稀疏、近似单语义的特征;Soo et al. 2025 用特征引导激活加法。本文用 SAE 解码器行构造引导方向。
稀疏、条件与自适应引导
- AUSteer(Feng et al. 2026)——稀疏化被编辑的维度但仍逐位置触发,作者称其与本文研究的时间稀疏正交。
- STS(Eshraghi et al. 2026)——逐 token 独立 Bernoulli(p) 门控,满足预算但与状态无关,本文将其作为分配无关对照。
- Breaking Bad Tokens(Goyal et al. 2025)——在激活毒性特征的 token 上干预,作者称该校准到预算后对应本文框架中的 CFP。
- SIA(Hu et al. 2026)——用学习到的价值模型加 Best-of-N 搜索在高熵节点引导;FASB(Gan et al. 2025)——跟踪内部状态并回溯重生成。作者称二者由阈值、奖励或重生成支配,不校准到干预预算,也不对单条轨迹上累积的对齐做反馈。
- PID Steering(Nguyen et al. 2026)——用积分项跨层调节每个 token 的引导幅度,无预算概念;作者称门控(何时引导)与幅度控制(引导多少)是互补的两轴,可以组合。
基线与基准:无预算参照为 No-steer、Full-steer、Prompting;预算门控基线为 SIA-PE、SIA-ER、SRE(本文提出)、STS。基准为 RealToxicityPrompts、GoEmotions(合并为 Ekman 类别)、AlpacaEval。
作者称本文的区别在于:把引导显式建模为预算分配,CLABS 在单条解码轨迹内按累积对齐做 PI 反馈设定预算校准的引导概率,无需 rollouts 或回溯,并附带稀疏引导门控的闭环稳定性分析(作者称这是首个此类稳定性证书)。
论文如何解决这个问题?
固定方向与强度、只改变门控:CFP 按瞬时对齐阈值选 token,CLABS 用带泄漏积分的 PI 控制器按累计失配采样。
整体思路:所有方法共享同一条 SAE 构造的引导方向、同一干预层和同一强度,唯一变量是二值门控 mt,即把引导变成纯分配问题。两个门控是 CFP 和 CLABS。
问题设定与方向构造
- 干预形式:h̃ℓt = hℓt + mt α v,v 为单位引导方向,α 固定,mt∈{0,1} 为门控;预算 p∈(0,1) 是被引导 token 的期望比例。
- 方向构造:对目标语料 D+ 与中性语料 D− 计算每个 SAE 特征的激活差 ∆i,取 top-k(k=10)特征的解码器行求和并归一化得到 v;抑制任务用 α<0,诱发任务用 α>0。探针 u = sign(α)·v 使 ⟨h, u⟩ 越大表示越对齐,读探针不需要 SAE 前向。
CFP:无记忆门控
- 规则:mt = ⊮[⟨h, u⟩ ≤ τ],阈值 τ 校准到预算 p,把预算花在最不对齐的 token 上,每 token 一次内积。
- 局限(作者称):CFP 只看当前激活,无法区分目标区间内的一次短暂下探与持续漂移,可能继续引导已对齐的 span 或过早停止。
CLABS:轨迹感知的 PI 门控
- 信号:把投影标准化为 ŝt = (⟨h, u⟩ − µ)/(σ + ϵ),设定点 s⋆ 是目标对齐水平;跟踪误差 et = s⋆ − ŝt,泄漏积分 ēt = (1−β)ē_{t−1} + βet(EWMA,约覆盖最近 1/β 个 token)。
- 门控:pt = clip(p0 + κp et + κi ēt; 0, 1),mt ~ Bernoulli(pt);比例项响应当前失配,积分项记录近期持续落后,使持续漂移比孤立下探分到更多预算。偏置 p0 校准使实测门控率匹配 p。
- 参数:(κp, κi, β) = (1.0, 0.2, 0.2),s⋆ = 0.75;µ、σ 在校准集上计算;单条轨迹内运行,无 rollouts、回溯或学习打分器。
理论分析
- 线性响应假设:在内部工作点(clip 未激活)设 ŝ_{t+1} = ϕŝt + (1−ϕ)β0 + g·mt + ηt,ϕ 为对齐持续性、g 为引导增益。
- 稳定性(Theorem 1):作者给出充分条件 0 ≤ a < 1 且 gκi < (2−β)(1+a)/β(a = ϕ − gκp),保证闭环状态均值几何收敛、跟踪误差方差有界、时间均方误差的暂态项以 O(1/T) 消失;作者称这是稀疏引导门控的首个稳定性证书。
- 积分作用(Corollary 1):稳态误差 |ess| 随 κi 非增(N≠0 时严格下降),但泄漏积分只减小不消除稳态偏移;作者注明该结论针对固定工作点,不预测匹配预算下各门控的排名。
实现与校准
- 两个模型均在第 16 层残差流干预;方向用每侧 200 条语料构造,100 条校准、300 条评估,三者不重叠。
- 所有方法统一施加三项修正:范数保持、激活截断(投影限 [0, 40])、重复惩罚 1.1;生成 max_new_tokens=128、temperature 0.1。
- 每个门控只调一个参数(阈值 τ 或偏置 p0),在留出校准集上、主动引导状态下用二分法校准到目标 p。
论文做了哪些实验?
两个模型三个目标上比较 7 种门控的行为偏移与质量,CLABS 组件消融确认积分项贡献。
实验设置
- 被测模型:Gemma 2 2B(Gemma Scope SAE)与 Llama 3.1 8B(EleutherAI SAE),均在第 16 层残差流干预。
- 任务:抑制——RealToxicityPrompts 降毒;诱发——GoEmotions(合并为 Ekman 类别)诱发恐惧或悲伤;效用——AlpacaEval 指令遵循。方向语料每侧 200 条,评估 300 条提示。
- 方法:CFP、CLABS;预算基线 SIA-PE、SIA-ER、SRE、STS;无预算参照 No-steer、Full-steer、Prompting。预算 p 取 0.1–0.9(主图)与 0.2/0.5/0.8(效用表)。
- 指标:行为偏移(外部分类器在续写上的分数相对 No-steer 的变化,按任务极性取号);毒性用 RoBERTa 分类器、情绪用 DistilRoBERTa(Ekman 微调)打分;效用为 AlpacaEval 对 No-steer 的胜率,评审为 gpt-5-mini 与 Claude Sonnet 4.6,位置随机、平局记 0.5;另有 PPL、rep-3、distinct-2。
- 重复与样本:全部结果取 3 个随机种子均值;效用实验用 200 条 AlpacaEval 指令,temperature 0.7、max_new_tokens=256。
- 强度:Gemma 2 2B 的 α = −35/30/30(毒性/恐惧/悲伤),Llama 3.1 8B 为 −4/3/2.5,取校准集上保持流畅度的最大幅度。
主结果
Figure 1 给出 6 个模型×目标面板上行为偏移随干预率 p 的曲线(带标准差阴影),正文未给出逐点数值,只报告相对结论;Table 1 为 Gemma 2 2B 降毒方向下的 AlpacaEval 结果(mean±std):
表格较宽,可左右滑动
方法 p 胜率 GPT-5-mini 胜率 Sonnet 4.6 PPL↓ distinct-2↑ No-Steer 0 – – 23.0±2.4 0.91±0.03 Full-Steer 1.0 43.2±2.9 44.9±2.8 41.2±6.8 0.68±0.07 SIA-PE 0.2 58.6±2.5 56.7±2.5 24.8±2.6 0.89±0.04 SIA-PE 0.8 47.1±3.0 49.2±2.9 36.2±5.7 0.74±0.06 STS 0.5 50.1±2.8 52.3±2.8 30.2±3.8 0.81±0.05 CFP 0.5 57.1±2.5 56.4±2.5 24.5±2.6 0.89±0.04 CLABS 0.5 56.2±2.5 55.6±2.5 23.9±2.5 0.90±0.03 CLABS 0.8 51.0±2.8 52.6±2.6 26.5±3.0 0.88±0.04 (据 Table 1;SIA-ER、SRE 及其余预算行从略,结论同正文。)
- 行为偏移:作者称在全部 6 个面板上 CFP 与 CLABS 在匹配预算下偏移最大,小预算时领先最大,达到不确定性门控与随机对照的两到三倍;中等预算下 CLABS 在情绪目标上恢复 Full-steer 偏移的 89–92%。
- 指令遵循:作者称 CFP 与 CLABS 是唯一在两个评审下、每个预算胜率都超过 No-steer 的门控,且流畅度、重复、多样性退化最小;Full-steer 退化明显。
- 例外:SIA-PE 在最小预算下取得最高 GPT-5-mini 胜率(58.6),但作者指出其在该区间的行为偏移最弱、质量随 p 快速下降,Sonnet 评分也略低于本文门控,作者解读为"干预轻"而非有效控制。
CLABS 组件消融
- 设置:Gemma 2 2B 降毒、匹配预算 p=0.5、max_new_tokens=64、3 个种子(Table 3)。
- 结果:开环门控毒性下降 0.12±0.02、PPL 9.8±0.7;I-only 0.15±0.03;P-only 0.21±0.02;完整 PI 的 CLABS 0.24±0.02、PPL 8.6±0.2(No-Steer PPL 8.4±0.2)。I-only 的种子方差最大。
- 作者解读:比例项提供响应性、泄漏积分提供对持续误差的记忆,二者组合在该消融中取得控制与流畅度的最好平衡;Figure 2 的 κp×κi 网格(每格重新校准预算)用于展示增益鲁棒性。
其它模型与目标的效用
- 恐惧(Gemma 2 2B,Table 4):所有方法胜率整体更低;作者称最小预算下 CFP 胜率在两个评审下最高,各预算下 CLABS 的 PPL、重复最低、多样性最高。
- Llama 3.1 8B(Tables 5、6):降毒设置下作者称 CFP 与 CLABS 仍是唯一在两个评审下各预算胜率都超过 No-Steer 的门控;悲伤设置下胜率整体更低,但每个预算下 CFP 或 CLABS 胜率最高,CLABS 流畅度指标保持最好。
其他消融与分析
- 实测干预率(Table 2):所有方法实测率与名义预算偏差在 0.04 以内;CFP 与 CLABS 的实测率区间在每个预算下都不超出 STS 的区间。
- 按实测率重排:作者称按实测而非名义预算比较时,Figure 1 各面板的方法排名不变。
- 开销:CFP 每 token 一次内积(约 5–8 kFLOP),作者估计相对一次前向(约 5–16 GFLOP)的开销量级为 10⁻⁶;CLABS 只多几个标量运算和一次 Bernoulli 采样。
- 定性示例(Tables 7–11):附录给出恐惧、悲伤、降毒及指令遵循的续写示例,作者称本文门控在注入目标属性的同时保持切题,Full-Steer 则偏离或退化。
有什么可以进一步探索的点?
作者在附录 E 列出模型规模、SAE 依赖、单层单方向、目标与语言、自动评估和理论适用范围六方面边界。
作者指出的局限与后续方向
- 模型范围(附录 E):评估只覆盖 Gemma 2 2B 与 Llama 3.1 8B 两个开源基础模型;作者把结论限制在该范围,更大或指令微调的聊天模型留待后续评估。
- SAE 依赖(附录 E):两个门控的方向与门控信号都来自预训练残差流 SAE,假设目标层有质量足够的 SAE;对 SAE 质量的系统性敏感度研究超出本文范围。
- 单层单方向(附录 E):只在一个中间层、每个目标沿单一方向干预;多层、多方向与组合行为引导及跨方向预算分配是作者写明的自然扩展,本文未做。
- 目标与语言(附录 E):只研究毒性、恐惧、悲伤三个有可靠自动打分的英文目标;无可靠自动评分器的行为和非英文设置本文未处理。
- 自动评估(附录 E):行为效果与指令遵循全靠自动分类器和两个 LLM 评审(带位置随机化),作者称该协议降低但不能完全消除评审偏差,人工评估不在本研究内。
- 理论范围(附录 E):稳定性结果只刻画内部工作点附近的一阶线性化闭环,作者不声称对完整非线性解码过程有最坏情形保证。
实验覆盖范围
- 被测模型为 Gemma 2 2B 与 Llama 3.1 8B 共 2 个,均为基础模型。
- 任务覆盖 3 个 span 级目标(降毒、恐惧、悲伤)加 AlpacaEval 指令遵循;效用实验为 200 条指令、3 个种子、2 个评审。
- 对比覆盖 4 个预算门控基线与 3 个无预算参照;SIA 只以其熵选择信号的单次通过门控形式比较,作者注明这不是对完整方法的复现。
- 预算校准与实测率有完整报告(Table 2),CLABS 增益鲁棒性以 κp×κi 网格给出(Figure 2)。
- 论文未报告人工评估,也未报告与 PID Steering 等幅度控制器组合后的实验。
总结一下论文的主要内容
把激活引导建模为预算分配,CFP 与 CLABS 两个门控在匹配预算下行为偏移最大且最保质量。
一篇关于推理时激活引导的方法论文,核心是把"在哪些 token 上引导"从"用多大力气引导"中分离出来单独研究。
- 问题:作者称均匀逐 token 引导使表示偏离训练分布并沿序列累积,行为强度与流畅度此消彼长;已有稀疏或条件方法既不校准到显式预算,也不响应轨迹上累积的对齐度。
- 方法:所有方法共享 SAE 特征差分构造的方向、同一层和同一强度,唯一变量是门控。CFP 用瞬时对齐度阈值把预算花在最不对齐的 token 上;CLABS 把分配当作闭环反馈控制,用比例项加泄漏积分(EWMA)按累计失配设定 Bernoulli 引导概率,持续漂移比短暂下探分到更多预算。
- 理论:在线性转向响应模型上,作者给出 PI 增益的显式稳定区域(Theorem 1),并称积分作用减小但不消除稳态偏移;作者称这是稀疏引导门控的首个稳定性证书,且只对线性化内部工作点成立。
- 结果:在 Gemma 2 2B 与 Llama 3.1 8B、降毒/恐惧/悲伤三个目标上,作者称 CFP 与 CLABS 在匹配预算下行为偏移最大、小预算时领先最大(达不确定性门控与随机对照的两到三倍),中等预算下 CLABS 恢复 Full-steer 情绪偏移的 89–92%。
- 效用:AlpacaEval 降毒设置下,作者称 CFP 与 CLABS 是唯一在 gpt-5-mini 与 Claude Sonnet 4.6 两个评审下、每个预算胜率都超过 No-Steer 的门控;组件消融(Table 3)显示完整 PI(毒性下降 0.24)优于开环(0.12)与单项变体。
- 结论与边界:作者认为轨迹感知分配在小预算下最有价值,CFP 是大预算下更简单的竞争选择;结论限于两个开源基础模型、三个英文目标、单层单方向和自动评估。