基于注意力残差的深度感知激活转向
Depth-Aware Activation Steering via Attention Residuals
AI 导读
研究者在 Qwen3-0.6B 与 Qwen3.5-0.8B 两个小型开源模型上,将 Attention Residuals 的跨层通路与 Jacobian-lens 概念读出结合,提出低开销的深度感知激活转向(activation steering)流程。按深度权重分布 persona 向量比单层注入带来更强的深层概念对齐(p<0.0001)与行为偏移;效应具有符号特异性,反向向量使六项指标全部反转,随机方向降低对齐,短暂 LoRA 微调即可消除印记,且注入只严格重塑注入点下游的注意力(上游 JS=0.00000)。在转向目标上训练深度权重(200 步、冻结主干)使留出提示上的最终对齐提升 10 倍,跨 persona 向量保留 96-99% 的效应,代码与数据已公开。