跳到正文
原文

基于注意力残差的深度感知激活转向

Depth-Aware Activation Steering via Attention Residuals

arXiv:其他 AI 安全论文· arXiv:2611.21655· Shilong Zhao·本站收录· 2 天前· 原文发表对齐· 扫描记录里的位置 →
AI 导读

研究者在 Qwen3-0.6B 与 Qwen3.5-0.8B 两个小型开源模型上,将 Attention Residuals 的跨层通路与 Jacobian-lens 概念读出结合,提出低开销的深度感知激活转向(activation steering)流程。按深度权重分布 persona 向量比单层注入带来更强的深层概念对齐(p<0.0001)与行为偏移;效应具有符号特异性,反向向量使六项指标全部反转,随机方向降低对齐,短暂 LoRA 微调即可消除印记,且注入只严格重塑注入点下游的注意力(上游 JS=0.00000)。在转向目标上训练深度权重(200 步、冻结主干)使留出提示上的最终对齐提升 10 倍,跨 persona 向量保留 96-99% 的效应,代码与数据已公开。

阅读原文arxiv.org