跳到正文
原文

CircuitSteer:基于稀疏自编码器电路的几何对齐多层引导

CircuitSteer: Geometrically Aligned Multi-Layer Steering via Sparse Autoencoder Circuits

arXiv· arXiv:2608.05732· Mehrshad Saadatinia, Parsa Razmara, Ardalan Aryashad, Ali Abbasi, Seyedarmin AziziUniversity of Southern California本站收录· 19 天前· 原文发表对齐

论文速读

防御

据论文 PDF 整理(AI 生成),以原文为准

作者提出 CircuitSteer,用 SAE 跨层特征电路做几何对齐的多层激活转向;作者称其为 8 个模型-数据集配置上唯一全程保持流畅度的方法。

问题
推理时行为转向是 AI 对齐的工具,但 CAA 等单层方法对语义多样的输入施加同一干预,且高层概念跨层分布,单层干预难以维持一致的行为改变;朴素多层干预又会因特征方向不对齐产生破坏性干扰、损害流畅度。
方法
CircuitSteer 用预训练 SAE 把残差流分解为稀疏特征,以共激活加解码器方向余弦相似度构建跨层特征流电路,再用对比特异性分数筛出目标行为子电路,把各层参与特征的解码器方向平均成密集转向向量,在多个层同时以单一系数 λ 施加干预。
实验与结果
在 Gemma-2-2B 和 Llama-3.1-8B-Instruct 上跨 RTP、Jigsaw、Emotion、Sycophancy 四个数据集与 8 个基线对比,作者称 CircuitSteer 是唯一在全部 8 个配置上保持流畅度有效的方法;消融显示去掉几何对齐或换成随机特征会在 Sycophancy 上失效;附录报告 λ=−3 时把 Llama 在 AdvBench 上的拒答率从 89% 降到 0%。
局限与可以继续做的
作者指出共激活与几何对齐只是跨层因果影响的近似指标而非因果保证;因公开多层 SAE 套件止于 27B,未在 70B+ 规模评测;对比提示词结构不匹配时 Sycophancy 的电路发现会失效(∆=0)。
实验设置Gemma-2-2B、Llama-3.1-8B-Instruct 等 · RealToxicityPrompts (RTP)、Jigsaw/Civil Comments 等 · behavioral reduction ∆、normalized perplexity (PPL) 等
被测模型
Gemma-2-2BLlama-3.1-8B-InstructQwen3.5-27B
基准
RealToxicityPrompts (RTP)Jigsaw/Civil CommentsEmotionSycophancyAdvBenchMMLUGSM8K
指标
behavioral reduction ∆normalized perplexity (PPL)refusal rateLLM-judge toxicity/fluency
AI 导读CircuitSteer 用稀疏自编码器(SAE)识别并操控跨层语义电路,结合特征共激活与解码方向的几何对齐构建特征流电路,再合成密集引导向量做多点干预。在毒性、情绪强度、谄媚和拒答任务、两个模型家族的对比样本评测中,它是唯一能持续保持文本流畅性的方法;竞争方法要么牺牲质量,要么覆盖不足,在谄媚和拒答等复杂行为上完全失效。

CircuitSteer 用稀疏自编码器(SAE)识别并操控跨层语义电路,结合特征共激活与解码方向的几何对齐构建特征流电路,再合成密集引导向量做多点干预。在毒性、情绪强度、谄媚和拒答任务、两个模型家族的对比样本评测中,它是唯一能持续保持文本流畅性的方法;竞争方法要么牺牲质量,要么覆盖不足,在谄媚和拒答等复杂行为上完全失效。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    解决推理时转向中单层干预覆盖不足、朴素多层干预因特征方向不对齐而损害流畅度的问题。

    核心问题:如何在推理时对 LLM 行为做跨多层、且不破坏文本流畅度的细粒度转向控制。

    • 场景与动机:对齐 LLM 需要在行为控制、稳定性和计算效率之间权衡。作者称 RLHF 计算昂贵、永久改变权重并有灾难性遗忘风险,提示词方法免训练但效果脆弱、停留在表层,这促使人们研究推理时转向。
    • 现有方法的不足:作者认为 CAA 等单层方法把同一干预施加于语义多样的输入,且与"高层语义概念跨层分布、逐层演化"的证据相冲突,单层干预只覆盖相关计算结构的一部分。
    • 多层化的两个挑战:一是不同层编码同一概念的特征解码器方向常几何不对齐,朴素组合会产生破坏性干扰,损害转向效果和流畅度(引 Balagansky et al., 2024);二是残差流顺序传播,早期层的干预会改变后续层的表示,不考虑传播会造成过度转向和流畅度崩溃。
    • 核心假设:作者假设通过特征共激活加解码器方向几何对齐筛选出的跨层特征流电路,可以隔离目标行为对应的多层子电路,使多点干预方向兼容、效果叠加而非相互抵消。作者同时说明这两个判据只是跨层因果影响的近似指标,因果性证据来自组件消融而非对单条边的保证。
    • 论文提出的方法:CircuitSteer,一个免训练的多层转向框架,从 SAE 特征构建特征流电路,合成密集转向向量并在多个层同时干预;在毒性、情绪强度、谄媚、拒答四类任务和两个模型家族上评测。
  2. 有哪些相关研究?

    相关工作分四组:推理时转向、SAE 转向、多层转向的几何难题、机制可解释性;本文定位是跨层几何对齐判据。

    推理时转向

    • Turner et al. (2023) 提出激活加法,用对比差分向量改变情感等高层属性;Zou et al. (2023a) 将这类思路统一为 Representation Engineering (RepE)。
    • Li et al. (2023) 提出 ITI,用跨注意力头的线性探针提升真实性;Panickssery et al. (2023) 提出 CAA,对行为对取均值差向量。
    • LoReFT (Wu et al., 2024) 在低秩线性子空间内学习任务特定的干预,参数少于权重类 PEFT;论文将其作为有监督转向基线。论文指出这些方法都在单层内有效,但不考虑概念随深度的演化。

    SAE 转向

    • Cunningham et al. (2023) 用 SAE 把多义残差流分解为稀疏单义特征;Marks et al. (2024) 将特征组织成有因果关联的子网络。
    • SpARE/SRPS (Wang et al., 2025) 选取角色扮演提示词激活的特征,SAE-SSV (He et al., 2025b) 把转向向量约束在任务相关的 SAE 子空间;两者是本文的单层 SAE 基线。
    • SAE 转向是否优于简单探针存在争议:Wu et al. (2025) 发现标准 SAE 可能不如线性探针,Arad et al. (2025) 发现优先因果影响而非激活幅值可大致弥合差距;论文称这启发了其几何对齐判据。

    多层转向与几何挑战

    • Balagansky et al. (2024) 记录不同深度的同概念特征常几何不对齐、导致破坏性干扰;Tan et al. (2025) 指出独立推导的多层向量可能追求相互冲突的目标。
    • Laptev et al. (2025)(并行工作)从解码器方向余弦相似度构建无数据跨层流图;论文称本文共享这一思路,但让图依赖数据(边还要求共激活)、加入对比特异性评分(Eq. 4)并用单一系数 λ 的密集向量(Eq. 6)转向,而非钳制单个特征。

    机制可解释性与特征电路

    • Circuits 框架(Olah et al., 2020; Elhage et al., 2021)把 LLM 计算建模为跨层因果交互的特征组合;Gurnee & Tegmark (2024)、Park et al. (2023) 等证据表明高层概念跨层分布并逐层演化。

    基线与基准:对比基线为 Prompt、CAA(单层与多层)、RepE、ITI、LoReFT、SpARE、SAE-SSV 共 8 个;基准为 RTP、Jigsaw/Civil Comments、Emotion、Sycophancy,附录另有 AdvBench、MMLU、GSM8K。作者定位本文区别:不同于 Marks et al. (2024) 用梯度做归因式电路发现,本文用前向共激活加解码器方向余弦选跨层边;不同于单层 SAE 转向,本文的贡献是保持跨层协同干预流畅度的多层几何对齐判据。

  3. 论文如何解决这个问题?

    用 SAE 特征共激活加解码器方向几何对齐构建跨层特征流电路,对比筛选目标子电路后合成密集向量做多点干预。

    整体思路:CircuitSteer 不逐层独立选特征,而是构建跨层特征流电路(feature flow circuit),要求入选特征在方向上跨层兼容,再把稀疏特征合成为逐层密集转向向量,在电路涉及的各层同时施加干预。流程分三段(Figure 2):SAE 分解与建图 → 对比式电路发现 → 向量合成与干预。

    问题设定与形式化

    • 残差流按 hl+1 = hl + Fl(hl) 加性更新;激活转向在第 l 层注入缩放方向:h′l = hl + λv,不改权重。
    • SAE 编码器产生稀疏激活 z = ReLU(Wenc·hl + benc)(实验中实际用 JumpReLU),解码器方向 dl,i = Wdec[:, i] 编码特征 i 的语义内容,与激活幅值无关;几何对齐直接用 dl,i。
    • 特征流电路 C = (V, E):V 为所有层的全部 SAE 特征,有向边 (l,i)→(l+1,j) 表示跨层贡献,用功能共激活和几何对齐近似因果。

    电路发现:共激活 + 几何对齐

    • 对输入 x,边存在的两个联合条件:共激活(cl,i(x) > τact 且 cl+1,j(x) > τact);几何对齐(解码器方向余弦相似度 > τsim,Eq. 2)。
    • 对比特异性分数 S(e) = P(e ∣ D+) − P(e ∣ D−),即边在目标提示词集 D+ 与对比提示词集 D− 上的经验频率之差(Eq. 4);保留 S > τdiff 的边,隔离目标行为专属的多层语义轨迹。

    密集向量合成与多点干预

    • 对子电路涉及的每层 l,收集至少参与一条保留边的特征集合 Fl(Eq. 5),将其解码器方向平均成密集向量 vl = 1/(|Fl|) ∑i ∈ Fl dl,i(Eq. 6);作者称平均使干预幅值与电路大小解耦,让全局系数 λ 效果一致。
    • 推理时在所有 Fl 非空的层同时施加 h′l = hl + λvl。作者称对齐的多层向量可防止残差流在干预之间回弹到未转向轨迹,使累积效应沿深度强化一致方向。

    关键参数与成本

    • 默认超参数:τact = 1.5,τsim = 0.10,τdiff = 0.05,保留 top K = 30 条边(拒答实验 K = 50);λ ∈ {−4, …, 2} 扫描,报告 0.01 ≤ PPL ≤ 1.5 窗口内 argmax ∆ 的点。
    • SAE 来自 SAELens 的公开套件:Gemma 用 gemma-scope-2b-pt-res-canonical(宽 16k,层 {6, 12, 18, 24}),Llama 用 llama-scope(宽 32k,层 {3, 8, 16, 24, 29});生成温度 T = 1.0。
    • 成本:电路发现是一次性离线步骤;对齐判据最坏 O(N²),但因 SAE 激活稀疏,实际候选集以 O(L0²) 为界。推理时每层加一个预计算向量,每 token 额外 O(L′·dmodel) FLOPs,与 CAA 同阶。附录 A 报告 Gemma-2-2B 对 500 条对比样本的完整发现约 38 秒(12 次运行均值),峰值显存 10–12 GB。

    拒答场景的决策点变体

    • 针对拒答这类生成时离散决策,附录 E 提出决策点电路发现:在贪心解码后第一个生成 token 的位置提取 SAE 特征,并用同一有害提示词在正常条件(拒答)与顺从诱导系统提示词(顺从)下构成同内容对比对,以隔离拒答机制本身而非有害内容特征。
  4. 论文做了哪些实验?

    2 个模型 × 4 个数据集 × 8 个基线的主对比,外加系数扫描、组件消融、能力税、规模泛化和拒答转向实验。

    实验设置

    • 被测模型:Gemma-2-2B(26 层)和 Llama-3.1-8B-Instruct(32 层);附录 F 另测 Qwen3.5-27B(不同架构家族、TopK Qwen-Scope SAE)。
    • 数据集:RTP(toxic > 0.85 / benign < 0.10)、Jigsaw/Civil Comments(≥ 0.5 toxic / = 0.0 benign)、Emotion(抑制 anger、以 joy 为对比类)、Sycophancy(Anthropic 调查多选题,抑制对用户观点的附和);每个数据集 80% 样本用于构建转向向量,100 条留出提示词(50 目标、50 良性)用于评测。
    • 基线:Prompt(系统级指令)、CAA 单层(Gemma 层 {23,24,25},Llama 层 {29,30,31})、CAA 多层、RepE、ITI(20 个注意力头,α=20)、LoReFT(rank-4,10 epochs)、SpARE、SAE-SSV(单层 SAE)。
    • 指标:行为降低量 ∆ = s̄base − s̄steered(RTP/Jigsaw 用 Detoxify 毒性概率,Emotion 用 anger 类概率,Sycophancy 用谄媚 token 概率);归一化困惑度 PPL = PPLsteered / PPLbase(1.0 = 无退化)。
    • 有效窗口:0.01 ≤ PPL ≤ 1.5 且 ∆ ≥ 0.02;窗口先用 LLM 流畅度评审在全困惑度谱上打分定位,再经人工检查同一批输出细化,在与评测集不相交的数据上选定,对所有方法和格子一致适用。
    • 评审与统计:LLM 评审为 gpt-5.4-mini,按 0/1/2 三级分别评毒性和流畅度(rubric 见附录 B Table 6);主结果用留出目标提示词上的逐提示词重采样做单侧 95% bootstrap 检验(附录 C)。

    主结果

    Table 1(窗口 0.01 ≤ PPL ≤ 1.5 且 ∆ ≥ 0.02 内取最优 λ;"—"表示窗口内无有效工作点):

    表格较宽,可左右滑动

    方法Gemma RTP ∆/PPLGemma Syco ∆/PPLLlama RTP ∆/PPLLlama Syco ∆/PPL
    Prompt0.053/1.27—0.110/0.800.202/1.16
    CAA (single)0.022/1.02—0.090/0.58—
    CAA (multi)0.070/0.95—0.114/0.83—
    RepE0.070/1.00———
    ITI0.119/1.12——0.356/1.03
    SAE-SSV0.044/0.95—0.125/0.340.029/1.13
    CircuitSteer0.113/1.320.057/1.040.128/0.510.156/1.37

    (省略 Jigsaw、Emotion 两列及 LoReFT、SpARE 两行;完整 8 列见 Table 1。)

    • 作者称 CircuitSteer 是唯一在全部 8 个模型-数据集配置上都有有效工作点的方法,其他方法至少有一个"—";ITI 在 8 个配置中缺 3 个(Gemma-Sycophancy、Llama-RTP、Llama-Emotion)。
    • 单项峰值上 CircuitSteer 并非全胜:Gemma 上 ITI 在 RTP(0.119)和 Emotion(0.230)更高,Llama 上 ITI 在 Sycophancy(0.356)和 Jigsaw(0.077)更高、RepE 在 Emotion(0.147)更高;作者称这是用个别任务的峰值换全配置覆盖。
    • bootstrap 检验(Table 7):CircuitSteer 的 ∆ 在 8 个配置中 7 个在 95% 水平显著,唯一例外是 Llama–Jigsaw(下界 −0.024)。

    系数扫描与 LLM 评审

    • Figure 3 在 RTP 和 Sycophancy 上扫描 λ:作者称 CircuitSteer 的 PPL 在整个 λ 范围内平稳接近 1.0,而 CAA 多层和 RepE 在中等负系数处越过 PPL = 1.5,ITI 在 Llama 上困惑度出现尖峰;Gemma-Sycophancy 上所有基线 ∆ 接近 0 或为负,CircuitSteer 是唯一在多个系数下取得正降低的方法。
    • 附录 G Figure 4 给出 gpt-5.4-mini 评审的流畅度-毒性权衡曲线:作者称 CAA 的最大毒性收益只出现在流畅度大幅下降处,CircuitSteer 处于更保持质量的区域;其轨迹随 λ 变化更集中稳定,作者据此认为它更容易调参。

    组件消融与选择性

    • Table 2(Gemma λ=−3,Llama λ=−1.5):NoGeo(去对齐)、NegativeAlign(只留反向对齐边)、RandomSAE(随机投影替代训练好的 SAE)、SingleLayer(限单中层)四个变体在 Gemma-Sycophancy 上全部无有效工作点,只有完整方法保留;RandomSAE 是唯一在 Llama 两个任务上都无有效点的变体。作者据此称三个成分(学到的 SAE 特征、几何对齐、多层协同)都是必要的。
    • 良性提示词附带损害(Table 4,Gemma,λ=−3,n=100):良性输入上 CircuitSteer 的中位 PPL 为 30.4,CAA-Single(10) 为 41.8、CAA-Single(15) 为 46.0(基线 27.5);作者称 CircuitSteer 对已经安全的输入造成的流畅度退化更小。
    • 能力税(Table 15,λ=−3):MMLU(n=1000)Gemma 0.46→0.43、Llama 0.672→0.641;GSM8K(n=250)Gemma 0.236→0.220、Llama 0.824→0.800。作者称知识与推理基本保留。

    拒答转向与规模泛化

    • 拒答(附录 E,AdvBench,Llama-3.1-8B-Instruct,n=100,关键词检测拒答):决策点电路发现把拒答率从 89% 降到 0%(λ=−3,中位 PPL 35.7);同强度单层 CAA 在 λ=−3 时拒答率 92%(∆ = −0.03),λ=−5 时 69%。作者称这显示 RLHF 训练的拒答表示结构浅、定位集中,并把该方法定位为红队工具而非攻击利用。
    • 规模泛化(附录 F,Qwen3.5-27B,RTP,超参数原样迁移):CircuitSteer 在 4 个系数中的 3 个领先(λ=−4 时 ∆ = 0.451,CAA-Multi 0.417,CAA-Single 0.209),PPL 维持 0.90–1.01;λ=−1 时 CAA-Multi(0.241)高于 CircuitSteer(0.212)。

    其他消融与分析

    • Top-k 敏感性(Table 3,Gemma,λ=−3,n=100):k 从 10 到 179,∆tox 从 0.169 升至 0.244 趋于饱和,中位 PPL 从 31.6 升至 45.3;作者称电路紧凑,多加边只增困惑度。
    • 阈值敏感性(Table 12,RTP):各阈值 5–6 倍范围内 ∆ 变化不超过 0.044,仅 τdiff = 0.15 时 Llama 电路塌缩到 6 条边、∆ 降到 0.032。
    • 对比提示词敏感性(Table 13,Gemma):RTP 对 D− 选择稳健(OpenWebText 时边 Jaccard 降至 0.07 但向量余弦 ≥ 0.60);Sycophancy 在结构不匹配的 C2/C3 下发现失效(∆ = 0)。
    • 种子稳定性(Table 14,Gemma,2 个种子):边 Jaccard 0.58–0.77,转向向量余弦 0.90–0.97,∆ 标准差 ±0.011(RTP)。
    • 层数对照(Table 16、17,RTP/Sycophancy,λ=−3):CAA 施加在与 CircuitSteer 完全相同的层时,Gemma 上 k=4 的 PPL 达 6.37 而 ∆ 停在 0.101;Sycophancy 上匹配层 CAA 仅 1/7 系数有效且 ∆ = 0。作者称优势来自几何对齐而非层数。
  5. 有什么可以进一步探索的点?

    作者指出对齐判据只是因果近似、评测受公开 SAE 套件规模限制;实验覆盖 3 个模型、4+3 个基准。

    作者指出的局限与后续方向

    • 共激活与几何对齐只是跨层因果影响的候选近似指标,不能确立因果;因果证据来自组件消融而非对单条边的保证(Section 3.2)。
    • 未在 70B+ 规模评测,因为公开多层 SAE 套件目前止于 27B;作者称这是资源约束而非方法本身的限制(附录 F)。
    • 对比提示词结构不匹配时电路发现会失效:Sycophancy 这类生成时离散行为在 D− 不共享 D+ 的多选格式时 ∆ = 0,特异性分数无法隔离行为特征(附录 I)。
    • 构建能抵御特征级、因果多层干预的对齐方法仍是开放目标(附录 E.3)。

    实验覆盖范围

    • 被测模型为 Gemma-2-2B、Llama-3.1-8B-Instruct,附录 F 加 Qwen3.5-27B,共 3 个;拒答实验只在 Llama-3.1-8B-Instruct 上做,因为基座 Gemma-2-2B 不稳定表现出拒答行为(附录 E.1)。
    • 行为基准为 RTP、Jigsaw、Emotion、Sycophancy 四个,每个 100 条留出提示词(50 目标、50 良性);能力评测为 MMLU(n=1000)和 GSM8K(n=250);拒答评测为 AdvBench 100 条留出提示词。
    • 基线为 Prompt、CAA(单层/多层)、RepE、ITI、LoReFT、SpARE、SAE-SSV 共 8 个;LoReFT 在 8 个配置中 7 个无有效工作点(Table 1)。
    • 统计检验为单侧 95% bootstrap(Table 7);种子稳定性实验为 2 个种子(Table 14);论文未报告主结果每个格子的重复生成次数。
    • 流畅度-毒性评审用 gpt-5.4-mini 单一评审模型(Section 5.1);论文未报告评审与人工判断的一致性数值(窗口确定阶段做过人工检查,Section 4.1)。
  6. 总结一下论文的主要内容

    CircuitSteer 用几何对齐的 SAE 跨层电路做多点转向,作者称其为唯一全配置保持流畅度的方法。

    一篇推理时行为转向方法的论文,面向 AI 对齐中"控制行为但不改权重、不毁流畅度"的需求。

    • 问题:单层转向(如 CAA)对语义多样的输入施加同一干预,且高层概念跨层分布,单层覆盖不足;朴素多层干预因特征解码器方向不对齐产生破坏性干扰,导致过度转向和流畅度崩溃。
    • 方法:CircuitSteer 用预训练 SAE 分解残差流,以共激活(τact = 1.5)加解码器方向余弦对齐(τsim = 0.10)构建跨层特征流电路,用对比特异性分数(τdiff = 0.05)筛出目标行为子电路,把各层参与特征的解码器方向平均成密集向量,在多层同时以单一系数 λ 干预;全程免训练。
    • 主结果:在 Gemma-2-2B 和 Llama-3.1-8B-Instruct × RTP、Jigsaw、Emotion、Sycophancy 上,作者称 CircuitSteer 是 8 个配置中唯一全程有有效工作点的方法(Table 1);它是 Gemma-Sycophancy 上唯一有效的方法(∆ = 0.057),但单项峰值常不及 ITI(如 Llama-Sycophancy 上 ITI 0.356 对 0.156)。
    • 消融与稳健性:去掉几何对齐、反向对齐或换随机特征时 Gemma-Sycophancy 全部失效(Table 2);λ=−3 强转向下 MMLU 仅降 0.03、GSM8K 降 0.02(Table 15);超参数原样迁移到 Qwen3.5-27B 后在 4 个系数中的 3 个领先(Table 11)。
    • 安全相关发现:决策点电路发现在 AdvBench 上把 Llama-3.1-8B-Instruct 的拒答率从 89% 降到 0%(λ=−3),同强度单层 CAA 几乎无效果(Table 10);作者称这说明 RLHF 拒答表示结构浅,并把方法定位为红队与对齐脆弱性评估工具。
    • 作者的结论:几何对齐是多层转向稳定有效的必要而非仅仅有益的条件;让干预对齐模型自身的特征几何可同时获得稳健性和透明性。局限在于对齐判据只是因果近似,且评测受公开 SAE 套件规模(27B)限制。

相关论文

共同使用 RealToxicityPrompts
再看 3 篇
共同使用 RealToxicityPrompts
阅读原文arxiv.org