通过输入优化构造 steering vector
Creating Steering Vectors via Input Optimisation
作者提出 ActGCG,用 GCG 搜索离散后缀来复现 steering vector 的激活;德语行为复现较好,反拒答方向在 HarmBench 下较弱。
作者研究输入后缀能否复现 steering vector 的行为:优化阶段需要白盒访问以构建 steering vector 和读取激活,生成阶段无需访问模型内部。
- Activation steering 需要在生成时修改模型内部激活,只能经聊天接口访问模型时不可行。作者问:能否用一个输入后缀复现 steering vector 的行为,从而无需在生成时接触模型内部。
- 作者提出 ActGCG:把 GCG 的交叉熵损失换成与"加了 steering vector 后的目标激活"的平方误差,在 filler token 位置、四个层上匹配;另扩展出 universal suffix、优化中途用更大模型把后缀改写成可读文本的 model translation,以及连续嵌入的 soft suffix 变体。
- 德语方向:离散后缀几乎复现 steering vector 行为(Gemma-2-2B 86.7%、Qwen3-1.7B 96.7%,30 prompts),universal suffix 可迁移到同族小模型。反拒答方向较弱:phrase-based 指标高(90.9%)但 HarmBench 越狱率仅 27.3%(Gemma-2-2B,n=22),跨模型迁移差。
- 作者指出:只测了德语和拒答两个概念;规模小(22–60 prompts)、大多单一 seed;离散 token 空间限制匹配精度;方法受 steering vector 本身强度限制;评审不完美,phrase-based 指标不是安全性的好代理。
- 威胁模型
- 作者研究输入后缀能否复现 steering vector 的行为:优化阶段需要白盒访问以构建 steering vector 和读取激活,生成阶段无需访问模型内部。反拒答方向针对开源小模型,用 HarmBench 分类器判定越狱。
- 被测模型
- Gemma-2-2B-itQwen3-1.7BLlama-3.2-3BQwen3-4BGemma-1.1-2BGemma-2-9BQwen2.5-1.5BLlama-3.2-1B
- 基准
- Dolly instruction datasetArditi et al. harmful/harmless instruction datasets
- 指标
- German success rate (langdetect)HarmBench jailbreak ratephrase-based anti-refusal rateL2 distance / cosine to target activations
Batuhan Akar 的学士论文提出 ActGCG,把 GCG 的优化目标从固定输出字符串改为匹配 steering vector 加入残差流后的激活,使 steering 行为可仅靠输入后缀复现,生成时无需访问模型内部。在 Gemma-2-2B、Qwen3-1.7B 等四个开放权重小模型上,德语后缀几乎完全复现 steering 行为且跨提示、跨模型迁移良好;反拒答(越狱)方向在规避拒答短语的指标下成功率高,但在更严格的 HarmBench 分类器下仅部分成功,跨模型迁移也差。论文还提出跨提示训练的 universal suffix、中途用更大模型把后缀改写为可读文本的 model-translation,以及作为匹配上限的 soft-suffix 变体。作者称这项等价性研究的目的是防御性的。
推荐理由研究显示 steering vector 的行为可由输入后缀复现,但越狱方向成功率有限且跨模型迁移差。
深度解读
这篇论文试图解决什么问题?
作者问:能否用输入后缀复现 steering vector 的行为,使生成时无需访问模型内部。
核心问题:steering vector 诱导的行为能否仅通过一个输入后缀复现,从而在生成时完全不需要访问模型内部。
- 场景与动机:activation steering 把 steering vector 加到 residual stream 上引导模型行为,便宜且可解释,但需要在每个生成步修改 hidden states,只能经聊天接口访问模型时不可行(作者说法)。
- 现有方法:GCG 从输入侧优化离散后缀,但目标是让模型输出某个固定字符串(如肯定前缀),并不针对内部激活。作者认为两者之间存在未被研究的等价关系。
- 核心观察:作者基于 linear representation hypothesis,假设概念对应激活空间中的方向;若某后缀在 filler token 位置产生的激活与"加了 steering vector 后的激活"一致,则该后缀应复现同一行为。
- 论文提出:ActGCG(把 GCG 的损失换成激活匹配的平方误差),外加 universal suffix(跨 prompt 共享)、model translation(优化中途把后缀改写成可读文本)和 soft suffix(连续嵌入,作为上界)三个扩展;在德语回答和反拒答(jailbreak)两个概念上检验。
- 威胁模型:
- 攻击者目标:反拒答方向下让模型对有害请求不拒答并通过 HarmBench 判定;德语方向下让模型用德语回答。
- 知识:优化阶段需要白盒访问(构建 steering vector、读取激活、跑 GCG);论文未用 black-box/white-box 术语明确标注威胁模型类别。
- 能力:只能控制输入 prompt 的后缀;生成阶段不接触模型内部。
- 受害系统:开源小模型(Gemma-2-2B-it、Qwen3-1.7B、Llama-3.2-3B、Qwen3-4B 等)。
有哪些相关研究?
相关工作分 steering vector 构建、GCG 及其变体两组;SSR 是最接近的先前方法。
Steering vector 构建方法
- ActAdd(Turner et al., 2023):用单个对比对,在某一层记录激活并相减得到 steering vector,生成时加在一个 token 位置。
- CAA(Rimsky et al., 2024):推广到多个对比对,取单层最后 token 位置的均值差,生成时加在每个 token 位置;本文的 steering vector 沿用这一 difference-of-means 做法。
- ITI(Li et al., 2023)与 RepE(Zou et al., 2023):ITI 在 attention head 空间训练线性探针选 top-K 头做干预,针对 truthfulness;RepE 对每层的差向量做 PCA 取第一主成分。论文还提到 SAE steering 更难评估、未显示明确优势(转述他人讨论)。
GCG 及其变体
- GCG(Zou et al., 2023):优化离散后缀使模型以选定的肯定字符串开头,用 top-k 梯度坐标贪心搜索;本文保留其离散搜索、只改损失。
- Steering-SSR(Winninger et al., 2025):最接近的先前方法,同样优化后缀去匹配加了 steering vector 的激活,但用逐层余弦相似度损失。作者称自己无法复现其报告的越狱成功率——用自己的分类器重新判定该论文的输出后得到的比率明显更低,作者归因于 jailbreak judge 的选择。
- PEZ(Wen et al., 2023):软硬结合的梯度离散优化,每轮把连续嵌入投影到最近词表 token 再回传梯度。
其他
- Prompt translation(Li et al., 2024):把不可读后缀改写成流畅文本的想法,本文借用在 universal 设置的中途改写步骤。
- 基线与基准:对比基线为原始 GCG、SSR(两种读取位置变体)和 soft suffix;数据用 Dolly instruction dataset(德语/英语对比对)和 Arditi et al. (2024) 的 harmful/harmless 指令集;评审用 HarmBench-Llama-2-13b 分类器和 langdetect 库。
作者将本文定位为:把 GCG 的目标从固定输出字符串改为 steering vector 诱导的完整目标激活(L2 损失、多位置多层匹配),并系统检验后缀与 steering vector 之间的等价关系。
论文如何解决这个问题?
ActGCG 保留 GCG 的离散搜索,把损失换成与 steering vector 目标激活的平方误差。
整体思路:先用 CAA 式 difference-of-means 构建 steering vector,再把 GCG 的交叉熵损失替换为"后缀前向传播的激活"与"加了 steering vector 后的目标激活"之间的平方误差,用标准 GCG 离散搜索最小化它,得到 ActGCG。
Steering vector 构建
- 方法:CAA 式 difference-of-means。德语方向用 Dolly 数据集的德语 prompt(正)与英语对应(负),在 response 倒数第 2 个 token(位置 −2)读取;拒答方向用 Arditi et al. 的 harmful(正)/harmless(负)指令集,在 prompt 最后 token(−1)读取,Qwen3 因 chat template 插入空 reasoning scaffold 而读 −5。
- 多层:每个模型选 4 个偏中后部的层(Table 3.1:Gemma-2-2B 选 10/14/18/22,Qwen3-1.7B 选 10/13/16/20,Llama-3.2-3B 选 12/16/20/24,Qwen3-4B 选 14/18/22/28),每层各建一个向量。
- 反拒答方向:取拒答向量的负(相当于负 α)。作者称层和位置是试了多种组合后选的,不声称最优。
ActGCG 目标
- 目标构建:对每个目标层 ℓ,把 α·vℓ 加到 plain prompt 的每个 filler token 位置(chat template 中位于用户 prompt 之后、response 之前的固定 token),读出目标激活 tℓ,p。
- 损失:L(s) = ∑ℓ ∈ L ∑p ∈ F | aℓ,p(x | s) − tℓ,p |2,即后缀 s 的激活与目标激活在 4 层、所有 filler 位置上的平方误差之和;含义:让后缀自身的前向传播复现 steering 后的内部状态。
- 为什么用 filler 位置:response token 每次生成不同、方差大;filler token 对每个 prompt 都存在且紧邻生成位置,多个位置提供更强的 steering 信号(作者说法)。
- 默认参数:后缀 20 token、初始化为 "x x ... x",250 步,search width 512,top-k = 256,每步替换 1 个 token,固定 seed 0;德语 α = 2.0,拒答 α = 1.0。
Universal suffix 与 model translation
- Universal suffix:一条后缀在 N 个训练 prompt 上联合优化,每步的 token 替换取决于各 prompt 梯度之和;在训练集和新 prompt 上评估泛化,并把后缀迁到同族其他模型评估跨模型迁移。
- Model translation:借鉴 Li et al. (2024),先跑一半步数(step 125 处),调用一个更大的 proposer 模型(GPT-5.5 或 Llama-3.1-8B)把当前后缀改写成同长度的流畅文本,再从改写结果继续优化;另对比只在最后改写一次的 end_ask 变体。
Soft suffix 与判定方式
- Soft suffix:把 20 个离散 token 换成连续嵌入,用 Adam(lr 0.05,150 步)直接优化同一激活匹配损失,作为离散搜索可达性的上界。
- 德语判定:langdetect 库输出 "de" 且文本非重复退化才算成功。
- 拒答判定:主指标为 HarmBench-Llama-2-13b 分类器的越狱率;另用拒答短语匹配(phrase-based)作辅助指标。作者称比较过 gpt-5.5、claude-opus-4.8 和 HarmBench-Mistral-7b-val-cls 后选定 Llama 分类器,理由是前两者难以取得分数、Llama 版在文献中更常用。
论文做了哪些实验?
德语方向离散后缀接近复现 steering vector;反拒答方向 phrase-based 高但 HarmBench 低。
实验设置
- 被测模型:主模型 Gemma-2-2B-it、Qwen3-1.7B、Llama-3.2-3B、Qwen3-4B;迁移目标 Gemma-1.1-2B、Gemma-2-9B、Qwen2.5-1.5B、Llama-3.2-1B。
- 数据:德语用 Dolly 数据集,per-prompt 30 个测试 prompt,universal 20 训练 + 30 测试;拒答用 Arditi et al. 有害测试集,breadth split 22 个 prompt(每类 1 个),depth split 共 60 个(4 类各 5 训练、5 同类测试、5 新类)。
- 基线:原始 GCG(固定目标字符串)、SSR(faithful 单 token 与 filler 两种变体)、soft suffix(连续嵌入上界)、无后缀的 None 基线。
- 指标与评审:德语成功率用 langdetect(输出 "de" 且非重复);拒答主指标为 HarmBench-Llama-2-13b 越狱率,辅助为 phrase-based 拒答短语规避率。
- 默认设置:后缀 20 token、250 步、width 512、top-k 256、seed 0;德语 α = 2.0、拒答 α = 1.0;除 seed sweep(5 个 seed)外均为单次运行。
主结果
Per-prompt 对比(Table 4.2、4.3、4.7、4.8;德语 n=30、拒答 breadth n=22,%):
表格较宽,可左右滑动
模型 任务 原始 GCG SSR (filler) ActGCG Gemma-2-2B 德语 36.7 53.3 86.7 Qwen3-1.7B 德语 83.3 未报告 96.7 Gemma-2-2B 拒答 HarmBench 13.6 22.7 27.3 Gemma-2-2B 拒答 phrase 36.4 100.0 90.9 Qwen3-1.7B 拒答 HarmBench 50.0 未报告 40.9 Qwen3-1.7B 拒答 phrase 100.0 未报告 90.9 - 作者称德语方向 ActGCG 在两个模型上都优于原始 GCG 和 SSR 两种变体,且 filler 位置读取优于单 token。
- 拒答方向:ActGCG 在 Gemma-2-2B 上 HarmBench 高于 GCG 和 SSR,但在 Qwen3-1.7B 上低于原始 GCG;phrase 指标下 ActGCG 略低于 SSR 变体。作者称激活目标与 GCG 的固定字符串目标整体相当,未见大改进。
- 目标本身的上限:steering vector 直接加在 filler 位置时德语成功率 90.00%(Table 4.1,Gemma-2-2B);拒答方向 HarmBench 上限在 α ∈ [1.0, 1.5] 处为 50.00%(Table 4.6),作者认为这是拒答成功率整体偏低的可能原因。
Universal suffix 与跨模型迁移
- 德语(Table 4.4,α = 2.0,20 训练 prompt):训练集 90.0–95.0%,测试集 73.3–96.7%;迁到同族较小模型(Gemma-1.1-2B 65.0%、Qwen2.5-1.5B 95.0%、Llama-3.2-1B 95.0%)好于迁到更大模型(Gemma-2-9B 5.0%、Qwen3-4B 60.0%)。
- 拒答(Table 4.9、4.10):breadth split 训练 HarmBench 36.4–45.5%、测试 31.8–59.1%;迁移明显下降(如 Gemma-2-9B 0.0%、Llama-3.2-1B 4.5%)。作者称后缀能泛化到未见类别,但跨模型迁移差;phrase 指标约为 HarmBench 的两倍。
Model translation 与 soft suffix
- 德语 model translation(Table 4.5,step 125 处改写):GPT-5.5 作 proposer 时 Gemma-2-2B 训练 95.0/测试 96.7,迁到 Gemma-2-9B 达 100.0(无翻译时仅 5.0,Table 4.4);Llama-3.2-3B 训练/测试均 100.0。作者称中途改写对德语有益,尤其利于跨模型迁移;end_ask 变体更差(如 Llama-3.1-8B 作 proposer 时 0.0)。
- 拒答 model translation(Table 4.11、4.12):整体不如无翻译的 universal 版本,作者称德语可能比更复杂的拒答概念更容易被改写成连贯含义。
- Soft suffix(Table 4.13,30 德语 prompt):α = 1.0 时 Gemma-2-2B 96.67%、Qwen3-1.7B 93.33%,高于离散版本,作者称这说明离散 token 空间是一个限制;α = 2.0 时 Qwen3-1.7B 降到 70.00%,作者归因于向量过强导致空输出。把 soft token 投影回最近词表 token 的尝试完全失败(0 条德语回复,Section 4.16)。
其他消融与分析
- α sweep(Figure 4.1、4.2):德语 α = 2.0 在 Gemma-2-2B 与 Qwen3-1.7B 上成功率最高,5 seed 下结论不变;拒答后缀在 α = 0.5 略好于 1.0,但目标本身在 α ∈ [1.0, 1.5] 峰值,故默认取 1.0。
- 后缀长度(Figure 4.3,Gemma-2-2B,5 seed):长度 20 时方差低,更长收益小,故固定 20。
- 更多步数(Table 4.15,拒答 breadth):500 步比 250 步 HarmBench 更高(Gemma-2-2B 27.3→31.8,Qwen3-1.7B 40.9→54.5),但耗时增加,仍用 250 步。
- 精度(Table 4.16,Gemma-2-2B,α = 1.0):fp32 70.00% 高于 bf16 53.33%,差距在 seed 方差范围内,仍用 bf16。
- 反向等价(Table 4.17):从后缀还原的 steering vector 也能复现行为,均值向量(α = 2.0 时 80.00%)好于 per-prompt 向量(63.33%)。
- 前缀 vs 后缀(Table 4.18,Gemma-2-2B 德语):前缀最优 66.67%(filler-only 目标,α = 3.0),仍低于后缀;覆盖 prompt 位置的目标反而更差。
- 初始化(Table 4.19):用可读指令 "Please answer in German" 初始化与 "x x ... x" 几乎无差别(如 Qwen3-1.7B 96.67 vs 90.00)。
- 数据集构建变体(Table 4.14,α = 1.0):固定英语 prompt 只对比回答语言,无一致改进(Qwen3-1.7B 80.00→83.33,Gemma-2-2B 53.33 持平)。
有什么可以进一步探索的点?
作者列出概念覆盖、规模、离散空间、评审等局限,并提出测更多概念、改进损失与向量构建。
作者指出的局限与后续方向
- 概念覆盖(Section 5.1):成功率 heavily 取决于被 steering 的概念,只测了德语和拒答两个,无法推断其他概念的表现。
- 规模(Section 5.1):评测规模较小(德语 30 prompt、拒答 22–60),多数运行用单一固定 seed,分数可能随 prompt 或 seed 变化。
- 离散空间限制(Section 5.1):离散 token 搜索限制了对目标激活的匹配精度,soft suffix 的更低损失构成上界,其间差距反映离散空间造成的成功率损失。
- 受限于 steering vector(Section 5.1):后缀只能复现 steering vector 本身能诱导的行为;且匹配激活不是行为的保证——后缀可以贴近目标激活却仍越狱失败。
- 评审不完美(Section 5.1):安全性测量 heavily 依赖 judge;phrase-based 指标不是安全性的好代理(避开拒答短语不等于给出有害内容);langdetect 偶尔误判含英文名的短德语回复。
- 后续方向(Section 5.3):测更多概念;尝试平方 L2 之外更鲁棒的损失;寻找比 difference-of-means 更好的 steering vector 构建方法;用其他模型的激活等非 steering-vector 目标检验等价关系。
实验覆盖范围
- 被测模型共 8 个:4 个主模型(Gemma-2-2B-it、Qwen3-1.7B、Llama-3.2-3B、Qwen3-4B)加 4 个迁移目标,均为开源小模型。
- 概念仅 2 个:德语回答与反拒答;样本量为德语 30(per-prompt)/20+30(universal),拒答 breadth 22、depth 60。
- 除 Gemma-2-2B 的 α sweep 和后缀长度实验跑 5 个 seed 外,其余均为单一 seed 0 的单次运行;论文未报告置信区间或统计检验。
- 拒答评审只用 HarmBench-Llama-2-13b 一个分类器(作者称比较过 gpt-5.5、claude-opus-4.8、HarmBench-Mistral-7b-val-cls 后选定);论文未报告评审与人工判断的一致性。
- 优化预算固定为 250 步、后缀 20 token(另测 500 步与长度 5–50 的变体);论文未报告每次优化的具体耗时或查询次数数字。
总结一下论文的主要内容
ActGCG 用离散后缀复现 steering vector 行为:德语近乎成功,反拒答在严格评审下较弱。
一篇关于 activation steering 与输入攻击等价性的学士论文:作者问 steering vector 诱导的行为能否仅靠一个输入后缀复现,使生成时无需访问模型内部。
- 方法:ActGCG 保留 GCG 的离散 token 搜索,把交叉熵损失换成后缀激活与"加 steering vector 后目标激活"在 4 层 filler token 位置上的平方误差;另有 universal suffix(多 prompt 联合优化)、model translation(step 125 处由 GPT-5.5 或 Llama-3.1-8B 改写为可读文本)和 soft suffix(连续嵌入上界)三个扩展。
- 德语方向:per-prompt 成功率 Gemma-2-2B 86.7%、Qwen3-1.7B 96.7%(30 prompt,Table 4.2),接近 steering vector 本身 90.00% 的上限(Table 4.1),优于原始 GCG(36.7/83.3)和 SSR(最高 53.3)。
- 反拒答方向:Gemma-2-2B 上 phrase-based 成功率 90.9%,但 HarmBench 越狱率仅 27.3%(n=22,Table 4.7);Qwen3-1.7B 上 HarmBench 40.9%,低于原始 GCG 的 50.0%。作者称 substring 指标约为 HarmBench 的两倍,等价性在该概念上较弱。
- 迁移:德语 universal suffix 迁到同族较小模型较好(Qwen2.5-1.5B、Llama-3.2-1B 均 95.0%),迁到更大模型差(Gemma-2-9B 5.0%);model translation 后德语迁移提升(Gemma-2-9B 达 100.0%),拒答则整体变差。
- 反向等价:从后缀还原的 steering vector 也能复现行为(均值向量 α = 2.0 时 80.00%,Table 4.17),作者认为这支持后缀与 steering vector 的等价关系。
- 作者结论:steering vector 的行为可以从输入侧达到、生成时无需模型内部访问,但损失取决于概念;作者称实际攻击价值有限(越狱率不高、跨模型迁移差),并把工作定位为防御动机——为抵御"复现恶意概念向量"的输入做铺垫。