跳到正文
原文
arXiv：可解释性· arXiv:2610.07722· Haotian Yang, Huikang Jiang, Yucheng Wu, Wen-Jie Jiang, Chenpeng Wang, Yibin Lou, Liangming Pan·本站收录· 原文发表

SteerScope：面向 LLM 引导方法的多维评测套件

Does Steering Break Your Model? A Multi-Dimensional Evaluation Suite for LLM Steering Methods

论文速读

评测与基准

据论文 PDF 整理（AI 生成），以原文为准

作者用SteerScope评23法：无activation steering在副作用不更大时超过Prompt。

问题
Activation steering要诱导目标行为，同时限制意外改变，并在不同输入与训练数据下保持效果。作者称现有评测只覆盖这些维度的片段，功效与副作用的权衡尚未被系统刻画。
方法
SteerScope把评测分成Steering Outcomes与Method Properties两条轴、共15项指标。在匹配模型、任务与协议下，对23种方法扫描干预强度，比较功效–副作用权衡，而不是只比一个工作点。
实验与结果
作者称两个Gemma-2-it上，无activation steering在复合副作用不更大时超过Prompt Steering。9B上A-PSR的Concept Expression升1.30、副作用0.12。
局限与可以继续做的
论文未专门讨论局限。评测为两个Gemma-2-it，单点干预在layer 20；廉价指标500个concept，昂贵指标50个，SFT为20个；跨语言只测text concept。
实验设置Gemma-2-2B-it、Gemma-2-9B-it · CONCEPT500、AlpacaEval 等 · Concept Expression、composite side effect 等
被测模型
Gemma-2-2B-itGemma-2-9B-it
基准
CONCEPT500AlpacaEvalX-AlpacaEvalSuperGLUEMMLUMATHIFEvalJailbreakBenchBBQTruthfulQA
指标
Concept Expressioncomposite side effectOverallCross-Lingual RetentionSample EfficiencySample SensitivityASRFRR
AI 导读研究者提出 SteerScope，一个双轴、多维的 LLM 引导方法评测套件，通过 15 项指标同时刻画引导效果与方法属性。该套件从语言质量、任务能力和安全与可靠性三方面评估目标效果与副作用，并用样本效率和样本敏感性等引导专属指标衡量泛化性与数据依赖。在匹配模型、任务和评测协议下，研究团队基准测试了覆盖 4 个家族的 23 种方法，包括提示、LoRA 和 SFT 等基线方法，并将套件作为可扩展代码库发布。结果显示，现有激活引导方法在效果与副作用的整体平衡上尚未超过 Prompt Steering 基线：在两个模型规模上，没有一种受评激活引导方法能在不带来更大综合副作用的情况下取得更高效果。研究还发现引导效果与副作用之间存在一致的耦合关系，在 OOD 提示下目标效果通常得以保持，但副作用往往更明显，尤其表现为指令相关性和流畅度下降；不同方法的样本效率特征差异显著。

研究者提出 SteerScope，一个双轴、多维的 LLM 引导方法评测套件，通过 15 项指标同时刻画引导效果与方法属性。该套件从语言质量、任务能力和安全与可靠性三方面评估目标效果与副作用，并用样本效率和样本敏感性等引导专属指标衡量泛化性与数据依赖。在匹配模型、任务和评测协议下，研究团队基准测试了覆盖 4 个家族的 23 种方法，包括提示、LoRA 和 SFT 等基线方法，并将套件作为可扩展代码库发布。结果显示，现有激活引导方法在效果与副作用的整体平衡上尚未超过 Prompt Steering 基线：在两个模型规模上，没有一种受评激活引导方法能在不带来更大综合副作用的情况下取得更高效果。研究还发现引导效果与副作用之间存在一致的耦合关系，在 OOD 提示下目标效果通常得以保持，但副作用往往更明显，尤其表现为指令相关性和流畅度下降；不同方法的样本效率特征差异显著。

深度解读

6个问题，点开问题读完整回答

  1. 这篇论文试图解决什么问题？

    现有steering评测只覆盖碎片维度，SteerScope用15项指标看功效与副作用权衡。

    activation steering 要在诱导目标概念的同时限制意外改变，并在输入分布与训练数据变化下仍成立；现有评测没有把这两件事放进同一套协议。

    • 场景： 作者称模型部署到多样任务后，细粒度行为控制变得重要。Prompting 没有连续调节强度的显式机制，微调则要额外训练并更新参数。
    • 已有现象： 作者称干预效果不一定停在目标概念上，已有工作报告生成质量、任务表现，以及偏见、拒绝与越狱易感性的变化，并认为可能来自概念纠缠。效果还随输入分布，以及构造干预所用数据的数量与组成变化。
    • 评测缺口： 作者称 AxBench 的副作用限于 instruction following 与 fluency；SteeringSafety 以安全纠缠为中心；CLaS-Bench 专做跨语言控制；FaithSteer-BENCH 在单一校准工作点看部署时可靠性，不覆盖语言质量或安全副作用。Figure 1 用覆盖矩阵标出这些空缺。
    • 本文做法： SteerScope 用两条轴、15 项指标刻画 steering 改变了什么、改变何时成立，并在匹配的模型、任务与协议下比较 23 种方法（含 prompting、LoRA、SFT）的功效–副作用曲线，而不是只比一个工作点。

  2. 有哪些相关研究？

    相关工作分表示干预与碎片化评测；作者把本文定位为同时覆盖结果与方法性质。

    表示干预

    • 线性方向： Bolukbasi et al. (2016)、Elhage et al. (2022)、Park et al. (2024)、Nanda et al. (2023) 与线性表示假设相关。论文称早期方法常用线性方向表示目标概念。
    • 机制谱系： Turner et al. (2023)、Zou et al. (2023)、Marks and Tegmark (2024)、Wu et al. (2024)、Pham et al. (2026)、Sun et al. (2025) 等覆盖对比方向、子空间、潜表示、几何变换、超网络与非线性干预。论文在 Section 4 按机制组织所评方法，此处未逐篇批评。

    评测基准

    • AxBench（Wu et al., 2025a）： 评测 500 个 steering 目标，覆盖 activation steering、prompting 与微调。作者称其 off-target 评测限于 instruction following 与 fluency。
    • SteeringSafety 与 FaithSteer-BENCH： Siu et al. (2026) 在九个预定义安全视角上研究行为纠缠。Ding et al. (2026) 关注部署时可靠性，在单一校准工作点评测；作者称其不覆盖语言质量或安全副作用。
    • SteerEval 与 CLaS-Bench： Xu et al. (2026) 扩展行为域与概念粒度。Gurgurov et al. (2026) 扩展到 32 种语言与跨语言迁移；作者称 CLaS-Bench 专做跨语言控制。

    副作用与数据条件

    • 具体副作用： Bhalla et al. (2024) 讨论生成连贯性下降，Sprejer et al. (2026) 讨论能力–行为权衡，Tan et al. (2024) 讨论对单样本与提示条件的敏感。引言还引用 Stickland et al. (2024)、Li et al. (2026d) 与 Durmus et al. (2024)，用来说明副作用和概念纠缠，不是本文实验基线。
    • 基线方法： Prompt Steering、Simple Prompt Steering、LoRA、SFT，另加 Random control。
    • 基准/数据集： CONCEPT500、AlpacaEval、X-AlpacaEval、SuperGLUE、MMLU、MATH、IFEval、JailbreakBench、BBQ、TruthfulQA。

    作者称现有评测在维度和方法上仍然碎片化；SteerScope 同时问 steering 改变了什么，以及效果在分布偏移和训练数据变化下何时成立。

  3. 论文如何解决这个问题？

    SteerScope沿两条轴用15项指标比较23种方法的功效–副作用曲线。

    SteerScope 把评测分成 Steering Outcomes 与 Method Properties。前者在候选因子集上测目标功效和副作用，后者在每个方法固定的一个因子上测泛化与数据依赖。同一 concept、同一任务上，各方法共用同一批评测样例。

    两条轴与 15 项指标

    • 结果轴： 目标功效是 Concept Expression。副作用分语言质量、任务能力、安全与可靠性，共 11 项。
    • 性质轴： 泛化用 Cross-Lingual Retention；数据依赖用 Sample Efficiency 与 Sample Sensitivity。
    • 分类不一致： Figure 1 把 Language Understanding 放在 Language Quality 下。§3.1 的 Language Quality 只评 Fluency，SuperGLUE 语言理解放在 Task Capabilities。

    Steering Outcomes

    • 功效： 在 AlpacaEval 开放指令上，GPT-4o-mini 给 Concept Expression 打 0/1/2，分别对应无、部分、清楚表达目标概念，记为 C(y, c)。
    • 副作用差： 每项先与同一提示上未转向的 factor 0 比较。正的 delta 表示退化，负值表示改善。风险类指标先反向（如 1−ASR、1−FRR），有符号偏见分用其绝对值的相反数。
    • 十一项： Instruction Relevance 与 Fluency 为 0/1/2；任务能力为 SuperGLUE、MMLU、MATH，以及 Instruction Relevance 与 IFEval 两条指令指标；安全与可靠性为 JailbreakBench 的 ASR 与 FRR、BBQ 的 ambiguous 与 disambiguated 绝对偏见、TruthfulQA。IFEval 不进入 Overall。
    • 合成与 Overall： 11 项按自然范围归一化后等权平均。论文定义合成值 0.10 表示平均退化各自范围的 10 个百分点。Overall 是 C、Instruction Relevance、Fluency 的调和平均，任一项为 0 则 Overall 为 0：O(y,x,c)=3/(1/C+1/I+1/F)。它只用于选因子和方法性质，不计入 15 项。

    泛化、数据依赖与因子选择

    • 选因子： 每个方法在全部已评 concept 的分布内提示上，选取平均 Overall 最大的因子，然后固定用于全部泛化与数据依赖实验，不使用 OOD 语言或少样本结果来重选。作者承认在完整 ID 评测集上选择可能给工作点校准带来一些乐观性。
    • 跨语言保留： 英语为 ID，中文、韩语、意大利语、西班牙语为 OOD，提示来自 X-AlpacaEval。各语言都相对该语言未转向模型计算 Overall 增益，再取 OOD 对 ID 之比：RetmOOD=Δ OmOOD/Δ OmID。仅当英语 Overall 增益至少 0.1 时报告该比。
    • 样本效率： 训练行数取 6、12、36、72，满数据 N=144，同一 subset seed。少样本 Overall 增益除以满数据增益再乘 100。仅当满数据增益至少 0.1 时报告。因子不按少样本重选，因此效率可以超过 100%。
    • 样本敏感度： 固定每 concept 24 条，subset seed 为 42 至 46，训练初始化种子固定为 42。对每个 concept 计算相对 factor 0 的 Overall 增益在五个子集上的样本标准差（ddof=1），再对 concept 宏平均。同时报告平均有符号增益，以免把稳定的弱效果当成强效果。

    方法族与共享协议

    • 四类加对照： 不做优化的方向或结构化干预，包括 DiffMean、PCA、LAT、Spherical Steering、HiDRA、AUSteer、SAE、SAE-A；直接优化的干预，包括 Linear Probe、SSV、ReFT-r1、LoReFT、A-PSR、S-PSR、RePS、ODESteer、StepODESteer；超网络方法 HyperSteer 与 FLAS；非表示基线 Prompt Steering、Simple Prompt Steering、SFT、LoRA。Random 把训练样例随机划分后再做 DiffMean。
    • 数据与位点： CONCEPT500 的概念来自 GemmaScope SAE 概念列表。每概念由 DeepSeek-V3.2-Instruct 生成 72 对对比回答，共 144 条。单点干预使用两模型 residual stream 的 layer 20。Appendix C.2 写 A-PSR 作用于全部 decoder 层，LoRA 与 LoReFT 使用各自的多层集合。
    • 强度与提示： 有强度参数的方法按 Appendix Table 5 扫描既有因子；prompting、LoRA、LoReFT、SFT 的因子为 1。附录 C.5 给出对比数据生成、Prompt Steering 与 PSR 指令生成、Simple Prompt Steering 及三项 LM-judge 的完整提示词。除 SFT 外，方法使用完整 CONCEPT500；SFT 因计算量只训练并评测 20 个 concept。

  4. 论文做了哪些实验？

    作者称两模型上无activation steering能在复合副作用不更大时超过Prompt Steering。

    实验设置

    • 模型与位点： Gemma-2-2B-it 与 Gemma-2-9B-it。单点干预在 residual stream layer 20，约对应 26 层栈的 77% 与 42 层栈的 48%。A-PSR 为全层，LoRA/LoReFT 的层集合见 Appendix C.2。Figure 2 仍把该比较标为 layer 20。
    • 方法： 23 种方法加 Random control，分不做优化、直接优化、超网络、非表示基线四类。
    • 规模： 便宜指标（MMLU、BBQ、TruthfulQA，以及三项 LM-judge）用 500 个 concept；贵指标（SuperGLUE、MATH、IFEval、JailbreakBench）用各方法、各因子共享的 50 个 concept。SFT 全程 20 个 concept。每组样例数见 Table 2 与 Table 6。
    • 指标： Concept Expression 为 0/1/2 均值的提升。复合副作用是 11 项范围归一化退化的等权平均，正值表示相对 factor 0 变差。Overall 为调和平均，用于选因子。Retention 为 OOD/ID 的 Overall 增益比。
    • 评审： GPT-4o-mini，temperature 0，评概念表达、指令相关性与流畅度。JailbreakBench 由 Llama-3.1-8B-Instruct 判定，每 concept 20 条有害与 20 条良性提示，生成上限 150 token。附录 C.6 转述 AxBench 的人工相关：5 人各评 30 条，人与人 Pearson 0.57，LLM 与人 0.58；该校验在 Gemma-2-9B、layer 20、六种方法上，不是 SteerScope 新做的。
    • 采样： 除样本敏感度外，被测模型 temperature 1.0。样本敏感度用贪心解码。因子网格的区间是 5,000 次 concept 级重采样的 95% percentile bootstrap；作者称它不覆盖训练种子或额外生成与评审不确定性。

    主结果

    下表只列正文给出的 Overall 所选工作点。据 §5.1。

    模型Concept Expression 提升复合副作用
    Gemma-2-2B-it1.200.11
    Gemma-2-9B-it1.300.12

    两行都是 A-PSR。Figure 2 画出 layer 20 上的功效–副作用曲线，峰值 Concept Expression 低于 0.2 的方法被省略；其余方法的坐标正文未列出，故不填。

    • 一起上升： 作者称两个尺度上，有显式强度因子的方法一般随目标功效上升而复合副作用变大。上表是所选工作点，不是曲线上的唯一一点。
    • 与基线的关系： 作者称 A-PSR 等近期方法在 AxBench 的 Overall 与 Concept Expression 上超过 Prompt Steering，论文未给出那些 AxBench 数字。在 SteerScope 默认等权下，作者称没有 activation steering 能在功效更高的同时复合副作用更小。Table 7 中，1,000,000 次 Dirichlet(1) 抽样里 Prompt Steering 未被支配的比例为 99.83%（2B）与 99.92%（9B）；Dirichlet(0.2) 稀疏权重下为 88.61% 与 92.07%。
    • 方法族： 作者称带学习干预的方法，权衡通常优于不做优化的方法，并给出一种可能解释：提示利用已有指令跟随，学习型干预有梯度反馈，而从表示统计或预训练特征抽出的方向不直接约束行为变化。作者称 Figure 3 上个别方法可在某一能力指标局部超过 Prompt Steering；图中各点坐标正文未逐一列出。

    跨语言泛化

    测的是 text concept 上、固定因子的基线相对增益。代码与数学概念不做跨语言提示偏移。下表据 Table 1（2B）与 Table 11（9B），layer 20，除另行注明外 |C|=50。

    表格较宽，可左右滑动

    方法模型RetentionCE IDCE OOD
    Prompt Steering2B1.00260.95701.0288
    A-PSR2B0.91571.31201.3385
    FLAS2B0.42561.06100.4652
    Prompt Steering9B0.95091.08401.0830
    A-PSR9B0.96091.41001.4202
    Linear Probe9B1.22700.23400.3465
    • Table 1 的副作用： 在 ID Overall 增益至少 0.1、因而进入该表的 13 个方法中，11 个的指令退化在 OOD 更大，9 个的流畅度退化在 OOD 更大。例外包括 S-PSR 与 FLAS 的指令退化 OOD 更小，以及 A-PSR 的流畅度退化从 0.0680 到 0.0472。
    • 作者解读与反例： 作者称目标功效往往保留，副作用往往更明显，尤其是指令相关性与流畅度。Table 1 中 FLAS 的 Concept Gain 从 1.0610 降到 0.4652。作者称两尺度上 activation steering 的 Retention 往往低于 Prompt Steering，但差异大；Table 11 中 Linear Probe 为 1.2270、LAT 为 1.0222，高于 Prompt Steering 的 0.9509。
    • 未达报告门槛： ID Overall 增益低于 0.1 时 Retention 标为 N/A。两模型泛化表中 AUSteer 的 ID Overall 增益为负（2B 为 -0.0114，9B 为 -0.0121）。

    数据依赖

    样本效率在 Gemma-2-9B-it 上见 Figure 4，两尺度见 Appendix D.7。满数据 Overall 增益至少 0.1 才进入右图，N=144。样本敏感度见 Tables 8 与 9：每 concept 24 条、五个 subset seed，因子沿用满数据选择；SFT 为 20 个 concept，其余为 50。

    表格较宽，可左右滑动

    模型方法GmSm
    2BPrompt Steering0.78530.0000
    2BA-PSR0.62750.1191
    2BAUSteer-0.01730.0267
    9BPrompt Steering1.06210.0000
    9BA-PSR0.91430.1168
    9BSSV-0.00070.0383
    • 效率： 作者称小预算下 HyperSteer 与 DiffMean 保留满数据效果的较大比例，A-PSR、FLAS、LoRA、ReFT-r1 需要更多数据才接近满数据表现；随预算增加多数方法逐渐接近，但提升不总是单调。论文未给出各预算点的恢复百分比。
    • 敏感度： 两表中 Prompt Steering、Simple Prompt Steering、SAE 的 Sm 均为 0.0000。Table 9 中 Simple Prompt Steering 的 Gm 为 1.0605。作者用 Gm 与 Sm 并列，避免把稳定的弱效果或负效果看成强效果；Table 8 中 AUSteer、Random、StepODESteer、HiDRA、ODESteer 的 Gm 为负。

    其他消融与分析

    • 权重： Dirichlet(5) 下两模型 Prompt Steering 未被支配的比例均为 100.00%；只比 Overall 所选因子时，Dirichlet(1) 为 99.999%（2B）与 99.92%（9B）（Table 7、Appendix D.1.1）。
    • 符号因子： Gemma-2-2B-it、layer 20 的 MMLU，未转向准确率为 48.5%。作者称部分正强度增益在方向反转后消失或变为退化，因而认为更像方向依赖的概念纠缠，而不是弱扰动的普遍效应（Figure 9、Appendix D.3）。
    • 排序： Figure 8 比较各副作用指标上的方法排序。作者称 2B 上一致性混杂、9B 上通常更强；JailbreakBench false refusal 与多数指标相关弱或为负。正文未给出可可靠读取的 Spearman 数值。作者假设这可能与两模型能解的题目范围有关，并提到 2B 上的 floor effect。

  5. 有什么可以进一步探索的点？

    作者未在结论或附录中单列局限与后续方向。

    作者指出的局限与后续方向

    论文未专门讨论局限。Conclusion 重述评测发现，没有把某项结果写成局限，也没有单列后续实验。

    实验覆盖范围

    • 模型与位点： 被测模型为 Gemma-2-2B-it 与 Gemma-2-9B-it。单点干预在 residual stream layer 20；A-PSR 作用于全部 decoder 层，LoRA 与 LoReFT 使用 Appendix C.2 的多层集合（§5、Appendix C.1–C.2）。
    • 方法与数据： 23 种方法加 Random control。每 concept 72 对对比回答，由 DeepSeek-V3.2-Instruct 生成。除 SFT 使用 20 个 concept 外，方法使用 CONCEPT500（§4–§5）。
    • 指标规模与评审： Concept Expression、Instruction Relevance、Fluency、MMLU、BBQ、TruthfulQA 在 500 个 concept 上；SuperGLUE、MATH、IFEval、JailbreakBench 在共享的 50 个 concept 上（Table 2、Table 6）。评审模型为 GPT-4o-mini 与 Llama-3.1-8B-Instruct。
    • 分布与因子： 跨语言只用于 text concept，语言为 English 与 zh、ko、it、es；论文写明代码与数学概念不适用该偏移（§5）。方法级因子在完整 ID 评测集上按 Overall 选取；§3.2 写明这可能给工作点校准带来一些乐观性。
    • 不确定性与人工一致： 因子网格报告 5,000 次 concept 级重采样的 95% percentile bootstrap；作者称该区间不覆盖训练种子或额外生成与评审不确定性（Appendix D）。附录 C.6 转述 AxBench 的人工相关（5 人各 30 条，Pearson 0.57 与 0.58）；论文未报告 SteerScope 自己的人工一致性。

  6. 总结一下论文的主要内容

    作者称默认等权下，activation steering未能在副作用不更大时超过Prompt Steering。

    SteerScope 是一套 LLM steering 评测套件，用来同时记录目标概念有没有被诱导出来、模型还被连带改了什么，以及这些改变在换语言提示和减少训练样本后还剩多少。

    • 问题： 作者认为 prompting 不能连续调强度，微调又要更新参数。Activation steering 冻结骨干并可调强度，但副作用、分布偏移和训练数据依赖此前只被分开测量。
    • 协议： 15 项指标分成结果与方法性质。功效是 AlpacaEval 上 GPT-4o-mini 的 0/1/2 概念分。11 项副作用等权合成归一化退化，覆盖流畅度、SuperGLUE、MMLU、MATH、IFEval、JailbreakBench 的 ASR 与 FRR、BBQ 与 TruthfulQA。泛化比较英语与中、韩、意、西的 Overall 增益比。被测模型是 Gemma-2-2B-it 与 Gemma-2-9B-it，方法为 23 种加 Random。
    • 权衡： 在 Overall 所选因子上，A-PSR 的 Concept Expression 在 2B、9B 分别提高 1.20 与 1.30，复合副作用为 0.11 与 0.12（§5.1）。作者称默认等权下，没有 activation steering 能在功效更高时复合副作用更小。Dirichlet(1) 抽样中 Prompt Steering 未被支配的比例为 99.83% 与 99.92%；稀疏权重 Dirichlet(0.2) 下为 88.61% 与 92.07%。
    • 分布与数据： Table 1 的 13 个方法里，11 个指令退化、9 个流畅度退化在 OOD 更大；FLAS 在 2B 的 Concept Gain 从 1.0610 降到 0.4652。9B 上 Linear Probe 的 Retention 为 1.2270，高于 Prompt Steering 的 0.9509。样本效率在小预算下分化；两模型上三种不依赖对比训练子集的方法，样本敏感度为 0。
    • 作者结论： 现有基准上超过 Prompt Steering，不等于在更广副作用下仍占优；功效上升通常伴随更大意外影响。可调强度仍能到达高功效工作点。学习型干预的权衡通常优于不做优化的方法。弱强度下的 off-target 改善，作者认为更像方向依赖的概念纠缠。
阅读原文arxiv.org