安全引导还是坠崖？重新审视推理时干预的特异性与鲁棒性
Steering Safely or Off a Cliff? Rethinking Specificity and Robustness in Inference-Time Interventions
论文速读
据论文全文整理（AI 生成），以原文为准
Navita Goyal 与 Hal Daumé 提出评估模型引导（steering）特异性的三维框架，并在过度拒答与忠实性幻觉两个安全场景中系统评测了五种引导方法。
- 模型 steering（推理时干预隐层表示）被视为微调的轻量替代方案，但其评估多只看 efficacy，即是否改变了目标属性，很少检验是否只改变了目标属性。作者称这种性质为 specificity，并指出在安全关键场景下，缺乏该评估可能让看似可靠的 steering 实际削弱模型安全。
- 作者提出三维 specificity 框架：general（保持流畅度与无关能力）、control（保持相关控制属性）、robustness（分布偏移下保持控制属性）。在两个安全场景中评估五种表示层 steering 方法（DiffMean、LinearProbe、SSV、ReFT-r1、PartialOR），并区分是否显式控制属性，模型规模至 8B。
- 在减少过度拒绝和忠实性幻觉两个场景中，steering 都能提升目标属性，并大体保持 general 与 control specificity；但 robustness specificity 一致失败：减少过度拒绝后模型对 jailbreak 的脆弱性显著上升，且显式控制拒绝行为也无法避免；忠实性 steering 则更易被无关或误导性上下文带偏。作者还发现 utility 增益越大，robustness 下降往往越明显。
- 分析限于单任务设置，实验仅覆盖至 8B 参数的模型，评估基于生成文本而非序列概率；作者建议未来构建更强基准、扩展到更大模型，并开发在分布外同时保持 efficacy 与 specificity 的方法。
Navita Goyal 与 Hal Daumé 提出评估模型引导（steering）特异性的三维框架，并在过度拒答与忠实性幻觉两个安全场景中系统评测了五种引导方法。框架将特异性分为一般、控制和鲁棒三个维度，分别衡量引导是否保持流畅度与无关能力、是否保持相关控制属性、以及在分布偏移下是否仍保持这些属性。结果显示，引导能有效降低过度拒答并基本保持一般与控制特异性，但在 Llama-3.1-8B-Instruct、Llama-3.2-3B-Instruct、Qwen-2.5-7B-Instruct 和 Gemma-2-2B-it 上，越狱鲁棒性一致下降，其中 Llama-8B-Instruct 下降 35% 至 55%。作者称这是首个对引导特异性的系统评测，认为仅凭有效性和标准特异性检查不足以判断引导是否安全。
推荐理由论文提出评估推理时干预特异性的三维框架，并显示降低过度拒答的 steering 在标准评测下看似安全，却显著提高越狱成功率。