REINS：用 SAE 特征同时抑制有害续写并增强拒答的引导方法

复杂包装下的有害提示会让现有 SAE steering 无法稳定产生拒答，因为只增强拒答特征时，有害延续路径仍可能保持活跃。

• 场景：作者认为部署中的大语言模型需要随内容政策、领域与安全边界调整行为；反复全量再训练成本高，永久性权重编辑的副作用又难以预测或逆转。推理时 steering 因此被当作不改参数的轻量路径。
• 现有不足：作者称基于稠密隐状态方向的干预可能把语义、格式、任务状态与行为倾向缠在一起；已有 SAE 方法多沿单一方向或特征集放大拒答、学习监督转向向量或按相关性选特征，在角色、领域借口、格式约束或任务描述包装的有害提示上仍然脆弱。
• 核心观察：作者观察到，复杂包装仍会削弱现有 SAE steering。拒答增强单独使用可能过弱，因为模型对不安全延续仍有强支持；把“去掉有害延续支持”和“让拒答轨迹更容易进入”交给同一控制信号，可能要么留下有害路径，要么把生成推进不稳定文本。
• 本文提出：作者提出基准 GUISE（Generalized Undercover Instruction Safety Evaluation），以及 REINS（Refusal-Enhanced INhibitory Steering）：在同一 SAE 特征空间用 Harm-Inhibit 抑制当前提示的有害延续特征，用 Refusal-Enhance 增强校准得到的安全拒答特征；REINS-Gate 仅在判定为高风险时才施加干预。
• 威胁模型：
  • 目标：对范围内的有害提示诱导预期行为，即适当拒答而不是继续不安全生成；无关输入上保留模型原行为。
  • 知识与接口：被转向模型是冻结的 f_θ；干预发生在已装备 SAE 的残差流稀疏特征坐标上，不更新权重。论文未用 white-box、black-box 或 no-box 描述攻击者。
  • 能力：Harm-Inhibit 对每条有害提示先跑未转向模型，用早期生成前缀做归因并抑制支持该前缀的特征；Refusal-Enhance 使用与测试提示无关的固定校准特征。REINS-Gate 只根据提示侧 SAE 激活决定是否开启。
  • 受害系统：评测对象是部署期需要安全控制的 LLM；主实验为 Qwen3.5-4B-Base 与 Qwen3.5-2B-Base，附录另报告 Gemma-3-1B-IT。

论文在引言与 Related Work 中把相关工作分成转向接口、安全转向，以及使不安全意图在伪装提示中存活的攻击与基准。

转向接口

• 推理时 steering（Subramani et al., 2022; Li et al., 2023; Rimsky et al., 2024; Turner et al., 2023; Stolfo et al., 2025）——在部署时干预内部表示，作为可逆于直接改权重的路径；论文同时点名权重编辑 RECT（Gu et al., 2024）与 MOSE（Xu et al., 2026）。
• 稠密方向 steering（Rimsky et al., 2024; Arditi et al., 2024; Stolfo et al., 2025）——作者称隐状态方向可以改变拒答、指令遵循、开放生成与输入相关行为，但可能把语义、格式、任务状态与行为倾向缠在一起。
• SAE 特征（Elhage et al., 2022; Scherlis et al., 2022; Huben et al., 2024; Gao et al., 2025; Marks et al., 2025; Arad et al., 2025）——用稀疏特征分解激活，用于可解释单元、电路分析与特征选择；作者认为这比稠密隐状态干预更局部。

安全转向

• 放大拒答或改进转向向量（O’Brien et al., 2024; Chalnev et al., 2024）——放大与拒答相关的 SAE 特征，或针对 SAE 特征改进转向向量。
• 子空间与相关性选择（He et al., 2025; Cho et al., 2025; Wang et al., 2025; Goyal et al., 2025）——在 SAE 子空间学习监督转向向量、按相关性选特征，或把 SAE 特征用于安全控制与解毒。
• 选择性拒答（Lee et al., 2025; Sheng et al., 2026）——作者称稠密安全转向工作强调需要选择性拒答控制，而不是一律施加干预。

伪装请求、越狱与过度拒答基准

• 攻击（Liu et al., 2024; Chao et al., 2025）——作者称不安全意图可以在优化或伪装提示中存活。
• 基准（Chao et al., 2024; Mazeika et al., 2024; Röttger et al., 2024; Cui et al., 2025; Ji et al., 2023; Zhang et al., 2024）——使越狱脆弱性与良性过度拒答更明确，或覆盖有害行为与人类偏好；作者认为现有安全数据集与越狱基准覆盖许多有害行为，但较少系统评估藏在合理角色、领域借口或输出约束里的有害目标。

基线方法与基准

• 基线：Refusal-SAE（O’Brien et al., 2024）、SAE-SSV∗（He et al., 2025；论文用固定拒答延续做了适配）、CorrSteer-A（Cho et al., 2025），外加 Random-SAE 与未转向 Original。附录 C.1 说明各基线如何适配到本文的 SAE 与拒答设置。
• 基准/数据集：GUISE；外部迁移用 HarmBench（Mazeika et al., 2024）、JailbreakBench（Chao et al., 2024）、AdvBench（Zou et al., 2023）；能力用 MMLU-Pro（Wang et al., 2024）、GPQA（Rein et al., 2023），附录另用 MT-Bench（Zheng et al., 2023）与 IFEval（Zhou et al., 2023）。

作者把与本文最近的工作列为 Mazeika et al., 2024、Chao et al., 2024、O’Brien et al., 2024、He et al., 2025、Cho et al., 2025，并称本文问的是：在上下文伪装下，SAE 空间中的两种干预角色如何协调才能形成拒答。GUISE 用来暴露这一缺口，REINS 用有害延续抑制配合安全拒答增强来处理它。

作者用 GUISE 把有害目标嵌进合理任务框架，再用 REINS 在同一 SAE 空间分开做抑制与增强；REINS-Gate 决定是否施加这次干预。

问题设定

• 转向对象：冻结模型 f_θ 把提示 x 映到未转向输出 y_0(x)。层 l、位置 t 的残差流激活为 h_{l,t}，SAE 编码器给出 z_{l,t}=E_l(h_{l,t})。F 索引已装备 SAE 的层上的特征坐标 (l, j)。
• 目标范围：有害提示上应适当拒答而不是不安全地继续；无害与通用提示用来测是否保留原行为。
• 设计理由：作者认为拒答不是只加一个拒答信号就能得到。包装使有害请求看起来像合理任务时，模型对不安全延续仍可能有强支持；这两项工作不必由同一批特征承担。

GUISE 构建

• taxonomy：三级为 category、subcategory、scenario。category 包括 hate、crime、violence、pornography、self-harm。subcategory 与 scenario 先由 Gemini-3.1-Pro 初始化再合并。最终为 5 个 category、15 个 subcategory、45 个 scenario。
• 样本：每个 scenario 20 对，共 900 条；每类 180、每子类 60。Gemini-3.1-Pro 生成有害请求种子与包装描述，合成 wrapped harmful prompt，并去掉有害目标得到同一表面语境下的 matched safe prompt。目标生成模型为 Qwen3.5-4B-Base。
• 质检：GPT-4o-mini 做首轮自动审查，给出批级有害回应率，并把失败或弱案例反馈给 Gemini-3.1-Pro 修订种子、包装或提示，直到再修订不再实质提高该批级比率。修订前候选平均 HRR 为 78.7%，一轮修订后升至 91.3%。Claude Haiku 4.5 再审，分歧或低置信送人工；仅 2.9% 的 QA 对需要这一步，其中 GPT-4o-mini 误判占 1.0%。最终核验集保留 90.3% 的有害回应率。附录 A.1 描述完整流水线。

Harm-Inhibit 与 Refusal-Enhance

• Harm-Inhibit：对每条有害提示单独选择。先跑未转向模型，从早期生成前缀得到局部归因目标 p_x。坐标按对 p_x 的梯度乘激活归因 Attr 排序。分数为 q^H_{l,j}(x)=[A^H_{l,j}(x)]_++η^H_{l,j}，再取 Top-K_H。η 用归一化层深 ρ_l=min{max(l/L_max,0),1}，并下调作者所称通用或易崩溃特征。最终转向遍在所有延续 token 位置把这些特征置零。
• Refusal-Enhance：用 4 条拒答指令和 4 个固定拒答答案组成 16 个校准对，在答案 token 上平均 SAE 激活；该集合只校准一次，不依赖测试提示。每个特征相对两类负例做差：中性指令–答案对，以及校准集有害提示上的未转向延续。Δ^R_{l,j}=μ^{ref}_{l,j}-max{μ^{neu}_{l,j}, μ^{orig}_{l,j}}，再加层偏好与语义权重后取 Top-K_R。选中特征的增量为 b^R_{l,j}=α_R[Δ^R_{l,j}]_+，α_R>0，且只加在前 M_R 个延续位置。
• 联合更新：Ω_H=S_H×T_H，Ω_R=(S_R\S_H)×T_R，两区域不相交。属于 Ω_H 的激活改为 0，属于 Ω_R 的加上 b^R，其余保持原值。

REINS-Gate

• 打分：只用提示侧 SAE 激活。有害提示为正类，无害提示与通用提示为负类。v(x) 是提示 token 上的展平平均 SAE 特征。校准后取正负均值的带符号差，保留绝对均值差最大的坐标作为 w_gate。新提示分数为 s_gate(x)=cos(v(x), w_gate)。
• 阈值：在校准分数上扫描 τ。在使负类提示的开启率低于固定预算 β 的阈值中，选择能对最多有害提示打开门的那个。g(x)=1 时施加 REINS，否则保持未转向。
• 超参：转向超参在校准数据上选择，评测时不再改。附录 D.1 报告主比较用的 REINS 与基线超参；正文未在方法节列出 K_H、K_R、M_R、α_R、β 的具体数值。附录 B 报告每层残差流 SAE 的训练设置与质量检查。

成功判定

• 安全结果：HRR 为不安全履行，SRR 为连贯拒答，OSR 为安全但无明确拒答，CR 为退化输出。
• 能力与局部性：MMLU-Pro 与 GPQA 测通用能力；CE（Collateral Effect）测相对原始输出的非预期变化。附录 C.2 给出范围与指标定义。主表安全数字来自 GUISE，效用与局部性来自 MMLU-Pro 和 GPQA。

实验设置

• 模型：主评测为 Qwen3.5-4B-Base 与 Qwen3.5-2B-Base，每层训练残差流 SAE。附录 D.3 另报告 Gemma-3-1B-IT。GUISE 构建时的目标生成模型是 Qwen3.5-4B-Base。
• 数据：GUISE 共 900 条，5 类、15 子类、45 场景。外部安全集为 AdvBench、JailbreakBench、HarmBench。能力为 MMLU-Pro、GPQA；附录 D.4 为 MT-Bench 与 IFEval，并报告 matched safe prompts 上的过度拒答。论文未在正文给出外部集与能力集的样本量。
• 基线：Original、Random-SAE、Refusal-SAE、SAE-SSV∗、CorrSteer-A。SAE-SSV∗ 使用论文的固定拒答延续。超参在校准数据上选定后评测不变。
• 指标：HRR、SRR、OSR、CR，以及 MMLU-Pro、GPQA、CE。Table 2 注明数值为百分比。
• 评审：GUISE 构建质检用 GPT-4o-mini、Claude Haiku 4.5 与少量人工。附录 D.2 用两名独立评审核验 Table 2 的安全结果；正文未写主表评审模型名称与判定阈值。
• 重复：论文未报告主结果的重复次数或置信区间。

主结果

Qwen3.5-4B-Base 上，GUISE 安全结果与 MMLU-Pro、GPQA、CE 如下（据 Table 2，单位为 %）。

表格较宽，可左右滑动

方法	HRR↓	SRR↑	CR↓	MMLU-Pro↑	GPQA↑	CE↓
Original	90.3	3.7	0.3	50.0	40.0	0.0
Random-SAE	90.4	3.3	1.0	50.0	40.0	1.0
Refusal-SAE	65.0	2.3	19.0	48.0	40.0	6.2
SAE-SSV∗	78.4	5.0	2.3	48.0	38.7	5.6
CorrSteer-A	43.7	23.7	20.3	46.3	42.0	16.6
REINS	26.3	63.7	2.7	45.4	35.1	26.4
REINS-Gate	26.7	62.7	2.3	49.9	40.0	0.1

• 作者解读：Original 与 Random-SAE 在约 90% 的包装有害提示上给出有害回应且很少明确拒答。Refusal-SAE 过弱；SAE-SSV∗ 降低有害输出但连贯拒答增益有限；CorrSteer-A 的有害率下降有一部分来自崩溃输出。作者称只有 REINS 同时取得最低 HRR、最高 SRR 和低 CR。
• 相对基线：作者称相对最强基线 CorrSteer-A，REINS 将 HRR 降低了 39.8%，SRR 约为其 2.7 倍。按 Table 2，HRR 从 43.7% 到 26.3% 相差 17.4 个百分点；39.8% 与 2.7 倍是作者给出的相对说法（63.7/23.7≈2.69）。
• 效用：作者称基线更接近 Original 的能力分，部分是因为干预弱或不稳定。REINS 的 MMLU-Pro 从 50.0 到 45.4、GPQA 从 40.0 到 35.1，CE 为 26.4%。REINS-Gate 把 MMLU-Pro、GPQA 恢复到接近 Original，CE 从 26.4% 降到 0.1%。Table 2 中 OSR：Original 5.7、REINS 7.3、REINS-Gate 8.3、CorrSteer-A 12.3、Refusal-SAE 13.7。

外部基准迁移

• 测了什么：在 AdvBench、JailbreakBench、HarmBench 上比较 REINS 与基线。Figure 3 只比较 Original、SAE-SSV∗、CorrSteer-A 与 REINS 的 HRR 和 SRR；全文数值在附录 D.5。图中坐标为 Rate (%)，纵轴刻度可见 0、20、40、60 与 0、20、40、60、80、100，正文未逐条抄出柱高。
• 结果：作者称 Original 在大约一半外部提示上仍产生有害延续。SAE-SSV∗ 的拒答更弱、更不稳定。CorrSteer-A 相对 GUISE 在 JailbreakBench 和 HarmBench 上有改善，但在 AdvBench 上仍崩溃。
• 作者解读：作者认为 CorrSteer-A 依赖未转向模型已经产生的拒答，而 REINS 不依赖这类自发正例；REINS 是唯一在三个基准上都同时具备较强有害回应抑制、稳定高的明确拒答和低崩溃的方法。收益主要来自把有害延续转成明确拒答。

组件消融

• 测了什么：Figure 4 在 GUISE 上拆开 Harm-Inhibit、Refusal-Enhance、REINS 与 REINS-Gate。图注分 Safety Outcomes 与 Utility and Locality；正文未给出各柱的精确读数。
• 结果与解读：作者称 Harm-Inhibit 降低有害延续，但许多输出进入 OSR 而不是明确拒答；Refusal-Enhance 提高 SRR，但仍留下许多有害延续。只有二者合用才同时得到低 HRR 与高 SRR。Figure 4(b) 中 REINS 的安全偏移最强，CE 与效用损失也最大；REINS-Gate 保住该安全形态并恢复局部性。

特征分析与附带评测

• 高频审计：有害支持语义在计数与选择质量上占主导。Qwen3.5-4B-Base 上覆盖 25 个被审计坐标中的 23 个，Qwen3.5-2B-Base 上至少 19/25，分别占对应高频选择的 95% 以上和 96%。两组特征重叠率分别为 0 与 0.0417%。附录 D.6 给出更多审计细节。
• 案例：Figure 5 使用 Table 1 的 GUISE 案例。作者称 Harm-Inhibit 选中与药物来源和私人地址查找相关的特征，Refusal-Enhance 提升拒答语境特征；早期 token 从延续策略的用词转到拒答用词。附录给出该案例，此处不复述生成文本。
• 其他能力：附录 D.4 中，REINS 在一定程度上降低 MT-Bench 与 IFEval，REINS-Gate 接近 Original。matched safe prompts 上 REINS 增加过度拒答，REINS-Gate 使其接近 Original。论文未在正文给出这些分数。附录 D.2 用两名独立评审核验主安全结果，正文未给一致率。附录 D.3 报告 2B 与 Gemma-3-1B-IT，正文未列数字。

其他消融与分析

• 构建质检：修订前候选平均 HRR 78.7%，一轮修订后 91.3%；最终核验集 90.3%（Section 4.2）。
• 人工抽查：2.9% 的 QA 对送人工，GPT-4o-mini 误判占 1.0%（Section 4.2）。
• OSR：Table 2 中 Refusal-SAE 13.7、SAE-SSV∗ 14.3、CorrSteer-A 12.3，高于 REINS 的 7.3。
• CR：Table 2 中 Refusal-SAE 19.0、CorrSteer-A 20.3，REINS 为 2.7，REINS-Gate 为 2.3。
• 特征重叠：4B 上 Harm-Inhibit 与 Refusal-Enhance 高频选择重叠率为 0，2B 上为 0.0417%（Section 6.5）。
• Figure 20：按 9 个模型、45 个 GUISE 场景画 HRR，行按父类分组而非按 HRR 排序；转换文本未给出可读的逐格数值，故不抄数。

作者指出的局限与后续方向

• 模型规模与类型：因计算约束，实验集中在 Qwen3.5-4B-Base 与 Qwen3.5-2B-Base；同样的干预角色与控制器行为应在更大模型、指令微调后的模型以及其他模型家族上验证（Limitations）。
• SAE 覆盖：使用的是一小套配置下的残差流 SAE，尚未充分考察宽度、稀疏度、训练数据、hook point 或层覆盖如何改变被发现的特征与干预（Limitations）。
• 机制深度：机制分析是基于高激活所选 SAE 特征集的操作性说明，而不是完整电路；这些特征集在电路层面如何协作或干扰，是未来工作的方向（Limitations）。
• 评测解释：自动安全评判可用于规模化测量，但含糊、虚构、文化特定或对抗性框架下的输出需要谨慎解释；标签应在所述评测协议下理解（Ethical Considerations, Evaluation Safeguards）。
• 实际使用：作者称 REINS 的实际使用应配合策略层防护、监测，以及对假阳性、过度拒答和非预期行为变化的额外评测（Ethical Considerations）。

实验覆盖范围

• 被测模型：主文实验为 Qwen3.5-4B-Base 与 Qwen3.5-2B-Base；附录 D.3 还报告 Gemma-3-1B-IT。每层训练残差流 SAE（Section 6.1、Appendix B）。
• 安全数据：GUISE 900 条，并在 AdvBench、JailbreakBench、HarmBench 上做迁移；Figure 3 给出部分方法的 HRR/SRR，全部结果在附录 D.5。
• 能力与局部性：Table 2 报告 MMLU-Pro、GPQA 与 CE；附录 D.4 报告 MT-Bench、IFEval，以及 matched safe prompts 上的过度拒答。
• 对照：基线为 Original、Random-SAE、Refusal-SAE、SAE-SSV∗、CorrSteer-A；Figure 4 消融 Harm-Inhibit 与 Refusal-Enhance。附录 D.2 用两名独立评审核验主安全结果。
• 论文未报告：正文未给出主结果重复次数、置信区间、外部基准样本量，也未给出 K_H、K_R、M_R、α_R 与 β 的数值（这些在附录 D.1 的超参报告范围内，正文未抄出）；Figure 4 与 Figure 3 的柱高在所附文本中没有逐项数字。

REINS 是一种推理时 SAE 安全转向方法，并配有用于上下文伪装的基准 GUISE。

• 问题：作者认为现有 SAE steering 常依赖单一方向或特征集，在角色、借口、格式或任务包装下不能稳定拒答；只增强拒答时，有害延续路径仍可能活跃。
• 数据：GUISE 有 5 类、15 子类、45 场景、900 条包装有害提示及配对安全提示。多智能体流水线经修订后，核验集有害回应率为 90.3%。
• 方法：Harm-Inhibit 按当前提示的早期前缀归因，把支持有害延续的 SAE 特征置零；Refusal-Enhance 用 16 个校准对选出固定拒答特征并在前若干延续位置加上增量；二者更新区域不相交。REINS-Gate 用提示侧特征余弦分数，在负类开启率预算内尽量覆盖有害提示。
• 主结果：Qwen3.5-4B-Base、GUISE 上，Original 的 HRR/SRR 为 90.3%/3.7%；REINS 为 26.3%/63.7%，CR 2.7%，MMLU-Pro 45.4、GPQA 35.1、CE 26.4%。REINS-Gate 为 26.7%/62.7%，MMLU-Pro 49.9、GPQA 40.0、CE 0.1%（Table 2）。作者称相对 CorrSteer-A，HRR 降低 39.8%，SRR 约为其 2.7 倍，且低 CR 来自连贯拒答而不是崩溃。
• 迁移与消融：作者称 REINS 是 AdvBench、JailbreakBench、HarmBench 上唯一同时做到较强抑制、稳定高拒答和低崩溃的方法，且不依赖未转向模型自发拒答。单独抑制多把输出推向 OSR，单独增强仍留下有害延续。高频审计中有害支持语义占 4B 上 23/25 个坐标、2B 上至少 19/25。
• 作者结论：SAE 安全转向应在同一特征空间组合有害抑制与明确拒答支持；REINS-Gate 用来避免在无害提示上做不必要干预。作者同时指出，更大模型、指令微调模型、其他家族、更广的 SAE 配置，以及电路级协作关系仍待研究。