研究：拒答方向可跨架构迁移，安全工具可按写入位置重新估计

拒答表示是 Transformer 特有，还是不同路由机制的模型都会学到、并须在特定位置读取。

• 场景与重要性：作者认为部署模型的安全取决于拒答。Transformer 中拒答由残差流里单一线性方向控制，安全与可解释性工具读取并操纵该方向。SSM（如 Mamba）用循环状态更新传递信息，与注意力没有共同的 token 混合机制；若拒答只是注意力的性质，换架构后这套工具会失效。
• 现有不足：作者称既有结果都在 Transformer 上。跨架构直接复制方向、不做表示对齐则不能迁移（Shnaidman et al. 2025）。灵活线性映射可能合成目标自己的拒答轴，因而不能单独证明表示共享。
• 核心观察：作者认为拒答是模型学到的功能。表示可经只能旋转、不能改形的刚性旋转共享；架构相关的是读取位置，即每层写入残差之前的新输出（写入点），而不是在何处施加干预。
• 本文提出：在 Falcon-Mamba-7B 上定位选择性扫描的写入点，并以 Llama-3.1-8B、Mistral-7B 为参照，在 RWKV-6 与混合模型 Zamba2-7B 上复核。检测器触发的门控放大该方向，用作因果检验。
• 威胁模型：
  • 目标：让模型回答它本会拒答的请求；防御侧则在推理时降低越狱成功率。
  • 知识与能力：对手控制输入提示词，可适应防御，包括针对冻结检测器优化提示词（Zou et al. 2023b; Andriushchenko, Croce, and Flammarion 2025）。
  • 不能做的事：不能改模型权重或检测器。
  • 受害系统与防御位置：防御方在推理时运行检测器与门控。评测分开看向未见攻击族的迁移，以及对适应检测器的攻击者的鲁棒性（Section 3）。

激活监控与门控

• Lee et al. (2025)、Han et al. (2025)、Zhou et al. (2025)、Zhang et al. (2024)：在残差流或输出头做检测后干预。作者把本文的闭环放在写入点，即新贡献进入流、残差尚未累加之处。
• DeTAM（Li, Jiang, and Wei 2025）：直接编辑写入点，但是常开而非检测触发。本文的常开推送用作丢掉闭环的基线。
• CAST（Lee et al. 2025）：与本文共用检测器，但在残差处读取并操纵。

残差中的拒答方向

• Arditi et al. (2024)：Transformer 中拒答由单一残差方向控制，操纵该方向可改变拒答。本文的加性操纵 g(yt)=yt+α û_ℓ 扩展自该做法。
• Li et al. (2026)、Zou et al. (2023a, 2024)、Korznikov et al. (2025)、Xiong et al. (2026)：残差操纵较脆。作者称这种脆性来自在残差读取的方向，而不是操纵本身。
• Galeone et al. (2026)：可读方向不必可控。Wollschläger et al. (2025)、Winninger (2025)、Piras et al. (2026)：拒答处于更高维子空间。作者称本文方向是该子空间中的一条主轴，使用它不与这些结果矛盾。

SSM 可解释性与跨架构迁移

• Oozeer et al. (2025)、Poppi et al. (2026)、Cristofano (2026)：在同一架构或相近架构内迁移安全方向。作者称据其所知，此前没有工作把拒答方向跨过注意力到纯 SSM 的间隔，且未在刚性旋转约束下做。
• Shnaidman et al. (2025)：不对齐两套激活空间、直接把方向拷入目标则不能迁移。Sunku Mohan et al. (2026)、Le Mercier, Develder, and Demeester (2026)、Parmar (2026)、Paulo, Marshall, and Belrose (2024)：纯 SSM 上的通用操纵、攻击、威胁分析或不带防御的可解释性。Wang et al. (2025) 描述 Mamba 特征与电路；Lindsey et al. (2024)、Thasarathan et al. (2025)、Jiralerspong and Bricken (2026) 用 crosscoder 找跨架构共有或不同的特征。
• Jiang (2026)：同期工作在 Mamba-2 内区分检测与执行，与作者把 Δ 读成只读位点一致，但留在一个 SSM 家族内。Huh et al. (2024) 的柏拉图表示假说此前只做了相关检验；作者称本文用移除方向后行为改变来做因果检验。

基线方法与基准：残差子空间投影（LEACE 式秩 k 擦除，Belrose et al. 2023）、CAST、困惑度过滤、SmoothLLM（Robey et al. 2025）、跨架构线性映射迁移，以及常开的写入点编辑。语料为 AdvBench、Alpaca、XSTest；另有 HarmBench、OR-Bench-hard。能力用 MMLU、TruthfulQA。

作者把本文定位为：表示经刚性旋转跨架构共享，读取位置是各架构的写入点；门控只检验该主张，可迁移的是方向而不是防御强度。

作者用写入点读取加刚性旋转迁移，把拒答当作可跨架构搬运的方向，并用检测后门控检验它是否因果控制拒答。

问题设定与形式化

• 写入点：每层先算出新输出再加进残差。Transformer 的写入点是注意力输出投影 W_O；Falcon-Mamba 是混合器输出（mixer output），即 Δ 门控扫描写入残差之前的块输出。RWKV-6 的主写入点是 time-mix 输出，channel-mix 输出为次位点，块边界相当于残差且惰性。Zamba2 的 Mamba 分支输出与注意力分支输出都是写入点。
• 方向：û_ℓ 是第 ℓ 层有害与无害激活的均值差，不是检测器的判别方向。附录 A.30 称判别方向读得出危害，放大后并不控制拒答。
• 门控：正向的提示词级判定后，对整段生成做 g(yt)=yt+α û_ℓ，即在该层输出上沿拒答方向加 α 倍。决策按提示词一次完成，不按 token，因为被标记提示词之后生成的 token 也会被判为有害，逐 token 门控会反复触发。

检测器与选层

• 检测器：在路由层（携带每条提示词决策的写入点层）读线性探针，每条提示词一次点积。有害与良性提示词在训练时也包进越狱模板，使探针不能只靠模板文本触发（附录 A.29）。pharm>θ 则在写入点对整段生成加门控，否则模型不改。非线性 MLP 检测器下写入点结论仍成立，基线对比的每一格共用同一检测器与阈值（附录 A.31）。
• 检测器与方向的数据分开：检测器在危害对“良性但辛辣”上训练；拒答方向在危害对 Alpaca 上拟合。
• 部署步骤（Section 2.5）：用小对比集找到可解码的写入点，按留出集可解码性选门控层，估计均值拒答方向和线性触发器，把增益校到退化悬崖之下，再闭环部署。作者称把一个模型的常数直接迁到另一个会失败（附录 A.2）。Falcon-Mamba 中新写入、尚未累加的部分是跳跃项 D xt（附录 A.19）。
• 关键超参（附录表）：Falcon-Mamba 门控层含 35，α 最终为 4；Llama-3.1 与 Mistral 决策层 18，α 为 2；RWKV-6 决策层 20；Zamba2 注意力侧 α 为 8、Mamba 侧为 16。检测器为标准化均值池化激活上的逻辑回归探针（最多 128 个提示词 token），Adam、学习率 0.1、300 epoch、ℓ2 为 10^{-3}。映射为岭回归 λ=100，或在 250 对提示词上做正交 Procrustes（其中 150 对表面匹配；RWKV 为 200）。

迁移与因果对照

• 映射：在共享的有害与无害提示词上收集源、目标成对激活，拟合岭正则线性映射 W。源拒答方向经 W 映射后用于放大（防御）或移除（消融，攻击成功率升高表示该方向是拒答触发）。对照是经同一 W 映射、再与目标拒答轴正交的随机源方向。
• 刚性旋转：正交 Procrustes 只能旋转、不能合成方向。错配提示词对（源与目标来自不同提示词）会使迁移探针掉到 AUROC 0.33（附录 A.7）。
• 幅度对照：方向固定时，在残差处推与在写入点推的攻击成功率在统计上不可区分（95% 置信区间重叠）。作者据此称重要的是估计位置，不是施加位置（附录 A.35、Table 7）。位置无关的 MLP 输出也能给出可用方向，作者用来排除跨位置混合是来源（附录 A.18、A.19）。

成功判定

• 主指标：攻击成功是 Llama-Guard-3-8B 判定的不安全比例。不确定度用二项比例的 Wilson 95% 置信区间。可解码性为 AUROC。过度拒答在 XSTest 的良性但辛辣提示词上测。能力是有无门控时的准确率。
• 为何用门控而非投影：作者称固定子空间可被下游绕开，而检测触发的门控作用在整段生成的路由决策上。分布内、分布外与自适应情形分开测。作者称据其所知，此前没有操纵或安全方法作用在 SSM 的选择性扫描块上。

实验设置

• 模型：Falcon-Mamba-7B（SSM 锚点）、Falcon3-Mamba-7B、Llama-3.1-8B、Mistral-7B、Qwen2.5-7B、RWKV-6-World-7B、Zamba2-7B；可解码性另含 130M 到 7B 的 5 个基础 Mamba，以及 Mamba-2（Codestral-Mamba-7B）。
• 语料与攻击：AdvBench（有害）、Alpaca（良性）、XSTest（表面控制与过度拒答）。攻击含前缀注入、人格角色扮演、虚构框架、稀释，以及优化对抗后缀（GCG；SSM 上有无梯度变体和经可微扫描的 GCG）。表面匹配最小对由手写模板与长度匹配的有害/良性动作对生成。
• 基线：残差子空间投影、CAST、困惑度过滤、SmoothLLM、跨架构线性映射，以及无检测器的常开块输出推送。
• 指标与评审：主 ASR 为 Llama-Guard-3-8B。另有 Llama-3.1-8B-Instruct、Mistral-7B-Instruct、ShieldGemma-9B。四评审一致率 72.8%。Table 1 写每条件 n=200 有害、100 良性但辛辣，95% CI。能力为 MMLU、TruthfulQA。
• 人工：两名评分者与自动评审一致 94.8%（κ=0.90）。作者称评审的少数错误只高估攻击，因此防御数字没有被抬高。
• 样本量随表变化：Table 6 每行 n 为 SSM 200、每个 Transformer 100、RWKV 40、混合模型 100。Table 7 为 n=100。GCG 经扫描的评测为 n=100。

主结果

据 Table 6，前缀注入、连贯增益、64 个新 token 时，写入点门控的 ASR 与过度拒答变化：

Swipe horizontally to read the table

架构与模型	写入点	Base → gated	Δ over-ref.
Falcon-Mamba（SSM）	block output	98.0% → 5.0%	+0.0 pt
Mistral-7B	attn. output	98.0% → 14.0%	+0.0 pt
Llama-3.1-8B	attn. output	25.0% → 0.0%	+0.0 pt
RWKV-6	time-mix output	47.5% → 27.5%	+0.0 pt
Zamba2-7B 注意力位点	attn. output	31.7% → 0.0%	+0.0 pt
Zamba2-7B Mamba 位点	Mamba output	31.7% → 5.0%	+0.0 pt

• 作者称四类架构上放大写入点方向都降低前缀注入成功率，从累积残差估计的方向则会退化。过度拒答变化为 +0.0 个百分点，但作者称这是弱检验，因为触发器被拟合为拒绝这些提示词。
• 混合模型两行共用一次闭环的同一 base。其常开版本过度拒答为 99.0%（附录 A.39）。作者称因果消融下控制集中在 Mamba 位点；注意力位点的置信区间重叠，本身不具决定性。脚注称 Mistral 上单方向门控在角色扮演下不优于基线率，Transformer 防御主张限于前缀注入。
• 门控只与同一检测器下的固定拒答策略打平（附录 A.12）。OR-Bench-hard 上门控过度拒答 46.3%，detect-then-refuse 为 47.5%，假阳性率 21%。作者称可迁移的是方向，不是防御强度。

跨架构迁移与因果消融

• 移除迁移方向（Table 4，Llama-Guard）：Falcon-Mamba 块输出上，来自 Llama 时 Base 10.5%、Removed 44.0%、Random 9.0%；来自 Mistral 时 10.5%、45.0%、9.5%。RWKV-6 time-mix：3.0%、54.7%、32.3%。Zamba2 的 Mamba 输出：8.9%、93.3%、22.8%；注意力输出：8.9%、16.7%、8.9%。作者称 Mamba 写入点上边际具决定性，RWKV-6 更窄（随机对照单独就能让约三分之一提示词越狱），Zamba2 注意力位点不具决定性。RWKV-6 与 Zamba2 为三种子汇总。
• 六向迁移（Table 5 / Figure 2）：Llama→Mamba 的 Base/Native/Transferred/Random 为 10.5%、41.5%、36.5%、9.0%；Mamba→Llama 为 2.5%、50.5%、79.0%、8.0%；Mistral→Mamba 为 10.5%、41.5%、36.5%、9.5%；Mamba→Mistral 为 26.5%、50.0%、60.0%、27.0%；Llama→Mamba3 为 0.0%、42.0%、25.5%、0.0%；Mamba3→Llama 为 2.5%、51.5%、55.5%、2.5%。刚性旋转消融中，迁到 Falcon-Mamba 后移除为 44.0%，相对其自身方向 41.5%。作者称输出保持连贯。
• 标签稀缺：5.0% 误报下，迁移方向抓住 74.2% 的有害提示词，同一批标签从头拟合为 62.8%，差 11.4 个百分点。k=4 到 64 时 AUROC 增益为 +0.032 到 +0.046，聚类区间在每个预算都不含 0（附录 A.41）。分布内两边都饱和。类别留出时自有探针与迁移探针为 0.78 对 0.75（Table 3 的均值自有/迁移均为 0.95，Pearson r=0.99，8/8 折超过打乱类别对照）。无限制语料与表面匹配最小对上迁移探针 AUROC 均为 1.00，与目标自身探针相同。

锚点机制、基线与自适应攻击

• 可解码性（Table 2，表面控制、表面探针 0.54）：Δ 0.95，B 0.79，C 0.78，mixer output 0.99。Llama-3.1-8B 残差 AUROC 1.00。130M–7B 五个基础 Mamba 在 Δ 上为 0.89 到 0.99。Codestral-Mamba-7B 的 mixer output 为 1.00。把 Δ 固定为常数后拒答不变，作者称 Δ 是读出而非控制位点（附录 A.13）。无限制语料上 Δ 与 mixer output 的 AUROC 均为 1.00。
• 幅度对照（Table 7，n=100）：Falcon-Mamba 上写入点估计、写在写入点或残差均为 6.0% [2.8%, 12.5%]；残差估计再推到残差为 100.0%。Mistral-7B 对应为 15.0% [9.3%, 23.3%]、23.0% [15.8%, 32.2%]、48.0%。作者称区间重叠，故施加位置无关。
• 三族攻击与基线（Table 8、Table 9，Falcon-Mamba，每条件 200）：前缀注入 98.0%→5.0% [2.7, 9.0]（ShieldGemma 2.0%；另一处写 ShieldGemma 基线 78.0%→2.0%）。角色扮演 81.5%→30.0% [24.1, 36.7]（ShieldGemma 23.0%）。虚构框架 87.0%→16.5% [12.0, 22.3]（ShieldGemma 10.0%）。无防御的过度拒答 12.0%；常开块输出 ASR 与门控相同，但过度拒答 86.0%。CAST 三族 ASR 均为 100.0%，连贯完成仅 9.5%（n=600 汇总；前缀 10.5%、角色扮演 7.0%、虚构 11.0%）。残差投影为 95.0%、87.5%、94.5%，过度拒答 9.0%。困惑度过滤不改变三族 ASR（98.0%、81.5%、87.0%），过度拒答 19.0%。SmoothLLM 为 62.0%、72.0%、86.5%，过度拒答 29.0%。

其他消融与分析

• 自适应：检测器对全部 100 条被攻击提示词触发，Falcon-Mamba 上 ASR 停在 1.0%（自 15.0%）。同一自适应攻击会侵蚀 Transformer 的检测器。经可微扫描的逐提示词 GCG：22.0%→6.0%（n=100）。无梯度优化后缀 97.5%→6.5%。Mistral-7B 上 GCG 为 41.0% [31.9, 50.8]→18.0% [11.7, 26.7]；ShieldGemma-9B 为 16.0%→5.0%。
• 稳定性：3 个种子汇总门控 ASR 3.3% [2.2, 5.1]，与基线区间不重叠；每条件 300 条时，Mistral-7B-Instruct-v0.2 为 96.0%→1.5%，ShieldGemma-9B 为 78.0%→2.0%。HarmBench 93.5%→5.5%。稀释攻击在追加 256 句后仍触发。检测器在 MMLU、TruthfulQA 上不触发，作者称能力因此按构造不变。
• 包装良性：加入硬负例后，带越狱包装的良性触发从 0.78 降到 0.00。混合模型除外，每个触发器在“穿越狱模板的良性提示词”上都能保住；† 标出用包装负例修好混淆的位点，‡ 标出没有修好的位点。
• RWKV 同比例推动：残差保持惰性（47.5% 不变），time-mix 写入点把 ASR 推到 17.5%，匹配随机方向为 82.5%。错配配对的迁移探针 AUROC 0.33。Llama 探针迁入 RWKV-6 为 1.00，打乱对照 0.43；迁入 Zamba2 为 1.00，打乱对照 0.52。
• 角色扮演例外：单方向门控把 Falcon-Mamba 角色扮演降到 30.0% 但未完全关上，攻击专用的双方向修正不泛化（Section 7、附录 A.14）。Mistral 上该攻击不优于基线率。
• 第二 SSM：Falcon3-Mamba-7B 上位点与防御都复现（附录 A.33）。Qwen2.5-7B 列入 Table 1，正文主表未给出其单独 ASR。

作者指出的局限与后续方向

• 门控不是更强防御（Section 5、摘要）：数字只与“检测器触发就返回固定拒答”打平，门控本身不增加防御强度；贡献是被放大的方向可跨架构迁移。
• 角色扮演（Section 5、Section 7）：单方向门控不能完全关上 persona roleplay，攻击专用的双方向修正不泛化。Mistral 上该设定不优于基线，Transformer 防御主张限于前缀注入。
• 常数不能直接迁移（Section 2.5、附录 A.2）：换模型时层选择与增益校准是仅有的模型相关工作，朴素迁移一个模型的常数会失败。哪一个组件暴露可解码方向也随架构变化。
• 残差方向的窄可用带（Section 5、附录 A.17）：在累积残差估计的方向在部署工作点放大时会退化；只在窄的低相对幅度带内能连贯防御，比写入点窄得多。
• 过度拒答检验偏弱（Table 6 注）：没有一行增加过度拒答，但触发器被拟合为拒绝这些提示词。混合模型常开版本过度拒答 99.0%。
• 代码与数据（Section 3）：作者计划在发表后公开代码、数据与结果文件。RWKV-6 为单检查点，迁移因果效应更弱（摘要、Table 4）。

实验覆盖范围

• 主防御表覆盖四类：选择性扫描 SSM（Falcon-Mamba）、Transformer（Llama-3.1-8B、Mistral-7B）、token-shift 循环（RWKV-6）、混合（Zamba2-7B 的注意力与 Mamba 两个写入点）。Table 1 还列出 Falcon3-Mamba-7B 与 Qwen2.5-7B。
• 攻击包括前缀注入、人格角色扮演、虚构框架、稀释，以及 GCG 与无梯度后缀。Falcon-Mamba 上测了针对冻结检测器优化的后缀：100 条上检测器全部触发。
• 评审以 Llama-Guard-3-8B 为主，并报告 ShieldGemma-9B、Mistral-7B-Instruct 与四评审 72.8% 一致；两名人工评分者一致率 94.8%（κ=0.90）。
• 迁移含六向（Llama、Mistral、Falcon-Mamba、Falcon3-Mamba）及到 RWKV-6、Zamba2 的刚性旋转。标签预算 k=4 到 64，误报率固定在 5.0% 时比较检出率。
• 论文报告了检测器训练（逻辑回归探针，300 epoch）与映射数据量（Procrustes 用 250 对提示词）。Δ 的尺度扫描为 5 个基础 Mamba（130M 到 7B）及 Codestral-Mamba-7B 的可解码性。

作者研究拒答表示是否随架构改变，结论是表示共享、读取位置随架构变。

• 问题：Transformer 的安全工具依赖残差流中的单一拒答方向。SSM、循环与混合模型用不同方式混合上下文，作者问该方向是否仍然存在、应在何处读。
• 做法：在每层写入残差之前的新输出估计均值差方向，用只能旋转的 Procrustes 映射把它迁到另一架构，再用提示词级线性探针决定是否在整段生成上放大。对照包括正交随机方向、残差估计的方向，以及检测后固定拒答。
• 共享：表面控制下 Falcon-Mamba 的 mixer output AUROC 为 0.99，Δ 为 0.95。把 Llama 方向旋到 Falcon-Mamba 再移除，ASR 从 10.5% 到 44.0%，随机方向为 9.0%。5.0% 误报下，迁移比同样少量标签从头训练多检出 11.4 个百分点（74.2% 对 62.8%）。
• 控制：四类架构的写入点门控降低前缀注入 ASR，Falcon-Mamba 从 98.0% 到 5.0%，过度拒答变化 +0.0 个百分点。针对检测器优化的 100 条上，检测器全部触发，ASR 为 1.0%（自 15.0%）。角色扮演只从 81.5% 到 30.0%。
• 作者的结论：方向估计位置决定能否控制拒答，施加位置在置信区间内无区别。门控与固定拒答持平，因而不增加防御强度；可移植的是在新架构写入点重估的方向。两名评分者与自动评审一致 94.8%（κ=0.90），作者称评审的错误只高估攻击。