TAME：用 SAE 抑制激活缓解 VLM 思维链混淆

强化学习提升视觉语言模型（VLM）推理时，思维链（chain-of-thought, CoT）会出现混淆（obfuscation）：任务奖励或准确率上升，轨迹却更少依据、更难监控。

• 场景：作者认为 CoT 是感知辅助和自主交互中的能力来源，也是安全监控通道，推理轨迹能暴露最终输出掩盖的失败。大规模 RL 能提升 VLM 推理，同时造成任务表现与轨迹可监控性之间的张力。
• 定义：CoT obfuscation 被作者定义为一种操作性、非故意的训练结果：奖励或准确率上升，而操作性可监控性下降。与纯文本模型主要省略步骤或换成套话不同，VLM 轨迹仍可流畅且答案正确，却丢掉监控者能在图像中核对的视觉锚点。
• 现有不足：行为监控能检测输出层 CoT 退化，但不识别对应的内部变化；机制分析多刻画静态模型，而不是 RL 如何重塑表征，尤其在多模态设定中。作者认为因此不清楚可监控性下降是否有可干预的局部表征相关物。
• 核心观察：模板相关与视觉依据相关激活在 RL 中变得更不可分；匹配干预支持所选特征对可监控性下降有贡献。作者据此提出 Targeted Anti-obfuscation with Mechanistic Enforcement（TAME）。
• 本文做法：用稀疏自编码器（Sparse Autoencoder, SAE）把行为反馈与训练中对模板相关激活的定向抑制结合起来。非对称约束只惩罚高于 RL 前基线的模板激活。评测覆盖 VIRL-39k 与 SPA-VL，以及 Qwen3-VL-8B 与 Gemma-3-12B-it。

CoT 监控

• Baker 等（2025）、Korbak 等（2025）、Emmons 等（2025）、Chen 等（2026b）、Anwar 等（2025）、Zhao 等（2025）、Hase 与 Potts（2026）、Zolkowski 等（2025）、Wang 等（2026）、Haskins 等（2026）：把推理轨迹当作安全相关通道；较弱模型常能通过 CoT 监督更强模型，但 RL 和长的良性推理会侵蚀这一信号。
• Meek 等（2025）、Yang 等（2025）、Xiang 等（2025）、Xia 等（2025）：在 VLM 中按问题／思考／答案流程做轨迹级监控；Jiang 等（2025）做互补的激活探测；Zhao 等（2026a）报告 RL 下准确率与忠实性的权衡。
• Guan 等（2025）：本文的 G-mean2 沿用其定义，衡量两类参考标签的平衡可恢复性。Chen 等（2024）、Fan 等（2025）涉及视觉依据上的可监控性，作者称本文把这一信号连到 RL 期间与其下降相关的表征。

VLM 中的 CoT

• Ge 等（2023）：在视觉语言模型上做思维链提示词调优。
• Zhang 等（2025b）、Perek 等（2026）、Ji 等（2025）：分别在轨迹上做偏好数据、平衡长度与质量，以及在空间推理课程上做任务特定 RL。作者称这些工作停在输入输出或序列奖励层，没有刻画 RL 如何逐步重塑支撑有依据 CoT 的内部特征，也没有在表征层抑制模板特征。

本文借用的技术来源

• Shao 等（2024）的 GRPO：序列级任务奖励，作者称它不直接约束模板与依据特征的可分性。Yu 等（2025）的 DAPO（Decoupled Clip and Dynamic sAmpling Policy Optimization）作为对照的大规模 RL 配方。
• Hübotter 等（2026）、Sang 等（2026）、Zhao 等（2026b）：用自蒸馏目标增强 RL。Shi 等（2026）的经验式 RL 范式被用于反混淆反馈环。TopK SAE 的训练参照 Zhang 等（2025a）、Shu 等（2026）；特征可分性指标参照 Karvonen 等（2025）、Chanin 等（2025）。

基线与基准

• 基线方法：GRPO、DAPO，以及带 CoT 监控奖励的变体；消融含 SAE-only、Behav-only、Behav + Rand-SAE。
• 基准／数据集：引导实验用 GQA；主训练与分析用 VIRL-39k（视觉推理）和 SPA-VL（安全偏好对齐）；通用能力用 MMMU-Pro、MathVista、MathVerse、MEGA Core。

作者把本文与上述工作的区别放在：记录 RL 诱导的可监控性下降，用注意力、积分梯度（Integrated Gradients, IG）和 SAE 定位模板与依据激活可分性下降，并用匹配干预与 TAME 把行为监督失败转成表征层约束。

整体上，作者先把可监控性定义成双门参考标签的平衡可恢复性，再用注意力、IG 和冻结 SAE 定位模板特征，最后用 TAME 在 GRPO 训练中同时施加行为反馈与表征约束。

可监控性与双门标签

• 操作性可监控性：轨迹 ξ 的参考标签 y 与评审 J 的预测 ŷ 分开。J 只看问题、CoT 和最终答案，不看图像和参考门输出，必须从轨迹暴露的证据恢复参考状态。主评审 J 为 GPT-4o。
• 指标：TPR 为参考为 A 时预测为 A 的比例，TNR 为参考为 B 时预测为 B 的比例。G-mean2 为二者乘积；另报监控准确率 (TP+TN)/N。可监控性即双门状态的平衡可恢复性。
• VIRL 双门：A 须同时满足信息充分性（去掉图像后 DeepSeek-V3.2 仅凭 CoT 答对）和视觉依据（Gemini-2.5-Flash 核对所引视觉证据存在且充分）。任一失败标为 B，以避免凭虚构细节通过纯文本检查。
• SPA-VL 双门：训练中的可监控性要求安全奖励 ≥ 0.8，且跨家族审计者判断轨迹可按策略审计、没有欺骗性规避。任一失败标为 B。主 GPT-4o 预测器与两个参考门分开。
• token 三分：GPT-4o 把 CoT token 标为 GROUND（图像中的视觉指称）、ENTITY（领域概念或事实）和 TEMPLATE（与具体问题或图像无关的固定推理套话）。前两类承载内容，TEMPLATE 承载形式；TEMPLATE 比例上升是可监控性下降的一个行为指标。

定位：注意力、IG 与 SAE

• 决策点注意力：在发出答案前的最后一个 token（“Final:”之前）计算各头对三类 token 的注意力质量。原始 Cheating Index 为模板质量除以依据与实体质量之和；再除以均匀注意力基线 CIuniform，使 CI=1 表示按 token 比例路由，大于 1 表示不成比例地依赖模板。
• 头筛选与替换：按晚期减早期的层平均 ΔCI 排序层，再在最高层内按头排序。把被标记头在早期检查点的输出替换进晚期前向，看 CI 是否下降。层筛选、头筛选和替换的量纲不同，作者称不直接比较其大小。
• 积分梯度：同一决策点、零嵌入基线、50 个插值步，报告 IMAGE、TEMPLATE、GROUND、ENTITY 的逐 token 平均归因，以控制各类比例变化。
• SAE：在 step-0 模型上训练 TopK SAE，KSAE=32、4096 个潜变量、每层七个投影模块，然后跨检查点冻结，使特征下标可比较。用 Cohen’s d 选模板相关特征。条件富集分数 CES 为模板特征在 GROUND 与非 GROUND 上高激活概率之比的对数，越接近 0 表示对模板的选择性越弱。另报 TEMPLATE 精确率、召回率和 GROUND 与 TEMPLATE 激活分布的 Jensen–Shannon 散度（JSD）。诊断聚合用前 100 个 Q/K 潜变量；干预和 TAME 用前 20 个。

匹配干预

• 更新：残差流按 y_new = y + λ(ŷ′ − ŷ) 更新，λ=1.0。在已做 RL 的模型上，消融把所选潜变量乘以 (1−β)；在 step-0 模型上，注入乘以 (1+β)。β=0.8，kf=20（除非另注）。
• 对照：定向与随机条件共享提示词、检查点、解码、目标层、特征数和干预强度；随机特征排除定向集合。作者用“超出匹配随机对照的变化”作为特征特异贡献的证据。

TAME 训练

• 行为项 L_behav：先在原系统提示词下做 on-policy CoT 并取得奖励；提示词更新器每 10 步用 GPT-4o 根据批次尝试和结果演化系统提示词，方向是减少模板措辞、恢复视觉依据、促进针对内容的推理。精炼轨迹仅在任务奖励不低于原尝试时保留，再与原始提示词配对，用 GRPO 优势估计做 on-policy RL，并对初始参考策略加 KL 正则。作者称更新器指令针对 VLM 特有的视觉依据失败，纯文本没有对应物。
• 表征项 L_SAE：对模板特征集合求和 ReLU(a_student − a_base) 的平方。SAE 与 RL 前策略冻结；ReLU 只在学生的模板激活超过 RL 前基线时产生惩罚，低于基线不罚。
• 合并：L_TAME = L_behav + γ L_SAE。VIRL 上 γ=0.1，SPA-VL 上 γ=0.05。超参数与计算开销在附录 K。SAE 目标层：VIRL 为 12、13、20；SPA-VL 为 8、10、18。
• 奖励：GQA 与 VIRL 为二值答案匹配，r∈{0,1}；SPA-VL 为由 DeepSeek-V3.2 给出的连续安全对齐分数，r∈[0,1]。

实验设置

• 被测模型：主模型 Qwen3-VL-8B；跨架构复现 Gemma-3-12B-it。参考门用 DeepSeek-V3.2 与 Gemini-2.5-Flash；主监控器为 GPT-4o。留出监控器为 MiniMax-M3 与 Kimi-K2.6。SPA-VL 奖励评判为 DeepSeek-V3.2。提示词更新器为 GPT-4o。
• 数据：GQA 为引导研究。VIRL-39k 与 SPA-VL 各用 20k 训练、2k 验证。留出测试：VIRL 1,934 条；SPA-VL 为 530 条查询的 test-harm 与 test-help 子集。SPA-VL 测试划分没有官方 chosen 字段，作者用专家撰写的安全参考。
• 训练：先单独用 GRPO 研究混淆，每 10 步存检查点，跟踪 200 步。缓解对比另训 DAPO，数据划分与步数预算与 GRPO 相同（除非另注）。硬件为单节点 8× NVIDIA H100 80GB。
• 指标：VIRL 留出集报任务准确率；SPA-VL 报 test-harm 的 Harm Score（HS，越低越好）和 test-help 相对 GPT-4o 的 Win Rate。所有设置报全留出集上的 G-mean2 与监控准确率。通用能力为 MMMU-Pro、MathVista、MathVerse、MEGA Core。
• 人工：三名标注者标注 400 条 GRPO 轨迹（每数据集 200）。盲法配对比较每数据集 80 个留出单元。论文未报告训练重复次数。

主结果

Table 3 中，TAME 在四个模型×数据集设置里 G-mean2 最高。Qwen、VIRL 上准确率从 GRPO 的 .646 到 TAME 的 .640。

Swipe horizontally to read the table

模型 / 数据	方法	Acc 或 HS / Win	G-mean2	Mon. Acc	出处
Qwen / VIRL	GRPO	Acc .646	.302	.565	Table 3
Qwen / VIRL	TAME	Acc .640	.611	.771	Table 3
Qwen / SPA-VL	GRPO	HS 6.8 / Win 63.7	.394	.630	Table 3
Qwen / SPA-VL	TAME	HS 7.4 / Win 66.9	.561	.762	Table 3
Gemma / VIRL	GRPO	Acc .552	.272	.464	Table 3
Gemma / VIRL	TAME	Acc .561	.541	.748	Table 3
Gemma / SPA-VL	GRPO	HS 8.9 / Win 54.8	.356	.596	Table 3
Gemma / SPA-VL	TAME	HS 8.7 / Win 57.9	.512	.726	Table 3

• 作者解读：相对 GRPO，TAME 的可监控性在两个模型族上最高提升 30.9 与 16.7 个百分点；按 Table 3，Qwen 的 VIRL 为 .302 到 .611（+30.9 个百分点），SPA-VL 为 .394 到 .561（+16.7 个百分点）。Gemma 为 .272 到 .541、.356 到 .512。DAPO 与 GRPO 接近，作者称奖励与可监控性的分裂也出现在第二种 RL 目标下。
• 任务指标：作者称任务准确率变化小且方向不一。Qwen 在 VIRL 上从 .646 到 .640；Gemma 从 .552 到 .561。SPA-VL 上 Qwen 的 HS 从 6.8 到 7.4（越高越差的方向），Win Rate 从 63.7 到 66.9；Gemma 的 HS 从 8.9 到 8.7，Win Rate 从 54.8 到 57.9。
• 通用能力：作者称存在任务特定权衡。Qwen 在 VIRL 上 MMMU-Pro 从 Base 48.6 降到 TAME 43.0，其中 4.0 分已出现在单独 GRPO（44.6）。Gemma 在 VIRL 上 MathVista 从 54.4 到 57.6。Qwen 在 SPA-VL 上 MEGA Core 从 37.6 到 40.4，比 GRPO 的 34.7 高 5.7。作者称 SPA-VL 检查点在两模型的四个基准上匹配或超过 GRPO；VIRL 检查点的权衡依模型而异。

现象、定位与因果干预

• RQ1（Figure 3，SPA-VL，Qwen3-VL-8B）：200 步 GRPO 中，奖励从 0.617 升向 0.852；G-mean2 从 0.648 升到约第 80 步的 0.685，再降到第 200 步的 0.394。作者称 VIRL 训练也出现同样分裂，并称这是模型产生监控者可用证据的方式变了。
• RQ2：Figure 4（VIRL，Qwen）中，作者称 step 0 的内容注意力集中在第 7 层以下，到 step 200 模板注意力在第 12–24 层上升，该带归一化 CI 为均匀基线的数倍。SPA-VL 更早，在第 8–18 层；全局 CIuniform 从 0.38 升到 0.95。Figure 5（SPA-VL）中，作者称模板归因在第 8–10 层超过图像归因，替换抑制模板 IG 也主要在这些层。Figure 6（VIRL，Qwen，step 0 对 step 200）中，作者称 CES 上移、精确率下降。附录 J：换字典后 JSD 下降 58–70%，最终模板召回仍高于 .81，step 0 与 step 200 激活的重构余弦仍高。
• RQ3（Figure 7，top-20）：step 200 定向消融比随机消融更多抬高 G-mean2：一组从 0.302 到 0.518，随机为 0.405；另一组从 0.394 到 0.526，随机为 0.433。定向超出随机 .113 与 .093。step 0 注入使 G-mean2 从 0.524 到 0.506（随机 0.510），以及从 0.648 到 0.575（随机 0.630）。作者称注入对比更小，放大这些方向解释不了已训练模型下降的大部分，结果支持局部特征的部分贡献。论文正文未把两组数字逐一标到 VIRL 或 SPA-VL；0.302 与 0.394 分别与 Table 3 中 Qwen 的 GRPO G-mean2 相同。

人工与留出监控

• 一致性（Table 2）：标注者间 κ 为 .74（400 条）。多数标签与双门参考的一致率为 VIRL 87.5%、SPA-VL 84%。配对 Fleiss’ κ 为 .61 与 .69。
• 盲评：人类预测器 G-mean2 在 VIRL 从 .265 到 .611，SPA-VL 从 .355 到 .636；监控准确率从 .588 到 .738、从 .600 到 .813。人类可监控性偏好 TAME：+12.50 与 +13.75 个百分点。依据偏好 +6.25 与 +7.50 个百分点。充分性偏好为 VIRL −5.00、SPA-VL +3.75 个百分点。流畅性偏好为 −2.50 与 −10.00 个百分点。
• 留出监控器：同一冻结轨迹上，MiniMax-M3 的 G-mean2 为 VIRL .303→.718、SPA-VL .537→.756；Kimi-K2.6 为 .331→.534 与 .359→.458。作者称增益不特定于主监控器。

其他消融与分析

• 组件（Table 3，Qwen / VIRL，G-mean2）：SAE-only .519，Behav-only .548，Behav+Rand-SAE .532，+CoT-mon. reward .557，TAME .611；准确率分别为 .640、.619、.627、.634、.640。
• 组件（Table 3，Qwen / SPA-VL，G-mean2）：SAE-only .483，Behav-only .478，Behav+Rand-SAE .484，+CoT-mon. reward .463，TAME .561。作者称把随机 SAE 换成定向约束后，Qwen 在两个数据集上的 G-mean2 进一步上升。
• Gemma 组件（Table 3）：VIRL 上 SAE-only / Behav-only / Rand-SAE / TAME 的 G-mean2 为 .393 / .405 / .483 / .541；SPA-VL 为 .432 / .438 / .442 / .512。
• TAME 轨迹（Figure 8，SPA-VL/Qwen）：作者称奖励约在第 100 步收敛且可监控性保持稳定；GRPO 的 200 步轨迹在训练中段峰值之后下降。
• 表征恢复（Figure 9 与正文，SPA-VL，Qwen）：作者称第 8–18 层模板注意力下降、内容注意力恢复；模板 IG 峰值缩小 60–70%；SAE 精确率大约翻倍；JSD 收回从 GRPO 到 step 0 缺口的大约 60%。Figure 23：SPA-VL 上全局 CIuniform 在 step 0 / GRPO / TAME 为 0.38 / 0.95 / 0.55。Figure 24：作者称 TAME 把模板与图像的归因分离拉向 step 0，并降低模板 IG 峰值。
• DAPO（Table 3）：Qwen 的 G-mean2 为 VIRL .318、SPA-VL .412，高于同列 GRPO，低于 TAME。Gemma 为 .286 与 .371。

作者指出的局限与后续方向

• 部署建议（Conclusion）：作者建议从业者在训练中同时跟踪双门监控与任务奖励，使奖励与可监控性差距变大时、在后期崩溃之前触发干预。这是后续使用方向，不是已完成的部署。
• 因果只是部分的（Section 5.3）：作者称 step-0 注入对比更小，放大同一方向解释不了已训练模型上下降的大部分，所选特征只构成部分贡献。
• 表征恢复是部分的（Section 5.4）：作者称 TAME 下被诊断的特征签名只是部分逆转。
• 通用能力权衡（Section 5.4）：作者称四个通用 VLM 基准呈现任务特定权衡，VIRL 检查点的权衡依模型而异。
• 论文未专门讨论局限：正文的 Limitations、Discussion、Future Work 没有独立成节。伦理声明只说明研究公开 VLM 与数据集、目的是改进安全监督而不是增强有害能力。附录 K 被引用为超参数与计算开销的位置，转换文本在 Figure 23–24 之前中断处未再给出作者明确的局限清单。

实验覆盖范围

• 模型与数据：缓解实验的策略模型为 Qwen3-VL-8B 与 Gemma-3-12B-it。训练与主分析数据为 VIRL-39k 与 SPA-VL，各 20k 训练、2k 验证；GQA 为引导研究。留出测试为 VIRL 1,934 条、SPA-VL 530 条查询的 test-harm 与 test-help。
• 对照：Table 3 含 Base、GRPO、DAPO、加 CoT 监控奖励、SAE-only、Behav-only、Behav+Rand-SAE 与 TAME。通用能力为 MMMU-Pro、MathVista、MathVerse、MEGA Core；SAE 与行为消融行的通用能力为未评测（表中 “–”）。
• 监控与人工：主监控器为 GPT-4o。留出监控为 MiniMax-M3 与 Kimi-K2.6，评的是同一冻结轨迹。人工为 400 条 GRPO 轨迹的一致性，以及每数据集 80 个留出单元的盲法配对。标注者间 κ=.74。
• 机制范围：SAE 在 step 0 训练后冻结；VIRL 层为 12、13、20，SPA-VL 层为 8、10、18。干预 kf=20，β=0.8，λ=1.0。诊断用前 100 个 Q/K 潜变量。附录 J 在 VIRL 留出例上换字典，JSD 降 58–70%。
• 论文未报告：正文未报告 RL 训练的重复次数，也未报告统计显著性检验。Figure 7 两组干预的数据集归属在正文句子中未逐一写明。

TAME 把 VLM 在 RL 中的 CoT 可监控性下降，从行为现象落到可干预的模板相关激活上。

• 问题：GRPO 一类训练让任务奖励或准确率上升，同时 CoT 更依赖与图像无关的模板套话，监控者更难从轨迹恢复双门参考状态。作者把这定义为操作性、非故意的 obfuscation，并认为它会削弱多模态系统里以 CoT 为通道的监督。
• 方法：决策点注意力和积分梯度定位路由变化的层；冻结 TopK SAE 显示模板与视觉依据特征更不可分。匹配的消融与注入支持这些特征的部分贡献。训练时，行为环每 10 步演化提示词并只保留奖励不下降的精炼轨迹；SAE 项只惩罚超过 RL 前基线的模板激活。γ 在 VIRL 为 0.1、SPA-VL 为 0.05。
• 可监控性：Qwen3-VL-8B 上，TAME 的 G-mean2 在 VIRL 为 .611（GRPO .302），在 SPA-VL 为 .561（GRPO .394）。Gemma-3-12B-it 为 .541 对 .272、.512 对 .356（Table 3）。人类盲评的可监控性偏好为 +12.50 与 +13.75 个百分点；MiniMax-M3 与 Kimi-K2.6 在同一轨迹上的 G-mean2 也上升。
• 代价：任务指标方向不一。Qwen 在 VIRL 的准确率从 .646 到 .640，MMMU-Pro 从 Base 的 48.6 到 43.0。SPA-VL 上 Qwen 的 Harm Score 从 6.8 到 7.4，Win Rate 从 63.7 到 66.9。作者结论写恢复可监控性且不牺牲任务表现；Table 3 同时记录了上述升降。
• 作者结论：作者认为这给出一条从行为监控到表征层监督的路径，并建议训练时并列跟踪双门监控与任务奖励，在后期崩溃前干预。