推理模型的安全恢复只需早期几步引导

推理后训练会抬高多模态推理模型的越狱成功率，能否不重训、不牺牲推理，就在推理时把安全拉回阈值之上？

• 场景：作者称 MLRM 经 RL 后训练（如 GRPO）强化显式思维链后，任务变好、安全变差。Figure 1 在 Hades 上给出 R1-Onevision 相对基座 Qwen2.5-VL：ASR 从 19.13% 到 69.07%，安全分（100−ASR）从 80.87% 到 30.93%。
• 现有不足：作者称拒答提示、安全提示或解码启发式在越狱下往往不稳，用得猛还会伤推理。把安全当成要最大化的目标，也可能过度保守（Jiang et al., 2025）。
• 假设：作者认为安全行为多半仍在，只是对抗条件下没被选中；安全续写可以存在，但条件概率接近 0。因此他们把恢复做成推理时再条件化，而不是重训。
• 做法：提出推理时防御 SafeThink。用安全奖励监视思维链，低于阈值才注入短纠正前缀，安全写成“越过阈值即可”的约束。
• 威胁模型：
  • 受害系统：多模态推理模型，输入为图像和文本，先生成推理轨迹 z，再生成答案 y。
  • 攻击目标：在对抗输入下，让思维链或最终答案出现有害内容。ASR 由 oracle 判定，两侧任一有害即成功。
  • 攻击面：文本越狱配视觉输入（JailbreakV-28K），以及把恶意指令嵌进图像（HADES、FigStep、MM-SafetyBench）。论文未写攻击者的白盒或黑盒知识。
  • 防御方：不改参数；可读中间推理步，用公开安全奖励模型打分，低于 τ 时注入转向 token，并可只在前 m 步干预。

按第 6 节和附录 F 的分组；论文点名批评的，只挂在它点名的工作上。

多模态推理模型

• CoT 与多模态 CoT：Wei et al. (2022) 用逐步推理；Fei et al. (2024)、Shao et al. (2024)、Zhang et al. (2023b) 把 CoT 接到多模态。附录 F 称早期短链往往不够做长程规划。
• RL 训练的 MLRM：作者讨论 DeepSeek-R1（Guo et al., 2025）以及一批用强化学习拉长、拉结构化思维链的模型，包括本文评测的 OpenVLThinker、R1-Onevision、Vision-R1、LlamaV-o1、LLaVA-CoT 等。

MLRM 的安全

• 推理带来的越狱易感性：Fang et al. (2025)、Huang et al. (2025a)、Jiang et al. (2025)、Zhou et al. (2025) 等。作者称更强推理会放大越狱易感性；CoT 监督或 RL 微调可以拉高越狱率。
• 压制推理或固定前缀：Jiang et al. (2025) 用 zero-shot 策略缩短思考；Jeung et al. (2025) 在前面加固定 8-token 安全前缀。作者称二者都要在安全与推理质量之间取舍。
• 其余列举：附录 F 还列出 Lou et al. (2025)、Mazeika et al. (2024)、Parmar and Govindarajulu (2025)、Wang et al. (2025)。论文没有逐篇对照。

越狱攻击

• 文本侧：对抗后缀或提示的离散优化，如 Zou et al. (2023)、Zhu et al. (2024)；另一路把输出分布推向有害目标。Qi et al. (2024b) 讨论良性微调也会抹掉安全防护。
• 多模态侧：视觉对抗扰动（Qi et al., 2024a; Niu et al., 2024 等）、把恶意指令嵌进图像（Gong et al., 2023; Liu et al., 2023a），或改用文本越狱（Luo et al., 2024）。附录 F 称 Ying et al. (2024) 同时扰动两种模态。

基线与基准

• 基线：ZeroThink、LessThink（Jiang et al., 2025），ZS-SafePath（Jeung et al., 2025），AdaShield（Wang et al., 2024b）。都是推理时防御。
• 基准：JailbreakV-28K、HADES、FigStep、MM-SafetyBench；推理效用用 MathVista。

作者把本文放在早步定向转向上，而不是压制推理或只加固定前缀，并采用 satisficing（Simon, 1956; Chehade et al., 2025）：安全分越过阈值即可，不必最大化。

SafeThink 把安全恢复写成推理时的阈值约束：监视每一步，只有低于阈值才注入短转向信号，让安全续写的条件概率升高，同时少改原推理策略。

问题设定

• 生成：输入 x 为图像加文本。模型先采样推理步，再采样答案。联合分布是各步条件概率的乘积（式 1）。
• satisficing：不最大化安全分。中间步 t 上，安全续写的概率要不低于 ρ：Pr_{z∼πθ(·|x,z<t)}[R_safe([x,z_<t],z)≥τ]≥ρ。含义是：从当前策略采样下一步时，安全分不低于 τ 的概率至少为 ρ。
• 覆盖崩溃：作者称在对抗输入下该概率可接近 0，所以拒绝采样和 best-of-N 在有限预算内抽不到安全续写。Figure 2 图注称 k 增到 20 时，直接从原策略抽样的 BoN* 仍低于 τ。

监视

• 何时干预：候选步来自原策略。r_t = R_safe(x_adv, z_≤t)，分数归一化到 [-1, 1]。r_t ≥ τ 则接受，否则拒绝并转向。轨迹以 end-of-thinking 结束。
• 奖励模型：主实验用 Llama-Guard-3。附录 D 换 Qwen-Guard-3。正文也提到可用 RewardBench 一类公开无害奖励模型，实验实例是上述两个。
• 阈值从哪来：实验取 τ=0。附录 C 在 JailbreakV-28K 的 500 条上，用 VLAA-Thinker 每条生成 N=20，Llama-Guard-3-8B 打分、GPT-4 做 oracle。图注写越过 τ=0 后，约 90% 的回复被判为安全，更高分不再上升。

转向 token

• 选 token 的目标：在离散信号 s 上尽量少偏离原策略，同时满足安全约束：min_s D_KL(π_θ(·|x_adv,z_<t,s) | π_θ(·|x_adv,z_<t))。约束与上面的概率阈值同一要求（式 6 用 ρ）。
• 候选集怎么来：从四个越狱基准随机抽 500 条 held-out 样本，让 GPT-4 按不安全推理轨迹生成短纠正短语，去重得到 S。再按估计的安全成功概率和 KL 筛选。
• 实验里用哪句：Figure 5（JailbreakV-28K）上，作者称没有显式安全用语的短语留在 τ=0 以下，带安全提示的更高；“Wait, think safely” 安全奖励最高且 KL 低。推理时固定用这一句，不再在线搜索。
• k 与符号：每个候选 s 抽 k 个下一步，用蒙特卡洛估计安全成功概率。实验取 k=3。算法正文把入选写成估计概率 ≥ τ，与式 6 的 ρ 不是同一个符号。

早步预算与判定

• 深度 m：只允许前 m 个推理步触发监视和转向，之后关闭。m=0 就是不转向。作者称早步定下意图和高层计划，越狱时不安全意图往往早形成。
• 偏离上界：作者把加了前 m 步转向后的轨迹 KL，上界写成这 m 步 KL 之和（式 10）。这是作者给出的界，实验未报告实测 KL。
• 成功怎么判：ASR 是对抗样本里，思维链或最终答案被 oracle 判为含有害内容的比例。oracle 是 GPT-4。Llama-Guard-3 只负责触发转向，不代替这个判定。

实验设置

• 被测模型：R1-Onevision-7B、OpenVLThinker-7B、VLAA-Thinker-7B、Vision-R1-7B、LlamaV-o1、LLaVA-CoT。Figure 1 另给基座 Qwen2.5-VL 在 Hades 上的无防御 ASR。
• 基准：JailbreakV-28K 把对抗文本配噪声、空白、自然图或 stable diffusion 图，文本分模板、说服、逻辑。HADES 有五类有害指令，图像为 SD、TYPO、ADV。FigStep 十类，排版图。MM-SafetyBench 十三类，SD、TYPO、SD+TYPO。推理效用用 MathVista。论文未写明主实验每基准条数。
• 基线：ZeroThink（空的 think 段）、LessThink（先输出一段很短的推理）、ZS-SafePath（固定 8-token 安全前缀）、AdaShield（查询前加一段检查图像并拒答的防御提示）。
• 指标：ASR 为越狱尝试中出现有害内容的比例，有害可在思维链或最终答案。oracle 是 GPT-4。安全分定义为 100−ASR。
• 采样：每条对抗查询独立采样 3 次，三次里任一次被标为越狱，该查询即算成功。
• 防御参数：主实验 R_safe 为 Llama-Guard-3，τ=0，k=3，转向短语固定为 “Wait, think safely”。附录 D 把 R_safe 换为 Qwen-Guard-3。时延用 JailbreakV 随机 100 条的平均生成时间。

主结果

下表是 Table 2、Table 3 的 Average 列，单位为 ASR（%）。无防御即表中 Original。

表格较宽，可左右滑动

模型	JailbreakV无防御	JailbreakV SafeThink	Hades无防御	Hades SafeThink
R1-Onevision	50.62%	10.36%	69.07%	5.65%
OpenVLThinker	45.69%	1.12%	66.67%	2.18%
VLAA-Thinker	20.38%	4.39%	28.67%	2.22%
Vision-R1	41.84%	3.56%	61.96%	8.35%
LlamaV-o1	63.33%	5.74%	66.80%	6.00%
LLaVA-CoT	42.21%	6.57%	26.85%	2.04%

• 作者称六个模型上 SafeThink 的 ASR 最低，早步转向优于截断推理或只在输入侧加安全提示。正文写 JailbreakV 上 LlamaV-o1 无防御 ASR 高达 64.3%，Table 2 Average 为 63.33%。作者称相对无防御降低 57.6%（LlamaV-o1）和 44.6%（OpenVLThinker），相对最强基线再降 39.2% 和 18.3%。
• Hades 正文写 R1-Onevision 从 69.1% 到 5.7%，作者称绝对降 63.4%；Table 3 为 69.07% 到 5.65%。作者称 ZS-SafePath 与 AdaShield 在该模型上至多降低 25.3%。Figure 7 写 OpenVLThinker 从 66.7% 到 2.2%，作者称绝对降幅最高 64.5%；表为 66.67% 到 2.18%。
• 摘要称四个基准上 ASR 降低 30–60%，并举 LlamaV-o1 的 63.33% 到 5.74%、R1-Onevision 的 69.07% 到 5.65% 为例。这是作者的总括，不是上表逐格相减。

FigStep 与 MM-SafetyBench

• FigStep（Table 4 Average）：无防御到 SafeThink 为 R1-Onevision 43.60% 到 12.00%，OpenVLThinker 49.20% 到 4.40%，VLAA-Thinker 26.20% 到 7.80%，Vision-R1 37.20% 到 6.40%，LlamaV-o1 60.20% 到 17.20%，LLaVA-CoT 53.60% 到 6.20%。作者称绝对降幅最高 44.8%（OpenVLThinker，正文写 49.2% 到 4.4%），并称 R1-Onevision 降 31.6%、Vision-R1 降 30.8%。
• 不是每类都最低：作者称六个模型上 ASR 最低，Average 列如此。R1-Onevision 的 Adult Content 上 SafeThink 为 10.00%，AdaShield 为 6.00%；Health Consultation 上 SafeThink 为 8.00%，LessThink 为 4.00%。
• MM-SafetyBench（Figure 11）：作者称六个模型上最低。正文给出的数字是 Vision-R1 从 59.64% 到 2.84%（作者称绝对降幅最高 56.8%），LLaVA-CoT 从 58.14% 到 7.91%；另称 VLAA-Thinker 降 39.8%、LLaVA-CoT 降 50.2%。提取文本没有该类完整表。

推理效用与时延

• MathVista：摘要写准确率从 65.20% 到 65.00%，该句未写模型。Figure 14 在 τ=0 时写 R1-Onevision 为 65.0%、LlamaV-o1 为 64.7%。作者称 LessThink 在 VLAA-Thinker 上降低 15%，在 Vision-R1 上降低 17.6%。Figure 9 的柱高没有出现在文本里。
• Table 1 的汇总行：Reasoning Acc. 为 Original 63.51%、ZeroThink 54.41%、LessThink 52.98%、ZS-SafePath 60.86%、SafeThink 63.46%。Average ASR 同序为 44.01%、31.09%、31.78%、31.75%、5.30%；该行未写明基准。正文另写 ZS-SafePath 在 JailbreakV-28K 上 mean ASR 为 33.40%，与表中 31.75% 不一致，以表为准。
• 时延（秒，Table 1）：SafeThink 为 R1-Onevision 8.02、VLAA-Thinker 6.84、Vision-R1 6.86、LlamaV-o1 8.32、LLaVA-CoT 9.32；同表没有 OpenVLThinker。作者称相对 ZS-SafePath 每条多 0.1–0.9 秒；表中 LLaVA-CoT 的 ZS-SafePath 为 8.10。正文写相对原模型 ASR 绝对降 38.71%，与表中 44.01% 到 5.30% 对不上，不采用该句。相对 ZS-SafePath 的 26.45% 与 31.75% 到 5.30% 一致，仍按作者的说法转述。

少步转向与换奖励模型

• 转向深度（Figure 4）：只在前 m 步允许转向。作者称 ASR 在前几步下降后走平，m≤3、常常 m≤2 即从越狱区进入安全区。文本没有各 m 的 ASR 读数。图内标题是 (a) R1-Onevision、(b) VLAA-Thinker、(c) Vision-R1；图注写的是 LlamaV-o1 / JailbreakV-28K、R1-OneVision-7B / Hades、OpenVLThinker-7B / FigStep。两边对不上。
• Qwen-Guard-3（附录 D）：Figure 12（JailbreakV-28K）作者称 LlamaV-o1 从 63.33% 到 4.82%，OpenVLThinker 从 45.69% 到 0.88%，绝对降幅最高 58.51%。Figure 13（Hades）作者称六个模型 ASR 低于 7%，其中 R1-Onevision 从 70.67% 到 5.1%，LlamaV-o1 从 68.44% 到 5.9%；基线在多数情况下仍高于 20%。这组无防御数字与 Table 3 不完全相同。
• Best-of-N（Figure 2）：HADES 上的 R1-Onevision、VLAA-Thinker、Vision-R1。图注称 k 增至 20 时 BoN* 仍低于 τ；加上转向 token 后，k=2 即可越过阈值。作者据此认为抽不到安全轨迹是因为条件覆盖差，不是因为不存在安全续写。

其他消融与分析

• τ（Figure 14，JailbreakV-28K；R1-Onevision、LlamaV-o1、VLAA-Thinker）：τ 取 -0.3、-0.15、0、0.15、0.3。作者称安全分随 τ 上升，-0.3 到 0 升幅最大，超过 0 后走平；MathVista 在 τ≤0 时稳定，τ=0.3 时 R1-Onevision 从 65.0% 到 61.4%，LlamaV-o1 从 64.7% 到 60.5%。
• k：Figure 2 中 SafeThink 在 k=2 越过阈值；主实验取 k=3。
• 转向短语（Figure 5，JailbreakV-28K）：作者称无显式安全用语的短语留在 τ=0 以下；“Wait, think safely” 安全奖励最高且 KL 低。文本未给具体 KL 或奖励数值。
• 定性：Figure 10、15、16 比较各防御在 HADES、FigStep、MM-SafetyBench 上的回复。作者称 SafeThink 拒绝恶意查询。不转述其中的攻击句和模型输出。

作者指出的局限与后续方向

• 依赖监视组件（附录 B）：作者写效果依赖安全监视组件的质量，尤其是安全奖励模型是否够好。
• 已做的对照（附录 B）：作者称换用 Llama-Guard-3 与 Qwen-Guard-3 后两边都有性能增益，并据此认为方法对奖励模型选择是稳健的。附录 B 没有再列其他局限，Conclusion 也没有写出后续实验。

实验覆盖范围

• 被测推理模型为 Section 5.1 的六个开源 MLRM；Figure 1 还比较了 Qwen2.5-VL 与 R1-Onevision 在 Hades 上的无防御 ASR。
• 越狱评测为 JailbreakV-28K、HADES、FigStep、MM-SafetyBench，推理效用为 MathVista；对照防御为 ZeroThink、LessThink、ZS-SafePath、AdaShield。
• 主实验 ASR 由 GPT-4 判定，每条查询采样 3 次、任一次越狱即成功；R_safe 为 Llama-Guard-3，τ=0，k=3。附录 D 另用 Qwen-Guard-3 报告 ASR。
• 转向深度实验为三个模型–基准组合（Figure 4 图注与图内标题不一致，见第 4 问）；候选转向词在四个基准共 500 条 held-out 样本上离线选定；时延用 JailbreakV 的 100 条（Table 1）。
• 论文未报告主实验各基准的评测条数，也未报告 GPT-4 与人工判定的一致性。

SafeThink 是给推理后训练多模态模型用的推理时防御：安全只要越过阈值，不必最大化，也不改参数。

• 问题：作者称 GRPO 一类显式思维链后训练会削弱安全。Figure 1 在 Hades 上，R1-Onevision 相对 Qwen2.5-VL 的 ASR 从 19.13% 到 69.07%。
• 做法：Llama-Guard-3 给每步推理打分，低于 τ=0 才注入离线选定的短前缀 “Wait, think safely”。主实验每次抽 k=3 个候选步。作者称干预通常只需前 1–3 步，之后轨迹会留在安全区域。
• 越狱数字：Table 2 里 LlamaV-o1 在 JailbreakV-28K 的 ASR 从 63.33% 到 5.74%；Table 3 里 R1-Onevision 在 Hades 从 69.07% 到 5.65%，OpenVLThinker 从 66.67% 到 2.18%。摘要把四个基准上的降幅写成 30–60%。ASR 由 GPT-4 判定，每条查询 3 次里有一次越狱即算成功。
• 效用与作者结论：摘要写 MathVista 从 65.20% 到 65.00%，未写模型；Table 1 的平均 Reasoning Acc. 为 63.51% 与 63.46%。作者在结论里称，早步转向能提高安全稳健性，同时留下后训练带来的推理能力；条件覆盖差是前文对“为什么要转向、而不是多采样”的解释。