跳到正文
原文

SafeCap:用图像描述强化学习提升 LVLM 安全性

SafeCap: Improving LVLM Safety with Image Captioning Reinforcement Learning

arXiv· arXiv:2608.10513· Caoyuan Ma, Wenpu Liu, Weichu Xie, Tian Gu, Shilei Zhao, Lingxi Min, Shuai Dong, Yuqi Xu, Ji Zhao, Ziyue Wang, Wenzheng Chang, Taiqiang Wu, Yongfu Zhu, Wenqi Shao, Yinqiang ZhengThe University of Tokyo; JD.com; Peking University; Wuhan University; Shanghai AI Laboratory; Shanghai Innovation Institute; Shanghai Jiao Tong University; The University of Hong Kong本站收录· 20 天前· 原文发表防御

论文速读

防御

据论文 PDF 整理(AI 生成),以原文为准

作者提出 SafeCap,用 GRPO 训练 LVLM 先生成安全相关图像描述再作答;作者称在四个模型设置下 DirectCap 安全均分提升 3.7–19.0 分。

威胁模型防御论文。针对利用视觉输入绕过语言侧安全对齐的越狱攻击:有害指令可嵌入排版图像、由物体暗示危险意图、或经视觉 grounding 后才变得不安全。

问题
LVLM 的视觉通路会绕过从语言骨干继承的安全对齐:有害指令可藏在排版图像中、由物体暗示、或经视觉 grounding 后才显现,纯文本安全训练覆盖不到这些失败模式。
方法
SafeCap 用 GRPO 在公开 SPA-VL 数据上训练 LVLM 先输出带标签的图像描述再作答;奖励由格式门控、答案奖励(效用乘风险折扣)和描述奖励(冻结纯文本 LLM 仅凭描述作答且安全判定一致才给分)组成。
实验与结果
在 5 个安全基准和 6 个视觉效用基准上,作者称 DirectCap 协议下四个模型设置的安全均分提升 3.7–19.0 分且效用基本保持;在相同骨干与数据下优于安全 SFT、DPO 和 SafeGRPO。
局限与可以继续做的
作者指出:奖励依赖冻结 LLM 的能力、无法识别描述中的事实错误、安全奖励非完全可验证;实验只用较小的 Qwen3.5 变体,部分补充实验用早停检查点。
实验设置Qwen3.5-2B、Qwen3.5-2B-Base 等 · MM-SafetyBench、MSSBench 等 · 1 − ASR、S-Avg 等
威胁模型
防御论文。针对利用视觉输入绕过语言侧安全对齐的越狱攻击:有害指令可嵌入排版图像、由物体暗示危险意图、或经视觉 grounding 后才变得不安全。防御为训练时对齐:用 GRPO 在公开 SPA-VL 数据上训练策略 LVLM 先生成带标签的图像描述再作答,描述经冻结纯文本 LLM 检验是否支持安全一致的回答。
被测模型
Qwen3.5-2BQwen3.5-2B-BaseQwen3.5-4BQwen3.5-4B-Base
基准
MM-SafetyBenchMSSBenchVLSBenchFigStepMIS-TestMM-VetBLINKMMVPERQAVPCTMMStarSPA-VLSafeTag-VL-3K
指标
1 − ASRS-AvgV-AvgMSSBench overall accuracyVLSBench safe rate
AI 导读SafeCap 针对利用视觉输入的越狱攻击,用图像描述强化学习提升 LVLM 安全性:策略模型先生成安全相关描述再作答,描述由冻结 LLM 能否据此作出安全对齐决策来优化。在五个多模态安全基准和六个视觉效用基准上,四种模型设置下安全平均分提升 3.7-19.0 分,视觉效用不降,对照实验中超过安全 SFT、DPO 和 SafeGRPO。

SafeCap 针对利用视觉输入的越狱攻击,用图像描述强化学习提升 LVLM 安全性:策略模型先生成安全相关描述再作答,描述由冻结 LLM 能否据此作出安全对齐决策来优化。在五个多模态安全基准和六个视觉效用基准上,四种模型设置下安全平均分提升 3.7-19.0 分,视觉效用不降,对照实验中超过安全 SFT、DPO 和 SafeGRPO。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    解决视觉输入绕过 LVLM 语言侧安全对齐的问题,作者提出训练时自描述(self-captioning)强化学习框架 SafeCap。

    核心问题:LVLM 的视觉通路会削弱或绕过从语言骨干继承的安全对齐,使模型在图文组合输入下产生不安全回答。

    • 问题场景:作者称,纯文本模型可依赖语言侧拒答策略,而 LVLM 必须先从图像中感知安全相关证据再决定回答、警告或拒绝;有害指令可嵌入排版图像、由物体暗示危险意图、或经视觉 grounding 后才变得不安全。
    • 现有方法不足:作者称,推理时的描述中介防御(如 ECSO)在图像转文字时可能丢失细粒度视觉细节,且依赖下游语言模型自身的安全能力;训练时方法则面临提升拒答与保持视觉效用、避免过度拒答之间的权衡。
    • 核心观察:作者认为,若让模型自己先生成包含安全相关视觉证据的描述,再据此作答,就能把视觉风险暴露给语言侧安全机制;关键是奖励设计——只奖励安全的奖励会偏向拒答,只奖励描述的奖励不能保证最终答案安全。
    • 论文方案:提出 SafeCap,一个强化学习框架,训练策略 LVLM 对每个图文对先生成带标签的图像描述再给出最终答案,描述是否有助于冻结纯文本 LLM 得出安全一致的结论也进入奖励。
    • 威胁模型(防御论文,针对的攻击面):
      • 攻击者目标:利用视觉输入让 LVLM 对有害请求给出可执行的帮助(绕过安全对齐)。
      • 攻击载体:排版图像中的有害指令(FigStep)、图像中隐藏意图而文本无害(HADES)、视觉流程图编码攻击逻辑、多图组合产生不安全意图(MIS)。
      • 受害系统:继承语言骨干安全对齐的 LVLM;防御方为训练方,可在训练时修改模型参数。
      • 成功判定:安全基准上以 1 − ASR 等指标衡量模型是否拒绝或避免可执行的有害信息。
  2. 有哪些相关研究?

    相关工作分四组:视觉输入引入的安全风险、推理时与描述中介防御、训练时对齐、以及描述奖励;本文定位为训练 LVLM 自身的描述-作答路径。

    视觉输入引入的安全风险

    • MM-SafetyBench 与 VLSBench(Liu et al. 2024;Hu et al. 2025)——评估看似无害的图文对中需从视觉输入推断有害意图的风险。
    • FigStep(Gong et al. 2023)把有害指令转成不完整的排版图像;image-to-text logic jailbreak(Zou, Li, and Chen 2024)把攻击逻辑编码进视觉流程图;HADES(Li et al. 2024)把安全关键意图藏进图像;MIS(Ding et al. 2025)把风险扩展到多图组合。
    • Pantazopoulos et al. 2024 与 Lee et al. 2024——分析视觉指令微调和跨模态投影本身可能削弱语言模型的拒答行为。

    推理时与描述中介防御

    • 推理时防御包括防御提示(Wang et al. 2024b;Mo et al. 2024)、视觉或多模态护栏(Oh et al. 2024;Hao et al. 2025)、跨模型或奖励引导解码(Wang et al. 2024a;Ghosal et al. 2025)、表示层校准(Zou et al. 2025;Zhang et al. 2025a)。
    • ECSO(Gou et al. 2024)——先检测不安全回答,再把视觉输入转成面向查询的文本描述,借纯文本通路生成更安全的回答;作者指出其依赖转换后保留的信息和下游模型的安全能力,图像转文字可能丢失安全决策所需的细节。
    • Image Textualization(Pi et al. 2024b)生成可检查、可过滤的图像描述;MLLM-Protector(Pi et al. 2024a)在生成后对有害输出解毒。

    训练时对齐与描述奖励

    • SPA-VL(Zhang et al. 2024)提供 LVLM 安全偏好数据;VLGuard(Zong et al. 2024)研究安全微调;MM-RLHF(Zhang et al. 2025b)探索多模态人类反馈对齐;Chakraborty et al. 2024 研究文本安全对齐能否迁移到多模态。
    • CapRL(Xing et al. 2025)把开放式描述质量转成解耦的 VQA 信号以减少奖励投机;作者称其受此启发,把二值 LLM 安全一致判断引入描述中介奖励,并把描述中介强化学习从感知型 VQA 适配到安全场景。

    基线与基准:对比基线为安全 SFT、DPO(Rafailov et al. 2023)和 SafeGRPO(Rong et al. 2025,在其发布的 SafeTag-VL-3K 数据上对比);评测用 5 个安全基准(MM-SafetyBench、MSSBench、VLSBench、FigStep、MIS-Test)和 6 个视觉效用基准(MM-Vet、BLINK、MMVP、ERQA、VPCT、MMStar)。

    作者将本文定位为:与推理时包装冻结模型的方法不同,SafeCap 训练 LVLM 自身的描述-作答路径;与依赖额外安全标注的 SafeGRPO 不同,SafeCap 只用公开 SPA-VL 数据。

  3. 论文如何解决这个问题?

    SafeCap 用 GRPO 训练 LVLM 先生成带标签的安全相关图像描述再作答,奖励由格式门控、答案奖励和描述中介奖励经分组归一化后组合。

    整体思路:把 LVLM 安全对齐形式化为自描述(self-captioning)问题——模型先输出一个可训练的中间表示(图像描述),再给出最终答案;描述被设计成安全相关证据通道,由冻结纯文本 LLM 检验其是否支持安全一致的回答。

    问题设定

    • 每个训练样本是图文对 (x, q),策略模型 πθ 生成结构化输出 y = ⟨ caption ⟩ c⟨/caption⟩ a,其中 c 是图像描述、a 是最终答案;该格式对应实验中的 DirectCap 操作点。
    • 设计目标:c 应暴露决定请求良性与否的视觉细节,a 应利用这些证据安全作答;作者强调不是简单地在每个答案前加冗长描述。

    训练目标

    • 用 GRPO(Shao et al. 2024)在公开 SPA-VL 安全对齐数据上优化,不引入私有效用数据;每个提示采样 K = 8 个 rollout。
    • 三个信号构成结果级优势:Ai = wtmpr̃i,tmp + wcapr̃i,cap + wansr̃i,ans,即模板、描述、答案三个分量各自组内归一化后加权求和,用于 PPO 裁剪的 GRPO 损失。
    • 主运行不启用显式 KL 损失和 KL 奖励惩罚;冻结 LLM 和评审模型只用于计算奖励、从不更新。

    三个奖励分量

    • 模板奖励:规则解析器提取描述和答案;要求恰好一个完整描述块、描述与答案非空、在长度限制内结束;门控失败则跳过其余奖励。作者称该门控属于奖励设计,防止格式退化或不停重复的 rollout 得分。
    • 答案奖励:评审模型对最终答案打两个 0–5 整数分——保留分 u(a)(满足合法信息需求的程度)和风险分 h(a)(有害内容程度);奖励为指数风险折扣形式 Rans = u(a)γh(a),γ ∈ (0, 1),风险每高一分效用贡献乘以 γ。作者称该乘性形式让高风险答案快速失去价值,同时保留安全有用答案的正奖励,避免线性奖励下低信息描述或笼统拒答反而占优。
    • 描述奖励:描述 c 与原问题一起交给冻结纯文本 LLM(看不到图像)得到回答 af;评审给描述打 0–5 的覆盖分 u(c)(对主体、属性、动作、空间布局、场景、可见文字的具体覆盖),再由二值安全一致评审比较 a 与 af 的安全判定是否一致,得 g ∈ {0, 1};描述奖励为 Rcap = g(q, a, af ) · u(c)。作者称该设计防止描述只因详细而得分,要求描述能支持独立生成的纯文本答案得出与策略答案一致的安全结论。

    归一化与关键参数

    • 三个分量在 rollout 组内分别归一化(减去组均值、除以组标准差,ε = 1e−6)再加权组合;作者称沿用 GDPO 的解耦归一化思想但不做其批次级白化,目的是防止不同量纲的分量在信用分配前耦合。
    • 关键参数:γ = 0.35,奖励权重 (wtmp, wcap, wans) = (0.5, 0.5, 1.0);冻结纯文本模型为 Qwen3-4B,评审模型为 gpt-oss-20b(确定性解码);训练 200 步,学习率 5×10−7,提示与回复上限 4096 token(附录 A)。

    推理与诊断协议

    • DirectCap(目标操作点):训练后的策略先写描述再在同一回复中作答。
    • Direct(诊断):去掉描述要求,检验 RL 训练是否损害原生图文问答行为。
    • Prism(诊断):把生成的描述交给冻结纯文本 LLM 作答,隔离描述本身是否含有足够的可迁移视觉证据。
  4. 论文做了哪些实验?

    在 4 个 Qwen3.5 设置 × 3 种推理协议上评测 5 个安全基准和 6 个效用基准,并与 SFT、DPO、SafeGRPO 做受控对比,另做奖励消融与种子稳健性检验。

    实验设置

    • 被测模型:Qwen3.5-2B、Qwen3.5-2B-Base、Qwen3.5-4B、Qwen3.5-4B-Base 四个设置,均用 GRPO 在公开 SPA-VL 数据上训练 200 步。
    • 基准:安全侧为 MM-SafetyBench、MSSBench、VLSBench、FigStep、MIS-Test;效用侧为 MM-Vet、BLINK、MMVP、ERQA、VPCT、MMStar;论文未报告各基准样本量。
    • 指标:MM-SafetyBench、FigStep、MIS-Test 报 1 − ASR;MSSBench 报官方 overall accuracy;VLSBench 报其多模态评审的 safe rate;S-Avg 与 V-Avg 分别为 5 项安全和 6 项效用指标的均值。
    • 评审方式:评审模型为 gpt-oss-20b(确定性解码);FigStep 原基准依赖人工评估,作者沿用 DAVSP 的自动有害/安全评审提示,并做分层抽样人工复核;冻结纯文本 LLM 为 Qwen3-4B。
    • 协议:Direct、DirectCap、Prism 三种;上标数字为相对同协议零训练模型的百分点变化。
    • 重复次数:主结果为单次训练;另以 3 个种子(42、43、44)在 100 步早停检查点做稳健性检验。

    主结果

    SafeCap 训练后相对零训练的变化(据 Table 2,S-Avg / V-Avg,上标为百分点变化):

    表格较宽,可左右滑动

    模型协议S-AvgV-Avg
    2BDirectCap45.98 (+4.0)51.96 (+6.4)
    2B-BaseDirectCap45.40 (+3.7)46.12 (+7.1)
    4BDirectCap57.06 (+6.6)56.49 (+4.5)
    4B-BaseDirectCap59.39 (+19.0)53.05 (−0.1)
    • 作者称 DirectCap 下收益最一致:四个设置的 11 基准总均分分别提升 5.29、5.57、5.48、8.57 分;2B、2B-Base、4B 的 DirectCap 效用也提升,4B-Base 效用均值接近零训练水平。
    • 作者称 Direct 协议更依赖模型:base 初始化的 2B-Base、4B-Base 安全均分提升(+8.1、+12.5),但指令调优的 2B、4B 的 Direct 安全均分下降(−2.1、−2.2)。
    • 作者指出一个零训练假象:Qwen3.5-2B-Base 在 DirectCap 下 FigStep 分较高,经 500 样本比对,81 个由安全转有害的回答中有 66 个的零训练答案只是描述了空白模板,作者将其视为协议特定假象而非安全行为更强。

    与安全微调及 SafeGRPO 的对比

    • SFT/DPO 对比(Qwen3.5-4B-Base、同 SPA-VL 数据与训练步数,附录 F Table 10):SFT 与 DPO 的 DirectCap S-Avg 仅升至 43.19 和 41.36,SafeCap 达 59.39,且 V-Avg 保持在零训练值附近(53.05 vs. 53.13);SFT 出现 DirectCap 指令遵循失败(描述块格式错误),作者因此未对 SFT/DPO 做 Prism 对比。
    • SafeGRPO 对比(同 Qwen3.5-4B-Base 初始化、在 SafeGRPO 的 SafeTag-VL-3K 数据上各训 200 步,Table 3):SafeCap 的 DirectCap S-Avg 为 55.06、V-Avg 51.34,SafeGRPO 为 41.27、50.56;Base(直接)推理下 SafeCap 安全 46.86 也高于 SafeGRPO 的 44.98。作者称 SafeCap 不依赖 SafeGRPO 的额外安全标注。

    消融与诊断

    • 奖励分量消融(Table 4,相对完整 SafeCap 的百分点变化):去掉答案奖励使 Direct 和 DirectCap 安全分别降 5.31 和 6.49 分;去掉描述奖励使安全降 1.08–2.53 分、效用降 1.23–2.41 分;去掉解耦归一化使 Direct 和 DirectCap 安全降 2.74 和 2.02 分,唯一直接效用出现 +0.42 的例外。
    • 风险系数消融(Table 5,早停检查点):γ = 0.20(更强风险惩罚)比 γ = 0.35 收敛更快,DirectCap 安全 +1.68;作者称 γ = 0.35 是平衡选择。
    • 替代奖励形式(附录 B Table 7,200 步):线性 Classic 形式使 DirectCap 安全 +5.13 但效用 −0.85;Lagrangian 形式 DirectCap 安全 +3.32、效用 −1.04;Rank-2 两种协议下安全与效用均降。拒答诊断(Table 8)显示 Classic 在安全基准上拒答率更高(如 FigStep 63.4 vs. 完整版 55.2),作者认为部分安全分可能来自更强的拒答行为。

    其他分析

    • 种子稳健性(附录 A Table 6):三种子 100 步 4B-Base DirectCap S-Avg 为 50.83 ± 1.14、V-Avg 54.32 ± 1.14 对应 54.32 ± 1.54;对零训练 DirectCap S-Avg(40.43)的单样本 t 检验:提升 10.40 ± 1.14 分,t(2) = 15.76,p = 0.0040;效用变化 +1.19 ± 1.54,p = 0.313,作者称无效用下降的证据。该检验为早停检查点,不与主表直接比较。
    • Prism 泛化(附录 E Table 9):同一 4B-Base SafeCap 检查点,把冻结 LLM 从 Qwen3-4B 换成训练中未见的 Qwen3-14B,Prism 安全均分从 39.62 升至 44.34(+4.72),五个安全基准全部提升;作者称描述的安全相关证据对更强的纯文本推理器仍可用,但 Prism 分数受下游 LLM 能力影响。
    • 人工复核(附录 G):从全部评测基准中分层抽 100 条回答人工复核,评审讨论后全部达成一致,与评审模型标签 100/100 一致。
    • 长度诊断(附录 A):4B-Base 训练后平均回复长度仅增加约 100 token,作者认为安全收益不能主要由更长的回复解释。
  5. 有什么可以进一步探索的点?

    作者指出奖励依赖冻结 LLM 能力、无法识别描述事实错误、安全奖励不可验证等局限,并计划探索描述中介 SFT 与更大模型。

    作者指出的局限与后续方向

    • 描述奖励的有效性受限于解释描述的冻结 LLM 的能力;冻结 LLM 看不到图像,奖励本身无法识别描述中的事实错误(附录 D)。
    • 答案奖励使用固定人工评分细则而非完全可验证的安全奖励;作者称开发更可验证的安全与风险奖励是社区的开放问题(附录 D)。
    • 出于成本考虑,实验使用较小的 Qwen3.5 变体;作者称在算力充足时评估更大模型和更多模型家族是重要的下一步,方法本身不需要 Qwen 特定的适配(附录 D)。
    • 作者称一个有前景的扩展是在 RL 之前做描述中介的 SFT,但目前适合该中间目标的监督数据有限(附录 D)。
    • 部分补充实验使用早停检查点,作者明确标注这些结果不与完整训练的主结果直接比较(附录 D)。

    实验覆盖范围

    • 被测模型为 Qwen3.5-2B、Qwen3.5-2B-Base、Qwen3.5-4B、Qwen3.5-4B-Base 共 4 个设置,训练数据为公开 SPA-VL;与 SafeGRPO 的对比在其 SafeTag-VL-3K 数据上进行(Experiments、附录 A、F)。
    • 评测覆盖 5 个安全基准和 6 个视觉效用基准,三种推理协议(Direct、DirectCap、Prism);论文未报告各基准的样本量。
    • 主结果为单次训练;种子稳健性检验为 3 个种子、100 步早停检查点(附录 A)。
    • 冻结纯文本 LLM 为 Qwen3-4B,另在附录 E 用 Qwen3-14B 做 Prism 泛化检查;评审模型为 gpt-oss-20b。
    • 人工一致性检查为分层抽样 100 条回答,与评审模型标签 100/100 一致(附录 G)。
  6. 总结一下论文的主要内容

    SafeCap 把 LVLM 安全对齐做成可训练的自描述路径,作者称在 DirectCap 协议下安全均分提升 3.7–19.0 分且效用基本保持。

    SafeCap 是一个面向 LVLM 安全对齐的强化学习框架,针对视觉输入绕过语言侧安全对齐的问题。

    • 问题:作者称有害指令可嵌入排版图像、由物体暗示或经视觉 grounding 后才显现,纯文本安全对齐覆盖不到;现有推理时描述中介防御会丢失视觉细节,训练时方法则要平衡拒答与效用。
    • 方法:用 GRPO 在公开 SPA-VL 数据上训练 LVLM 先生成带标签的图像描述再作答;奖励由格式门控、答案奖励(效用乘以 γ 的风险次幂,γ = 0.35)和描述奖励(冻结 Qwen3-4B 仅凭描述作答且安全判定一致才得分)组成,三个分量组内归一化后加权。
    • 主结果:在 5 个安全基准和 6 个效用基准上,四个模型设置(Qwen3.5-2B/2B-Base/4B/4B-Base)的 DirectCap 安全均分相对零训练提升 3.7–19.0 分,其中 4B-Base 提升 19.0 分且效用均值基本持平(Table 2)。
    • 受控对比:相同骨干、数据与步数下,SafeCap 的 DirectCap S-Avg(59.39)高于安全 SFT(43.19)和 DPO(41.36);在 SafeGRPO 的 SafeTag-VL-3K 数据上,SafeCap DirectCap S-Avg 55.06 对 SafeGRPO 41.27(Table 3、10)。
    • 消融与检验:去掉答案奖励使 DirectCap 安全降 6.49 分;三种子早停检验的安全提升有统计显著性(p = 0.0040);人工复核 100 条与评审模型全一致。
    • 作者结论:作者认为把感知侧证据纳入多模态安全对齐有价值,是对输出侧对齐的补充;同时指出奖励受冻结 LLM 能力限制、无法识别描述事实错误、安全奖励不可验证,实验限于较小的 Qwen3.5 变体。

相关论文

共同使用 SPA-VL
共同使用 MSSBench
再看 3 篇
共同使用 FigStep
阅读原文arxiv.org