面向视觉安全的细粒度 RLAIF:学习放大隐患以实现多模态安全对齐
Fine-Grained RLAIF for Visual Safety: Learning to Zoom into Hazards for Multimodal Safety Alignment
作者提出细粒度视觉安全基准(1,200 样本)与 FGR 框架,用 GRPO 学习图像放大策略,作者称在四个领域准确率达 86.71%–93.00%。
- 现有多模态安全对齐以文本为中心,假设风险在语言中显式表达或在图像全局显著;真实危害常细微或位于边缘,依赖全局视觉表示的模型会漏检。
- 作者构建 1,200 样本的细粒度视觉安全基准,并提出 FGR:把图像放大建模为可学习的感知策略,用 GRPO 优化,奖励分解为视觉证据、工具格式与视觉安全推理三项。
- 在四个安全领域上,Qwen2.5-VL-7B 经 FGR 训练后准确率为 86.71%–93.00%,作者称超过 GPT-o3、Gemini-2.5-Flash 及 SAFER 等基线;消融显示去掉 Rvsr 下降最多。
- 论文未专门讨论局限。实验仅在 Qwen2.5-VL-7B 上训练,闭源模型只做推理;基准图像由扩散模型生成;评审用 GPT-4o,人工验证仅 200 样本;论文未报告训练步数与查询成本。
- 被测模型
- Qwen2.5-VL-7B
- 基准
- Fine-Grained Visual Safety Benchmark (Chemical, Home, Industrial, Violence Safety)
- 指标
- AccuracyTool Call CountResponse LengthReward Variance
研究者提出细粒度 RLAIF(FGR)强化学习框架,将图像放大作为可学习的感知策略用于多模态安全对齐,并构建覆盖四个领域、含 1,200 个样本的基准。FGR 通过分解奖励联合对齐三种安全行为:看哪里(视觉证据奖励)、何时行动(工具格式约束)、如何推理(视觉依据的安全解释)。其准确率达 86.71% 至 93.00%,优于强多模态与智能体基线。
深度解读
这篇论文试图解决什么问题?
作者研究危害细微、需局部检查的细粒度视觉安全对齐,指出现有文本中心范式会漏检此类危害。
核心问题:当安全危害在图像中细微、边缘化、需局部放大才能发现时,现有以文本为中心的多模态安全对齐会失效。
- 问题场景:作者指出,在实验室、家庭、工业场所中,风险常藏在微小的危害标签、部分遮挡的物体、细微材质异常或只有局部检查才能发现的不安全空间配置中(Figure 1(a))。
- 现有方法不足:作者认为全局 VLM 因整体语义优化无法捕捉边缘危害,而文本级安全对齐(如 Safe RLHF-V、SaFeR-VLM)无法从初始粗糙表示中恢复缺失的风险,两种范式都不能保证系统的安全行为。
- 核心观察:作者提出视觉安全需要主动感知(active perception)而非被动识别,应把视觉工具使用建模为多模态安全对齐中的感知动作,并用强化学习在感知-推理轨迹上做信用分配。
- 论文提出:(1) 一个 1,200 样本、跨 Chemical/Home/Industrial/Violence 四个领域的细粒度视觉安全基准,危害被刻意设计得细微且不显著;(2) Fine-Grained RLAIF(FGR),把图像放大(zoom-in)作为可学习的感知策略,用 GRPO 优化,奖励分解为视觉证据、工具格式、视觉安全推理三项。
- 威胁模型:本论文不是攻击/防御论文,无对抗性威胁模型;其安全设定为:用户提示词表面良性但隐含不安全意图,危害只能从细微视觉线索推断,模型需在回答前主动局部检查。
有哪些相关研究?
相关工作分两组:VLM 视觉推理方法不针对安全感知,多模态安全对齐假设视觉线索已被全局捕捉。
VLM 中的视觉推理
- Cocot(Zhang et al. 2024)——把 Chain-of-Thought 扩展到 VLM 的文本推理。
- Visual Sketchpad(Hu et al. 2024)、ReFocus(Fu et al. 2025)——通过视觉推理产物(草图、视觉编辑)辅助推理。
- ViperGPT(Surís, Menon, and Vondrick 2023)——通过可执行工具做视觉推理;DeepEyes(Zheng et al. 2025b)——用 RL 学习 grounding 动作。作者指出这些方法主要面向通用推理,未显式优化安全关键的视觉感知。
多模态安全对齐
- MM-SafetyBench(Liu et al. 2024b)——对抗鲁棒性基准;Multimodal Situational Safety(Zhou et al. 2024)——情境安全评测,本文的 MSSBench-style 基线即沿用其两阶段级联智能体设计。
- SpaVL(Zhang et al. 2025)——安全偏好对齐数据集;Safe RLHF-V(Ji et al. 2025)——多模态人类反馈安全强化学习。
- SaFeR-VLM(Yi et al. 2025)——文本级安全反思,本文 SAFER-style 基线沿用其反思-纠正策略。作者指出这些方法在推理或响应层面操作,假设安全相关视觉线索已被全局捕捉,难以检测细微或局部危害。
基线与基准:对比基线包括 Plain VQA、Tool-Only、MSSBench-style 智能体、SAFER-style 反思,以及 GPT-o3、Gemini-2.5-Flash 作为强多模态推理参照;评测在作者自建的细粒度视觉安全基准(四领域各 300 样本)上进行。
定位:作者称本文与上述工作的区别在于把图像放大作为安全感知策略显式优化,而非只在文本推理或响应层面做对齐。
论文如何解决这个问题?
FGR 把图像放大建模为可学习感知策略,用 GRPO 联合优化视觉证据、工具格式、安全推理三项分解奖励。
整体思路:给定图像-问题对,模型在 GRPO 框架下生成多条 rollout 轨迹,轨迹可包含中间推理和可选的放大工具调用;对每条轨迹计算三项结构化奖励,引导策略更新,实现感知、动作、推理的端到端对齐(Figure 2)。
基准构建
- 规模与领域:Chemical、Home、Industrial、Violence 四个安全领域,各 300 样本,共 1,200;设计原则是风险来自细微局部视觉线索,必须显式局部检查而非全局语义理解。
- 数据条目:每条含 hazards_key_word(细微危害标注)、user_prompt(表面良性但隐含不安全行为的问题)、safety_explanation(基于细微视觉证据的推理)、diffusion_prompt(描述含隐藏危害真实场景的文生图提示词)。
- 图像生成与质控:图像由文生图扩散模型 Doubao-Seedream-4.5 生成,经自动过滤和人工核验;附录 B 给出四领域的危害细分类(如微小 GHS 标签、PPE 误用、部分遮挡武器)和完整数据格式。
分解奖励设计
- 总奖励:R = λ1 Revidence + λ2 Rformat + λ3 Rvsr,三项分别监督"看哪里""如何调工具""如何推理"。实验取 λ1=0.3、λ2=0.1、λ3=0.6,作者称以此强调安全推理与证据获取,把工具格式当作辅助语法约束。
- 视觉证据奖励 Revidence:用视觉-语言编码器计算裁剪区域 Icrop 与各危害词 h 的最大语义相似度 S = maxh ∈ H sim(fv(Icrop), ft(h)),S 超过阈值 τ 时奖励为 1 否则为 0;实验用领域适配的 CLIP 编码器,τ=0.4。
- 工具格式奖励 Rformat:仅当工具调用语法合法且 Revidence=1 时为 1;作者称该联合条件防止模型对语法正确但语义无关的调用(如放大空白区域)获得奖励,也防止绕过工具。
- 视觉安全推理奖励 Rvsr:由独立 LLM 评审(Qwen2.5-7B-Instruct)做二值判定:回答是否提到至少一个危害词、是否给出安全风险的因果解释,Rvsr 即该判定值;评审提示词见附录 C。
训练流程
- 算法:用 GRPO(Shao et al. 2024)优化,经 veRL 框架实现;组归一化优势 Ai = Ri − (1/K)ΣRj,无显式价值函数。
- 关键超参数(附录 G):学习率 1×10⁻⁶,GRPO 裁剪范围 [0.8, 1.28];全局 batch 20,每个输入采样 N=6 条 rollout;输入/输出长度上限 10k/20k token;最多 6 轮工具交互,每轮最多 1k token,采样温度 1.0。
评测方式
- LLM 评审:默认用 gpt-4o(温度 0)按与 Rvsr 相同的范式做二值判定(是否正确识别隐含视觉危害并给出基于视觉证据的安全推理),最终指标为被判正确的样本比例(Accuracy)。
- 复现性校验:用开源的 Qwen2.5-32B-Instruct 作替代评审,作者报告与 GPT-4o 判定的方法排序一致,Pearson 相关 r > 0.95。
论文做了哪些实验?
在四领域基准上比较 9 种配置,FGR 准确率 86.71%–93.00% 均为最高;消融显示 Rvsr 贡献最大。
实验设置
- 被测模型与配置:共 9 种配置(Table 1)。Qwen2.5-VL-7B 上有 Plain VQA、Only Tool、MSSBench-style、SAFER-style、FGR 五种;GPT-o3 和 Gemini-2.5-Flash 仅推理模式,各有 Plain 和 MSSBench-style 两种。
- 数据集:作者自建细粒度视觉安全基准,四领域各 300 样本共 1,200,按 80% 训练 / 20% 评测划分,所有方法用同一划分。
- 指标:Accuracy,即被 LLM 评审判为正确的样本比例;训练动态另记录 Tool Call Count、Response Length、Reward。
- 评审方式:默认 gpt-4o(温度 0)二值判定;替代评审 Qwen2.5-32B-Instruct 与 GPT-4o 的 Pearson 相关 r > 0.95。
- 人工验证:随机抽 200 样本(每领域 50),一名人工标注者按相同标准标注,与 GPT-4o 判定一致率 91.0%。
- 训练参数:λ1=0.3、λ2=0.1、λ3=0.6,CLIP 相似度阈值 τ=0.4;所有基线共享统一流程、相同工具约束与交互预算;论文未报告训练步数与重复次数。
主结果
据 Table 2(Accuracy %):
表格较宽,可左右滑动
模型 Chemical Home Industrial Violence Qwen2.5-VL-7B (Plain) 57.14 25.00 17.86 30.00 Qwen2.5-VL-7B (Only Tool) 60.00 40.00 21.43 37.50 Qwen2.5-VL-7B (MSSBench) 58.12 46.67 42.86 50.00 Qwen2.5-VL-7B (SAFER) 88.20 90.34 82.23 86.89 Gemini-2.5-Flash (Plain) 42.86 46.66 19.64 47.50 Gemini-2.5-Flash (MSSBench) 75.71 71.67 60.71 72.50 GPT-o3 (Plain) 68.57 56.67 50.00 30.00 GPT-o3 (MSSBench) 88.57 86.66 80.35 75.00 Qwen2.5-VL-7B (FGR, Ours) 91.42 93.00 86.71 92.50 - 作者解读:FGR 在四个领域均为最高,Chemical、Home、Violence 超过 90%;相比同骨干最强基线 SAFER,四领域分别从 88.20% 升至 91.42%、90.34% 升至 93.00%、82.23% 升至 86.71%、86.89% 升至 92.50%。
- 基线表现:作者指出 Plain VQA 普遍较差(如 Qwen2.5-VL-7B Plain 在 Home 25.00%、Industrial 17.86%);MSSBench 智能体一致优于 Plain(如 GPT-o3 在 Chemical 从 68.57% 升至 88.57%),但仍低于 FGR;Only Tool 提升有限(Industrial 仅 21.43%),作者认为仅开放放大工具不保证有效危害定位。
训练动态分析
- 工具调用:Figure 4a 显示工具调用频次趋于稳定而非无限增长,作者称 Rformat 防止了通过过度调用工具的 reward hacking。
- 响应长度与奖励:Figure 4b、4c 显示响应长度保持稳定而奖励持续上升,作者认为收益来自危害识别改进而非冗长。
- 准确率曲线:Figure 4d 显示安全准确率随训练稳步上升,作者称组合奖励的优化带来了任务级安全性能的真实提升。(注:转换文本中看不到曲线具体端点数值。)
消融与分析
- 奖励组件消融(Figure 6):分别移除一项奖励。w/o Rvsr 下降最多(如 Chemical 降至 20.7%、Violence 降至 25.0%,按图中标注);w/o Revidence 一致下降(图中标注如 Chemical 85.2%、Industrial 44.3%);w/o Rformat 下降最小(图中标注如 Chemical 88.2%、Home 90.5%)。作者称三者互补,联合优化才取得最佳。
- 相似度编码器(Figure 5):将 Revidence 的 CLIP 换成 SigLIP、EVA-CLIP、SigLIP2 均保持接近的准确率(图中标注范围约 86.7–96.7),作者称框架对相似度估计器选择稳健,更强编码器带来中等额外收益。
- 阈值敏感性(Table 3):τ ∈ {0.30, 0.35, 0.40, 0.45, 0.50},τ=0.40 时准确率最高(90.0%)、奖励方差最低(0.070)、平均工具调用 1.75 次;τ=0.30 时准确率 87.2%、调用 2.90 次;τ=0.50 时准确率 85.6%、方差 0.158。
- 定性分析(附录 H,Table 4):作者给出四领域对齐前后回答对比,称对齐前模型给出泛泛安全建议、缺乏视觉证据落地,对齐后主动放大危害区域并给出带因果解释的回答。
有什么可以进一步探索的点?
论文未专门讨论局限;实验仅在单一骨干上训练、用合成图像与 LLM 评审,覆盖范围有限定条件。
作者指出的局限与后续方向
- 论文未专门讨论局限(无 Limitations 节,Conclusion 与附录中也没有明说"这是局限/未来可做"的句子)。
- 与证据强度相关、作者在正文中承认的两点(出自第 6 节消融讨论,非局限声明):相似度打分对小、遮挡或模糊的危害区域可能有噪声;GRPO 依赖 rollout 间的相对奖励差异而非精确的逐样本监督。
实验覆盖范围
- 被测模型:训练仅在 Qwen2.5-VL-7B 一个骨干上进行;GPT-o3 与 Gemini-2.5-Flash 只做推理模式参照,未经 FGR 训练(Table 1)。
- 评测数据:仅作者自建基准,四领域各 300 样本共 1,200,80/20 划分;图像全部由扩散模型 Doubao-Seedream-4.5 生成,非真实拍摄(第 3 节、附录 B)。
- 评审方式:默认评审为 gpt-4o;人工验证仅 200 样本(每领域 50)、一名标注者,一致率 91.0%;论文未报告多名标注者或标注者间一致性。
- 奖励信号:Revidence 依赖 CLIP 类编码器的语义相似度(阈值 τ=0.4),非精确边界框定位监督;Rvsr 的评审(Qwen2.5-7B-Instruct)看不到原图,只在语言层面判定(附录 C)。
- 论文未报告:训练总步数、训练耗时与计算成本、实验重复次数与方差(Table 2 为单次准确率)。
总结一下论文的主要内容
作者提出细粒度视觉安全基准与 FGR 框架,用 GRPO 学习放大策略,作者称四领域准确率 86.71%–93.00% 超过强基线。
这是一篇多模态安全对齐论文,研究危害细微、需局部放大检查才能发现的视觉安全场景。
- 问题:作者认为现有安全对齐以文本为中心,假设风险在语言中显式或在图像全局显著;全局 VLM 与文本级对齐都无法捕捉微小标签、遮挡物体等局部危害。
- 方法:(1) 构建 1,200 样本基准,覆盖 Chemical/Home/Industrial/Violence 四领域,图像由 Doubao-Seedream-4.5 生成,危害刻意设计得细微、用户问题表面良性;(2) 提出 FGR,把图像放大作为可学习感知策略,用 GRPO 优化三项分解奖励——视觉证据(CLIP 相似度阈值 τ=0.4)、工具格式、视觉安全推理(LLM 二值评审),权重 0.3/0.1/0.6。
- 主结果:Qwen2.5-VL-7B 经 FGR 训练后,四领域准确率为 Chemical 91.42%、Home 93.00%、Industrial 86.71%、Violence 92.50%(Table 2),作者称一致超过 GPT-o3、Gemini-2.5-Flash 及 SAFER 等基线;同骨干最强基线 SAFER 为 82.23%–90.34%。
- 消融:移除 Rvsr 下降最多,作者称显式的因果安全解释监督不可缺;换用 SigLIP/EVA-CLIP/SigLIP2 编码器结果接近,作者称框架对相似度估计器稳健;τ=0.40 时准确率 90.0%、奖励方差最低(Table 3)。
- 评审可靠性:GPT-4o 评审与人工标注在 200 样本上的一致率为 91.0%,开源替代评审 Qwen2.5-32B-Instruct 与 GPT-4o 的 Pearson 相关 r > 0.95。
- 作者结论:联合对齐感知与推理能改进细粒度视觉安全;视觉安全需要主动感知而非被动识别。