Intent-Privilege OPSD：让视觉语言模型在隐式风险下兼顾安全与有用

核心问题是跨模态隐式风险下的安全—帮助性校准，而非仅提高拒答频率。

• 问题场景：图像和文字单独看似无害，但两者的关系可能改变请求的安全含义。作者认为，这要求模型理解图文关系，而不只是识别显式有害内容。
• 现有代价：作者将现有路线分为偏好对齐、多次 rollout 强化学习和推理期护栏，分别涉及偏好数据、重复采样或额外部署计算。
• 监督风险：意图标注可能虚构动机，或将未确定的情境直接解释为有害。作者认为，这种监督可能让模型拒绝本可安全回答的请求。
• 核心设计：Intent-Privilege OPSD 将基于可观察证据、保留不确定性的意图作为训练期特权信息，蒸馏给只接收原始图文的学生。
• 目标边界：附录 B 要求真实风险下不提供有害帮助，含糊情境下提供条件性帮助，正常情境下直接回答；部署时不依赖教师或意图标注。

论文将相关研究组织为跨模态风险、安全—帮助性对齐和特权信息蒸馏三条线。

跨模态隐式风险与意图推理

• SIUO 与 MSSBench：Wang et al.（2025）研究单模态安全输入组合后的不安全输出；Zhou et al.（2025）研究视觉情境改变普通请求安全含义的情况。
• CrossGuard 与 SIA：Zhang et al.（2025）结合隐式风险数据生成与意图护栏；Na et al.（2025）先描述图像、推理意图，再据此生成回答。
• Meerkat-VL：Zhou et al.（2026）通过感知推理、自验证和策略优化处理隐式风险。作者认为，相关意图推理路线通常将推断或标注的意图视为可信情境描述。

安全—帮助性对齐与过度敏感

• 训练期对齐：VLGuard 提供安全指令数据，SPA-VL 提供多模态偏好监督；Safe RLHF-V 分别训练奖励和成本模型，处理帮助性与安全目标。
• 结构化安全学习：DREAM 分解风险，Pragma-VL 学习情境相关的安全—帮助性仲裁，SafeGRPO 将安全规则用于 GRPO，MMAligner 调整内部表示。
• 过度敏感与部署护栏：MOSSBench 检查对安全相关但无害请求的拒答；CASA 预测专用安全 token，output-aware guardrails 根据预测的输出安全性干预。作者指出这些护栏保留推理期安全计算。

特权信息与 on-policy 蒸馏

• 知识与上下文蒸馏：Hinton et al.（2015）研究教师向学生转移行为；Snell et al.（2022）研究内化更丰富训练上下文中的信息。
• On-policy 蒸馏：Agarwal et al.（2023）在学生生成轨迹上调用教师；Zhao et al.（2026）的 OPSD 使用同源教师与学生，由特权上下文提供 token 级监督。
• 基线方法与基准：本文比较 Base、SPA-VL、VLGuard、Think in Safety 和 SafeGRPO；安全评测包括 SIUO、HoliSafe、BeaverTails-V、MSSBench、MOSSBench 和 MM-SafetyBench。

作者将本文定位为对上述路线的补充：先审查意图是否忠实于证据，再将其作为可在部署时移除的监督，而不是默认任何意图标注都适合蒸馏。

Intent-Privilege OPSD 将意图用于训练期教师，而不作为部署期学生的输入。方法由证据重标注、单 rollout 蒸馏和通用任务锚点组成。

证据约束的意图表示

• 表示内容：Evidence-Grounded Privilege 描述图文共同任务、可观察证据及其关系、未确定条件、合理的正常解释和条件性输出边界。
• 监督边界：标注不是隐藏动机预测，也不是参考回答；作者排除未经支持的动机、安全标签、拒答指令和可直接发送的答案。

四阶段重标注与审计

1. 隔离取证：图像提取器只看图像，文字解析器只看请求，分别输出可见事实与字面语义。
2. 联合构建：builder 接收原始图文及两份证据，形成联合任务解释和未确定条件。
3. 独立审计：auditor 接收同样的输入及草稿，检查依据、不确定性、有用信息、回答中立性和紧凑性。
4. 保留与修订：标注需通过审计及本地人工检查；Figure 3 描述一次修订与最终门控。安全或含糊样本不会仅因没有确认风险而被排除。

附录 F.2 记录证据提取模型为 Qwen3.6-35B-A3B，builder 和 auditor 使用 gpt-5.6-sol；Figure 3 却将提取器标为 Qwen3.5 35B，二者命名不一致。附录 F.2 给出了完整提示词。

单 rollout 的 token 级蒸馏

教师和学生来自相同初始 checkpoint。教师冻结，接收图文与意图；学生只接收图文，每个请求生成一次回答。二者在这份回答的相同前缀上计算后续 token 分布，教师不另生成回答。

核心目标为 L_OPSD=1/L∑_t=1^LD_KL(sg[q̄_t]‖p̄_t)。它对生成位置的教师到学生 forward-KL 取平均，并停止教师梯度（Equation 3）。

• 分布支持：使用教师选出的 top-32 token，加一个汇总剩余概率的尾部桶；蒸馏温度为1，不等同于 rollout 的采样设置。
• 更新范围：只更新学生 LoRA；提示词与 padding 位置不计入损失，每个分支对采样序列做一次因果前向计算。

锚点监督与部署

• 通用任务锚点：使用已有多轮参考回答，只对 assistant token 计算交叉熵，不输入特权信息，也不增加 rollout。
• 混合目标：常规更新合并8个主样本和2个锚点，按样本平均两类损失；对应主损失与锚点均值权重0.8和0.2（Equation 4）。
• 部署方式：仅保留学生，从原始图文直接生成回答；无教师、意图模型、额外分类器、强制安全标签或独立安全推理阶段。
• 实现差异：附录 F.1 指出历史无锚点变体保留原主损失系数，直接从参考实现移除锚点不能复现其缩放。附录 F.1 给出了师生接口的完整提示词。

实验同时检查联合安全—帮助性、意图监督作用、通用能力和成本，并报告持平及能力下降的情况。

实验设置

• 被测模型：主实验为 Qwen3-VL-4B-Instruct；附录 C 使用 LLaVA，未说明具体版本。Figure 1 另报告 LLaVA-1.5-7B、InternVL2-8B 和 Qwen3-VL-4B 的攻击成功率。
• 训练与对照：OPSD 使用1,447个安全专用图文样本及2,500段通用锚点对话；比较 Base、SPA-VL、VLGuard、Think in Safety（TiS）和 SafeGRPO。
• 安全样本：共2,057个输入，六个基准合为五组；各组样本量见下表。附录 C 未报告 LLaVA 各组样本量。
• 判定方式：主实验由模型身份盲化的 GPT-5.6 Sol 读取原图、请求和完整回答，独立给出 S∈[−3,3]、H∈[0,3]；Joint Success 要求同一回答 S=3 且 H≥2。
• 诊断与能力：冻结教师诊断声明使用300个输入；通用能力评测为 MMStar、MME-RealWorld。附录 F.3 记录100样本版本及 MME-RealWorld-Lite 名称，不宜据此认定全基准覆盖。
• 协议差异：主结果未报告重复次数或人工一致性。附录 F.3 区分独立输入、可见参考和发布者参考三种历史评审，不能认定所有诊断均使用当前无参考协议。

主结果

据 Table 2，以下均为 Qwen3-VL-4B-Instruct 同骨干设置的 Joint Success（%）；OPSD 指完整 Intent-Privilege OPSD。

Swipe horizontally to read the table

评测组	N	Base	SPA-VL	SafeGRPO	OPSD
SIUO+HoliSafe	767	43.9	50.3	45.4	53.5
BeaverTails-V	200	31.0	44.0	30.5	49.0
MSSBench	400	39.0	35.5	38.8	39.0
MOSSBench	300	29.3	36.3	32.0	37.0
MM-SafetyBench	390	30.3	32.3	28.7	34.1

• 表格范围：为控制列数省略 VLGuard 和 TiS；Table 2 中完整方法在五组均为最高或并列最高，MSSBench 与 Base 持平。
• 作者解读：作者认为隐式风险与过度敏感基准同时改善，不支持将提升仅归因于更频繁拒答；这依赖要求安全与帮助性同时达标的联合指标。

意图质量：冻结教师与训练消融

• 冻结教师诊断：Table 1 中 Qwen3-VL-4B-Instruct 的联合成功率，No Privilege 为25.0%，Source Privilege 为11.7%，Evidence-Grounded Privilege 为41.7%，打乱后为23.3%。
• 拒答变化：同一诊断中，原意图的首句拒答率为45.0%，无特权为12.9%，重标注后为12.1%（Table 1）。作者将原标注的下降解释为未经证据支持的风险假设诱发拒答。
• 训练后对照：Qwen 的 SIUO+HoliSafe 联合成功率，无特权蒸馏为46.1%，打乱意图为43.6%；Source-Privilege 在 MOSSBench、MM-SafetyBench 分别为12.6%、13.3%（Table 3）。作者认为标注质量及输入对应关系都影响结果。

跨骨干与通用能力

• LLaVA 安全结果：Base→OPSD 的联合成功率分别为 SIUO+HoliSafe 40.9%→44.1%、BeaverTails-V 24.49%→32.65%、MSSBench 40.0%→44.0%、MOSSBench 30.6%→34.0%、MM-SafetyBench 12.3%→12.8%（Table 5）。
• Qwen 能力结果：MMStar 为 Base 64.0、OPSD 62.3；MME-RealWorld 为32.0、39.0；Aggregate 为53.3、54.5（Table 4）。作者将其解释为能力保留，而非安全训练普遍提升通用能力。
• LLaVA 能力例外：MMStar 为32→33，MME-RealWorld 为38→35，Aggregate 为33.9→33.6（Table 6）。附录 C 明确指出这些结果不代表任意架构上的统一迁移。

数据、训练与部署成本

• 数据与 rollout：完整方法使用1,447个安全样本；SPA-VL 使用30,000个偏好对；SafeGRPO 每个请求8次 rollout，OPSD 为1次（第5.5节）。作者称安全数据约减少95%，但明确这不是受控数据规模实验。
• 训练时间：匹配的单 NVIDIA A800 设置下，SafeGRPO 为40.88 h，OPSD 为8.05 h（第5.5节）。作者称约5×加速，并明确这不是理论 FLOPs 的等比例减少。
• 部署成本：相对 TiS，平均生成长度从665降至468 tokens，作者报告推理速度提高18%（第5.5节）。摘要另称平均推理长度减少7%，未明确该数字的比较对象；Figure 6 的柱高与曲线位置无法从文本读取。

其他消融与分析

• 无特权蒸馏：Qwen 的 MSSBench、MM-SafetyBench 联合成功率为36.5%、26.1%，低于 Base 的39.0%、30.3%（Table 3）。
• 移除锚点：Qwen 的 Aggregate 为46.1，完整方法为54.5；无锚点的 BeaverTails-V、MM-SafetyBench 联合成功率为49.7%、34.8%，高于完整方法49.0%、34.1%（Table 3、4）。
• LLaVA 移除锚点：Aggregate 为27.3，完整方法为33.6；附录未给无锚点安全分数（Table 6）。
• 显式与隐式风险：Figure 1 标出三个模型隐式攻击成功率64.07%、46.71%、30.53%；文本无法稳妥对应各柱与模型，故不逐模型引用。
• 定性材料：附录 D 的六例含四份新生成和两份历史回答，评审来源不同；附录 E 的三例是选择性行为展示，不能据此分离各特权字段的因果作用。

作者明确提出的后续方向是扩大交互评估，并改进对安全—帮助性校准的测量。

作者指出的局限与后续方向

• 基准外泛化：第6节指出，经过整理的基准之外，模型还需要跨不同情境和交互模式泛化。
• 评估方法：第6节指出，当前协议只部分测量校准后的安全与帮助性；更广的交互评测和更完善的评估方法是后续方向。
• 数据成本解释：第5.5节明确数据比较不是受控规模实验，各方法监督格式与目标不同。
• 计算成本解释：第5.5节明确约5×加速指匹配单卡 A800 的实际耗时，不应解释为理论 FLOPs 的等比例减少。
• LLaVA 证据边界：附录 C 明确结果不建立任意架构上的统一迁移，也未独立分离意图质量及对应关系的作用。

实验覆盖范围

• 骨干与安全范围：主实验使用 Qwen3-VL-4B-Instruct、2,057个输入；补充实验使用版本未说明的 LLaVA（第5.1节、附录 C）。
• 通用能力范围：主文报告 MMStar 与 MME-RealWorld；附录 F.3 记录100样本版本和 MME-RealWorld-Lite，Aggregate 的完整聚合口径未报告。
• 历史诊断协议：Table 1 声明300输入诊断；附录 F.3 区分不同历史提示词和评审参考信息，未明确该表如何对应各历史面板。
• 实施与命名：标准 Qwen checkpoint 在 step 362 评估；Figure 3 与附录 F.2 的证据提取模型名称不一致（附录 F）。
• 评估报告：主结果未报告重复次数、统计显著性检验或 LLM 评审与人工的一致性；附录 D 的内容复核没有为四份新回答赋予数值分数。

Intent-Privilege OPSD 是针对跨模态隐式风险的训练期安全—帮助性对齐方法。作者关注的不是直接拒绝敏感请求，而是按可观察图文证据保留正常帮助、约束有害信息。

• 方法：先隔离提取图像和文字证据，再联合构建、审计意图；冻结教师接收意图，学生仅从原始图文生成一次 rollout，学习教师在相同前缀上的 token 分布。
• 主结果：Qwen3-VL-4B-Instruct 在 SIUO+HoliSafe 的联合成功率从 Base 43.9%升至53.5%，MOSSBench 从29.3%升至37.0%；MSSBench 两者均为39.0%（Table 2）。
• 监督质量：冻结 Qwen 教师使用原意图时，联合成功率为11.7%、首句拒答率45.0%；证据化意图对应41.7%、12.1%（Table 1）。作者认为未经支持的意图解释可能放大过度拒答。
• 补充证据：LLaVA 的 SIUO+HoliSafe 联合成功率从40.9%升至44.1%，但通用 Aggregate 从33.9降至33.6（Table 5、6）。作者不将结果概括为任意架构或所有能力都提升。
• 成本与部署：匹配单卡 A800 下，OPSD 训练为8.05 h，SafeGRPO 为40.88 h；部署仅保留学生（第5.5节）。作者强调这是实际耗时比较，而非理论计算量结论。

作者的结论是：意图必须依据证据并保留不确定性，才适合作为特权监督。作者同时指出，基准之外的泛化及安全—帮助性评估仍需进一步探索。