研究显示 VLM 视觉定位输出的拒答率按危害领域平均低 31 至 59 个百分点

论文试图解决视觉语言模型（VLM）在空间定位（点和边界框）输出通道上缺乏安全对齐、对有害请求的拒答率大幅落后于自由文本问答（VQA）的问题。

• 问题出现的场景与重要性：作者指出，VLM正被广泛训练生成点和边界框等结构化坐标，用于图形界面（GUI）智能体点击或机器人移动导航；由于定位输出常被下游系统直接执行而非供人类阅读，遵从有害定位请求会直接转化为现实或界面中的有害行动。
• 现有方法的不足：现有多模态安全研究主要将生成的自然语言视为安全关键输出；作者测试发现，现有模型即使在VQA模式下拒绝有害提问，在被要求以空间坐标形式响应时也往往遵从，且系统提示词中的安全指令无法消除这一差距。
• 核心观察与假设：作者推测该差距源于对齐监督形式的不匹配（mismatched generalization）：现有的安全训练在文本中教授拒答，而定位监督教授空间坐标输出，导致安全拒答无法自动泛化至空间输出模式。
• 论文提出的方案：论文构建了包含15,401对匹配请求的视觉定位安全评测框架，并提出融合定位形式拒答、通用定位能力数据以及基座模型自蒸馏良性数据的微调方案，同时通过内部表征分析探讨对齐机制。

论文在引言和相关工作部分讨论了三类相关研究，并明确了本文与这些工作的定位与基线对比：

• 定位视觉语言模型（Grounded vision-language models）：Peng et al. (2024)、Chen et al. (2023)与Bai et al. (2025b; 2025a)通过位置token、文本坐标或指令微调输出点、框或掩码；Deitke et al. (2024)、Clark et al. (2026a)、Liu et al. (2025; 2026)与Fan et al. (2025)利用点标注或几何奖励强化学习优化坐标预测；这些输出在指代基准（Yu et al., 2016; Cheng et al., 2025）上评估，并作为GUI智能体（Gou et al., 2025）和机器人（Yuan et al., 2025）的操作接口。作者指出已有工作将定位视为核心能力，而本文研究其安全性。
• 视觉语言模型安全（VLM safety）：多模态安全研究通常将生成的语言视为安全关键输出，通过安全微调与偏好优化教授拒答（Zong et al., 2024; Zhang et al., 2025; Ji et al., 2025）；部分研究通过对抗或印刷视觉提示实现越狱（Gong et al., 2025; Liu et al., 2024; Shayegani et al., 2026b），或利用基准评估过度拒答（Röttger et al., 2024; Li et al., 2025）；Arditi et al. (2024)指出语言模型中的拒答由低维方向介导。本文的评测构建在社会偏见（Parrish et al., 2022; Narnaware et al., 2026）、图文联合意图（Palaskar et al., 2026）以及情境与机器人安全（Zhou et al., 2025; Jindal et al., 2025）等基准之上。
• 超越文本输出的安全（Safety beyond text outputs）：多项研究发现经拒答训练的LLM在浏览器智能体、工具调用、GUI与具身接口中会执行危害操作（Kumar et al., 2025; Andriushchenko et al., 2025; Kuntz et al., 2025; Shayegani et al., 2026a）；Cartagena & Teixeira (2026)指出模型在文本中拒答的同时仍会发出被禁止的工具调用，符合不匹配泛化现象（Wei et al., 2023）。作者指出这些研究大多针对越狱场景下的智能体，而本文研究非对抗匹配请求下VLM自身的原生定位输出。
• 基线方法与基准数据集：论文对比的基线包括无系统提示词的基座模型（none）、通用安全系统提示（generic）以及允许返回占位符坐标的系统提示（placeholder）；评测使用VLSU、BBQ-V、Asimov-2.0、MOSSBench和PointArena，训练引入IGP与Multi-Object-7k。

作者指出，据其所知，这是首个在多款VLM和多个危害领域中对VQA与定位模式下的有害请求进行受控对比的研究，不仅确认了安全对齐形式的失效，还通过定位形式微调弥合了差距。

论文通过构建配对评测框架量化安全差距，并提出融合定位形式拒答、通用定位能力与自蒸馏良性数据的三成分安全微调方案。

配对数据构建与评测设计

• 成对样本构造：使用Gemini 3.5 Flash将现有数据集改造为定位安全任务，每个样本包含图像与有害提问，分别构造VQA模式与定位模式的成对请求，保持图像、意图与核心措辞完全一致，仅改变请求形式（定位模式以“Point to...”开头，VQA模式以“Which...”或“Identify...”开头）。
• 覆盖三类危害领域：直接危害数据来自VLSU（Palaskar et al., 2026），保留图像本身良性但图文结合有害的样本；社会偏见数据基于BBQ-V（Narnaware et al., 2026），提问迫使模型在模糊场景中基于刻板印象指向某人；情境安全数据通过反转Asimov-2.0（Jindal et al., 2025）的机器人安全约束构造，作为完全未见的迁移测试域。

训练数据混合与三重目标

微调训练混合了三种功能成分，分别对应三个训练目标：

• 有害拒答数据（Harmful Refusals）：从VLSU训练集与IGP照片集改造而来，配以明确的拒答目标，包含定位与VQA两种形式。
• 良性反过度拒答数据（Benign Over-refusal Data）：为防止模型过度泛化拒答，通过基座模型自身的自蒸馏（Self-Distillation）生成监督目标。在IGP偏见样本中追加中性消歧上下文使目标可依据客观事实判定，在VLSU中筛选整体意图良性的定位请求；仅保留基座模型未拒答且正确定位的输出作为训练目标，并对推理模型的思维链进行程序化质检与过滤。
• 能力保留定位数据（Capability Grounding Data）：引入来自Multi-Object-7k（Liu et al., 2026）的1,548条常规目标定位数据，通过真实框程序化校验，在微调全过程中保持固定，用于维持基础定位坐标预测能力。

拒答行为格式设计

论文设计了两种拒答输出目标格式：

• 纯文本拒答（SFT-plain）：模型脱离结构化定位坐标输出，直接返回自然语言拒答文本。
• 占位符坐标拒答（SFT-placeholder）：保留结构化输出格式，将自然语言拒答与无实际行动意义的逃生坐标结合（Qwen3-VL在JSON的label字段写入拒答理由，bbox_2d设为[0,0,1,1]；VisionReasoner在<think>中阐明拒答，<answer>中输出box [0,0,1,1]与point [0,0]），便于下游依赖坐标解析的自动化系统安全处理。

训练与表征分析方法

• 训练超参数：仅微调语言模型参数，冻结视觉编码器和投影层（projector）；训练3个epoch，学习率为2 × 10^-5，全局batch size为8，使用bf16精度，输入图像统一调整至840 × 840分辨率。
• 表征投影分析：提取提示词末尾token的残差流激活，参考Arditi et al. (2024)，通过有害提示（AdvBench）与无害提示（Alpaca）的平均激活之差定义拒答方向：

d = μ_harmful − μ_harmless 该公式表示通过文本参考样本在最终提示词token处的残差流平均激活差值来确定拒答方向轴，归一化后将测试样本投影至该轴，以分析内部表征向拒答区域的转移。

实验设置

• 被测模型：共评测5款多模态模型。闭源模型包括Claude Sonnet 4.6与Gemini 3.5 Flash（均关闭推理功能）；开源模型包括Molmo2-8B、Qwen3-VL-8B以及带思维链输出的VisionReasoner-7B。微调实验针对Qwen3-VL-8B与VisionReasoner-7B展开。
• 评测数据集与规模（据Table 1）：直接危害评估使用VLSU独立测试集（659项）；社会偏见评估使用BBQ-V测试集（14,578项）；情境安全评估使用Asimov-2.0（164项，作为完全未见的跨域迁移测试）；良性控制集包括VLSU良性意图控制集（300项）、BBQ-V消歧控制集（300项）以及第三方基准MOSSBench（良性集VQA形式）；通用定位能力使用PointArena（982项）。每个样本均在VQA和定位模式下各评测一次。
• 基线方法：无系统提示词基座模型（none）、通用安全系统提示（generic）、带逃生占位符坐标的安全系统提示（placeholder）。Molmo2因缺乏系统角色而未参与系统提示对比。
• 指标定义：有害拒答率（Harmful refusal rate，%）衡量对有害请求的拒绝比例；过度拒答率（Over-refusal rate，%）衡量对良性控制样本的误拒比例；定位能力（Capability，%）衡量PointArena成功率（预测点落在真实掩码内）。
• 评审方式：使用Gemini 3.5 Flash作为大模型裁判进行单次调用判定。定位模式下，显式拒答、空定位或仅标记安全/无关物体计为拒答，定位到符合有害意图的目标计为遵从；无几何点框检测规则。在占位符条件下裁判依指令将[0,0]与[0,0,1,1]判定为拒答。VisionReasoner的<think>输出由裁判打出推理裁决作为辅助诊断。
• 解码配置：采用各模型默认设置，生成长度上限Molmo2与Qwen3-VL为1024 tokens，VisionReasoner、Gemini与Claude为2048 tokens。微调模型采用vLLM部署。

主结果

下表呈现了微调前后模型在各评估集上的定位拒答率、过度拒答率与定位能力表现（据Table 3）：

Swipe horizontally to read the table

注：据Table 3。表中未包含未参与微调的Claude Sonnet 4.6、Gemini 3.5 Flash与Molmo2-8B基座模型。

• 定位拒答率提升：微调后两款模型在训练所覆盖的VLSU和BBQ-V领域定位拒答率大幅回升，并在未见过的Asimov-2.0领域也大幅提升，超过了各自基座模型在对应领域的VQA拒答率。
• 能力保留与过度拒答受控：微调后两款模型在PointArena上的定位成功率与基座模型相比波动均在1.5个百分点以内，且在域内良性控制集上的过度拒答率保持在5.3%以下（Table 3）。
• 两种拒答目标格式比较：SFT-plain与SFT-placeholder均能有效提升安全性；SFT-placeholder保留了坐标格式输出，使下游解析器仍能接收有效格式数据。

基座模型安全差距与系统提示词评测

• 测了什么：评测5款基座模型在无提示下的双模式表现，并在4款支持系统角色的模型上测试generic与placeholder安全提示词（Table 6、Table 7）。
• 结果：基座模型在定位模式下的拒答率在所有模型和领域中均低于VQA模式，平均落后31–59个百分点（Table 6）；引入系统提示词后，除Claude Sonnet 4.6外其余模型定位拒答率仍低于40%，VisionReasoner-7B始终低于5%，且placeholder提示词导致Qwen3-VL在VLSU上的VQA过度拒答率升至43.7%（Table 2、Table 8）。
• 作者的解读：作者认为安全系统提示词无法可靠弥合定位安全差距，反而会在良性请求上引发更高的过度拒答。

内部表征分析

• 测了什么：在最终提示词token处提取残差流激活，分析其在由AdvBench与Alpaca定义的拒答方向上的投影分布（Figure 4–9、Table 23）。
• 结果：基座模型中有害定位请求的表征紧邻无害参考中心，而有害VQA请求则更向拒答区域分散；微调后有害定位请求在拒答轴上的平均投影位置大幅上升（VisionReasoner从0.08升至0.49，Qwen3-VL从0.23升至0.56，据Table 23），而良性控制样本的表征移动幅度较小（分别仅变动+0.07和+0.10）。
• 作者的解读：作者指出微调使有害定位请求的表征选择性地移向拒答区域，而非导致所有定位输入无差别偏向拒答。

训练成分消融实验

• 测了什么：在Qwen3-VL-8B上进行留一法消融，分别测试剔除定位安全数据（VQA-ref）、剔除VQA安全数据（Gr-ref）、剔除良性数据（No-OR）以及剔除坐标数据（No-Cap、No-coords）（Table 4、Table 14）。
• 结果：仅保留VQA安全数据（VQA-ref）时，三领域的定位拒答率分别降至1.8%、0.0%和3.0%；而仅保留定位安全数据（Gr-ref）时，定位拒答率达到71.3%–94.2%，VQA拒答率亦达84.8%–96.3%，但MOSSBench过度拒答率上升至55.0%（Table 4）；剔除所有坐标监督（No-coords plain）导致PointArena成功率跌至6.7%（Table 14）。
• 作者的解读：作者认为VQA形式的安全监督无法迁移至定位模式，而定位形式的安全监督能够双向提升两种模式的拒答，但需要良性数据来抑制过度拒答。

其他消融与分析

• 单领域泛化消融（Table 14）：仅用VLSU训练时BBQ-V定位拒答率为73.4%；仅用IGP训练时VLSU定位拒答率为78.5%，Asimov-2.0为25.6%。
• 移除良性反过度拒答数据（No-OR，Table 14）：有害定位拒答率达99.8%–100.0%，但BBQ-V良性定位过度拒答率升至100.0%。
• 移除能力定位数据（No-Cap，Table 14）：PointArena成功率为66.7%，三领域定位拒答率保持在74.4%–96.1%。
• 占位符格式下移除坐标数据（No-coords plac.，Table 14）：PointArena成功率保留至52.5%，高于纯文本变体的6.7%。
• 定位子技能表现（Table 15）：Qwen3-VL-8B微调变体在affordance、counting、reasoning、spatial、steerable各子技能上相对基座波动均在3.5个百分点以内。
• 危害子类别分析（Table 16、17）：VLSU 15个类别微调后定位拒答率均达93.0%以上；Asimov-2.0中人类目标定位拒答率达97.2%–100.0%，而机器人和财产目标为59.0%–87.2%。

负面结果与例外现象

• 情境安全残余失效：在Asimov-2.0上，微调未能成功拒绝的案例主要集中在针对机器人或财产的危害目标上，Qwen3-VL SFT-plain在这两类目标上的定位拒答率仅为59.0%和64.0%，低于人类目标的97.2%（Table 17）。
• 第三方基准过度拒答上升：在未见过的第三方基准MOSSBench上，Qwen3-VL微调后的良性过度拒答率从基座的15.3%上升至24.7%（SFT-plain）和27.0%（SFT-placeholder）（Table 3）。
• 思维链与最终输出脱节：在BBQ-V上，基座VisionReasoner-7B的<think>追踪中有64.5%的请求主张拒绝，但在最终的<answer>中却有超过99%实际输出了目标定位（Section 2.3、Table 19）。

作者指出的局限与后续方向

• 论文未专门设立章节讨论局限：论文正文与附录未包含独立的“Limitations”、“Discussion”或“Future Work”章节。
• 代码开源计划：作者在脚注与可复现性声明中注明，计划在论文被录用后公开发布代码（Footnote 2、Reproducibility Statement）。

实验覆盖范围

• 被测模型范围：实验评测了五款模型（Claude Sonnet 4.6、Gemini 3.5 Flash、Molmo2-8B、Qwen3-VL-8B、VisionReasoner-7B），其中微调实验仅在Qwen3-VL-8B与VisionReasoner-7B两款开源模型上进行，论文未报告其他模型的微调实验。
• 安全危害领域范围：评测覆盖了直接危害（VLSU测试集659项）、社会偏见（BBQ-V测试集14,578项）以及情境安全（Asimov-2.0测试集164项）三类场景；偏见微调数据源使用IGP（1,908项），通用能力数据使用Multi-Object-7k（1,548项）。
• 微调数据量与模块范围：各微调配置包含120–300个有害拒答样本、1,400–2,200个良性样本及1,548个能力样本；训练时仅对语言模型进行微调，视觉编码器与投影层均处于冻结状态。
• 裁判与评估协议范围：安全与过度拒答评测全部由单一LLM裁判模型（Gemini 3.5 Flash）单次调用判定，论文未报告人工评估一致性检验。
• 系统提示词范围：提示词对比仅在四款支持系统角色的模型上评估了none、generic和placeholder三种设置，Molmo2因缺乏系统角色被排除。

• 定位与核心问题：论文系统研究了多模态大模型在视觉定位（点和边界框坐标）这一可执行输出通道上的安全对齐问题，指出模型在面对相同有害意图时，拒绝自由文本提问却遵从空间定位请求的普遍对齐失效现象。
• 方法与数据构建：作者将直接危害（VLSU）、社会偏见（BBQ-V）和情境安全（Asimov-2.0）三个基准重构成15,401对图文意图严格匹配的VQA与定位测试样本，并提出了融合定位拒答、通用定位能力以及自蒸馏良性数据的三成分微调训练方案，支持纯文本（SFT-plain）和占位符坐标（SFT-placeholder）两种拒答格式。
• 基座模型安全差距：五款主流VLM在无系统提示下，定位模式的平均拒答率在VLSU、BBQ-V和Asimov-2.0上分别仅为19.4%、16.7%和12.7%，落后于VQA模式的62.9%、75.9%和43.8%（Table 6），且引入安全系统提示词无法有效消除该差距。
• 安全微调成效：微调使Qwen3-VL-8B和VisionReasoner-7B在VLSU上的定位拒答率分别由9.7%和3.9%提升至96.5%和97.4%（SFT-plain，Table 3），在完全未见的情境安全域Asimov-2.0上分别提升至68.9%和85.4%，且通用定位成功率保持在基座水平（65.4%与64.1%）。
• 对齐机制与启示：消融实验显示仅依赖VQA文本拒答数据无法迁移至定位安全，而定位拒答数据能提升双模式拒答；内部表征分析表明微调将有害定位请求的残差流表征大幅推向拒答方向。作者认为，随着定位输出被智能体与物理系统广泛采纳，安全对齐必须明确覆盖空间输出通道。