ThinkingGuard：通过逐步风险归因解码多模态大语言模型中的隐式危害

多模态隐式风险缺少可定位激活条件的检测：单独无害的文本与中性视觉实体只有在交互后才诱发不安全输出，现有方法容易单模态走捷径或事后合理化。

• 场景：作者称MLLM已用于医疗、金融、教育等高风险领域，早期防御主要拦截显式有害图文对和对抗输入。隐式风险没有单一模态上的显式有害信号，常能绕过常规过滤器。Fig. 1以灭虫请求与厨房场景为例：风险只在含酒精的杀虫剂与明火同时出现时激活。
• 现有不足：作者指出两类缺口。数据上，现有集合多是把显式危害伪装起来，而不是由各自良性的成分合成风险，留下单模态残留，模型可学“哪些元素看起来危险”。推理上，缺少针对性监督时，中间步骤会退化成事后合理化，理由与细微跨模态交互脱节。
• 核心观察：作者认为可靠检测需要逻辑风险归因，即追踪中性视觉触发如何与潜在文本意图交互并触犯安全规则。这同时要求编码组合逻辑的数据，以及能给出有视觉依据的归因而非表层匹配。
• 本文提出：构造TriggerBench（5600个图文对，九个安全维度），把关键元素与触发元素拆开并用反事实安全替换消除风险残留；再用分步监督的结构化推理训练专用guard模型ThinkingGuard。
• 威胁模型：
  • 受害系统：部署中的MLLM及其安全过滤；检测对象是图文输入是否构成隐式风险。
  • 风险定义：文本与图像各自不蕴含预设违规，但关键元素、视觉上下文与隐藏意图的交互在逻辑上蕴含违规时，风险被激活。
  • 检测目标：输出有证据的safe/unsafe判定及风险类别，并归因到关键元素与触发元素的关系。
  • 知识与能力：论文把ThinkingGuard定位为专用guard模型，输入为待测图文对；未把攻击者的白盒或黑盒访问写成该任务的前提。

隐式危害数据集

• MSSBench（Zhou等，2024）——情境安全：同一查询在不同视觉上下文中可安全或危险，含1820个图文查询对，安全与不安全上下文平衡。
• MMIT——多模态隐式毒性：各模态单独良性、组合后有害；含2100条陈述与提示词，7个风险类、31个子类、5种跨模态关联模式。
• USB（Zheng等，2025）——覆盖多种风险类别与模态组合，并同时考察脆弱性与过度敏感。作者称这些基准说明了隐式多模态安全的难度，但主要把风险藏在单个模态里，而不是显式建模其逻辑组合。

直接分类式检测

• OpenAI Moderation API与Llama Guard 3 Vision——把检测做成类别预测或二分类。作者称它们高效实用，但常依赖预定义分类体系和表层信号，难以处理来自细微上下文或跨模态交互的风险。

推理增强与越狱检测

• ShieldVLM做跨模态审议式推理以检测隐式毒性；GuardReasoner及其多模态扩展把结构化推理与偏好优化用于复杂安全判断。
• JailDAM用自适应策略记忆在推理时检测不安全提示词；HiddenDetect通过监测隐藏状态识别越狱、无需额外微调。作者称这些工作体现了从直接分类转向情境感知、基于推理的检测，但仍难处理细粒度关系、长程上下文或潜在触发条件。

基线方法与基准

• 基线：GPT-5.1、Claude-Sonnet-4-6、OpenAI Moderation API、Llama-Guard3-Vision、ShieldVLM、GuardReasoner-VL、HiddenDetect、JailDam。ShieldVLM与GuardReasoner-VL使用公开检查点，骨干均为Qwen2.5-VL-7B。
• 基准：TriggerBench-Test；隐式危害基准MSSBench、MMIT、USB；通用安全与越狱基准VLSBench、SafeBench、MMSafetyBench、JailbreakV-28K-mini。

作者把本文定位为用逻辑风险归因和偏好对齐处理上述局限：用TriggerBench显式建模风险组合性，用ThinkingGuard把分步归因内化到guard模型中。

整体上先建能隔离风险激活条件的数据TriggerBench，再训练guard模型ThinkingGuard：按情境意识把判定拆成逐步轨迹，用SA-MCTS搜索高奖励轨迹，经Dual-Constraint Preference Alignment蒸馏，推理时不再搜索。

问题设定与数据合成

• 元素分解：直接对应文本意图的图像内容为关键元素E_K，诱发风险的上下文图像内容为触发元素E_T。隐式风险写成跨模态交互违背规则：风险仅当该交互的语义后果在逻辑上蕴含预设违规集合时取1。
• 合成约束：每个风险样本的图文组合应蕴含违规，而图像单独、文本单独都不蕴含违规。九个维度为physical harm、illegal activities、privacy、property damage、ethical violations、region and belief、offensiveness、misinformation、violence。
• 流程：闭源模型先为每个场景规划不安全元组{E_K, E_T, H}，再写输入文本T与细粒度图像描述，并避免文本或描述中出现显式有害概念；再用FLUX.2-klein-9b把描述渲染成图像。作者称全部图文对经领域专家人工过滤，标注流程、质控与一致性分析在补充材料中。该阶段得到2800条隐式风险样本。
• 规模：完整TriggerBench为5600个图文对，训练3864、测试1736。索引i为九个安全维度之一，j为该维度内的样本。

反事实安全替换

• 机制：把不安全触发E_T换成预先规划的良性环境E_T'，严格保留E_K与文本查询T，使新组合不再蕴含违规。再用FLUX.2渲染安全图像，只改上下文触发、保留关键元素。
• 作用：作者称对照对迫使模型学习“特定触发与风险激活”的逻辑依赖，以削弱把中性关键实体（如手术刀）直接绑到危险标签的捷径。Fig. 2给出从选类、场景生成、敏感实体与触发选择，到风险样本和安全替换样本的流程。

分步逻辑风险归因

• 轨迹：受Situation Awareness理论启发，作者把分析看成轨迹τ=(a1,…,an)。初始状态含待测图文对和系统提示词模板；状态转移为把新步骤拼到上文。步骤对应：意图概括、实体抽取、属性描述、关系风险分析、综合安全判断与风险类别。
• 约束：向初始状态注入分析示例，并为每个动作指定独占停止token以切分步骤。过程奖励R对每个中间状态打分，既引导搜索，也用于构造偏好对。

SA-MCTS

• 搜索：最大深度5、分支因子2、30次迭代。作者称意图概括的搜索空间较窄，分配较少分支；后续涉及多模态交互与关键风险分析的阶段增大分支因子。离线搜索在一张A100上平均每样本352秒。轨迹探索与骨干检测模型均使用Qwen3-VL-8B-Instruct。
• 步骤奖励：LLM评审按固定模板对候选步骤打分，三个维度为归因准确性（是否正确讨论E_K与E_T）、与历史上下文的连贯与简洁、视觉幻觉惩罚（主张是否落在输入图像上）。作者称三者整体评估，不用人工指定权重；设计动机来自对MLLM推理轨迹的初步错误分析，细节与人工验证在补充材料。
• 回传与剪枝：非叶节点的Q取子树中的最大评价值，而不是平均Q。奖励低于预设阈值的节点立即终止并剪枝。论文未在正文给出该阈值的数值。

双重约束偏好对齐

• 全轨迹对：不安全与良性样本都从搜索树收集路径。累积过程奖励最高的路径为chosen，另取一条陷入逻辑缺陷或视觉幻觉、但初始语义相似度较高的路径为rejected。
• 关键步增强：只对不安全样本。作者称难点在E_K与E_T的交互，通常位于关系风险分析与综合评估。在相同历史上下文下，把该枢纽的最优分析与得分最低的兄弟分支配对。良性样本作者认为一般只需一致地列举事实，故不做这一增强。
• 训练：在TriggerBench-Train上用LoRA-DPO，四张A100-80GB，约90分钟。全轨迹对与关键步对按2:1采样（作者称该比例在补充材料中验证）。学习率3×10^−5，batch size 32，LoRA rank/alpha为8/16，DPO β=0.1。推理阶段不再做树搜索。

实验设置

• 被测模型：ThinkingGuard，骨干为Qwen3-VL-8B-Instruct。对比GPT-5.1、Claude-Sonnet-4-6、OpenAI Moderation API、Llama-Guard3-Vision、ShieldVLM、GuardReasoner-VL、HiddenDetect、JailDam。后两者中ShieldVLM与GuardReasoner-VL为公开检查点，骨干Qwen2.5-VL-7B。闭源模型的提示词与评测在补充材料。
• 数据：TriggerBench-Test；隐式危害为MSSBench（正文称1820对）、MMIT（2100条陈述与提示词）、USB；通用安全与越狱为VLSBench、SafeBench、MMSafetyBench、JailbreakV-28K-mini。测试划分的逐维样本量论文正文未列出。
• 指标：TriggerBench报告九个维度的F1-Unsafe与Recall及其平均。同时含安全与不安全样本的其他基准报告Accuracy、F1-Unsafe、F1-Safe、Recall；只含不安全样本的基准报告Accuracy。Table 2另报时延（秒）与输出token数。
• 训练设置：见第3问；论文未报告评测重复次数，也未报告与人工判定的一致性数值（作者称一致性分析在补充材料）。
• Table 2脚注：ShieldVLM在MMIT上训练，该数据包含MSSBench的一部分并与USB的数据来源部分重叠，且使用了来自VLSBench和MMSafetyBench的数据。

主结果

Table 1为TriggerBench九维平均（F1-Unsafe / Recall）：

方法	F1-Unsafe	Recall
GPT-5.1	0.642	0.619
Claude-Sonnet-4-6	0.676	0.587
OpenAI Moderation	0.099	0.063
Llama-Guard3-Vision	0.210	0.144
HiddenDetect	0.106	0.060
JailDam	0.242	0.176
ShieldVLM	0.634	0.744
GuardReasoner-VL	0.361	0.282
ThinkingGuard	0.764	0.866

据Table 1。ThinkingGuard在九维平均上最高。分维上它并非每格都最高：F1-Unsafe方面，Claude-Sonnet-4-6在Privacy为0.686对0.697（此处ThinkingGuard更高）、Offensiveness为0.746对ThinkingGuard的0.720、Violence为GPT-5.1的0.870对ThinkingGuard的0.821。Recall方面，ShieldVLM在Property Damage为0.940、低于ThinkingGuard的0.980；Privacy上ShieldVLM为0.760、ThinkingGuard为0.700。Region & Belief上GPT-5.1的F1-Unsafe为0.293、Recall为0.189，同表中ThinkingGuard为0.711 / 0.767。

• 作者解读（RQ1）：作者称OpenAI Moderation、HiddenDetect、JailDam平均分低于0.25，因它们主要针对显式关键词或对抗性语言模式，而TriggerBench的文本查询往往语义良性。GPT-5.1与Claude-Sonnet-4-6平均分在0.642到0.676之间；作者认为其端到端结构经常忽略良性实体之间的细微交互。
• 开源检测器：作者报告ShieldVLM为0.634、GuardReasoner-VL为0.361，并称仅有检测结构或仅仅生成推理步骤并不足以可靠识别隐式风险；这些模型会在推理链与视觉证据无关时出现逻辑幻觉。
• ThinkingGuard：作者称0.764的平均分支持分步风险归因和细粒度偏好对齐；把场景拆成实体抽取、关系风险分析等经过核验的中间步骤后，判断建立在对上下文触发的理解上。Fig. 4为定性例子，作者称其说明模型能在多种隐式危害场景中识别潜伏风险。正文摘录可见一个关于幼儿是否可在房间玩耍的意图概括，其余图中文字在提供的文本中不完整。

分布外隐式风险与越狱

Table 2中Accuracy（论文写明的列；“–”表示该行未给出时延与token）：

表格较宽，可左右滑动

方法	MSS	MMIT	USB	VLS	Safe	MMSafety	JailbreakV
GPT-5.1	0.618	0.748	0.860	0.855	0.916	0.540	0.907
Claude-Sonnet-4-6	0.577	0.740	0.737	0.721	0.832	0.390	0.825
OpenAI Moderation	0.503	0.500	0.397	0.302	0.678	0.105	0.629
Llama-Guard3-Vision	0.500	0.524	0.297	0.037	0.554	0.296	0.650
HiddenDetect	0.502	0.517	0.270	0.021	0.678	0.461	0.307
JailDam	0.553	0.545	0.530	0.095	0.615	0.644	0.761
ShieldVLM	0.695	0.898	0.913	0.892	0.862	0.670	0.886
GuardReasoner-VL	0.507	0.569	0.040	0.424	0.908	0.332	0.796
ThinkingGuard	0.718	0.769	0.927	0.933	0.924	0.677	0.914

据Table 2。MSSBench上ThinkingGuard的F1-U / F1-S / Recall为0.668 / 0.755 / 0.567；MMIT上为0.772 / 0.780 / 0.757。ShieldVLM在MMIT的Accuracy为0.898，高于ThinkingGuard的0.769。MMSafetyBench上两者均为0.677与0.670，ThinkingGuard略高；该列不是ThinkingGuard相对所有基线差距最大的一列。

• 作者解读（RQ2）：作者称ThinkingGuard在MSSBench与USB上表现更好；MMIT上ShieldVLM领先，但受表注所述数据依赖影响。作者认为ThinkingGuard没有这类事先暴露，仍保持有竞争力的准确率，说明基于推理的做法学到的是可迁移的安全原则，而不是拟合某一基准分布。MSSBench准确率0.718被作者用来说明情境意识框架能在不同任务特征下处理风险依赖。
• 效率：评测设置下ThinkingGuard每样本3.5秒、352个输出token，作者称与ShieldVLM（3.7秒、381 token）相当。GuardReasoner-VL为2.4秒、162 token，更快更短，但检测性能低得多，作者认为准确率与效率的权衡较差。GPT-5.1为13.4秒、429 token；Claude-Sonnet-4-6为17.5秒、473 token。
• 通用安全与越狱：作者称ThinkingGuard在VLSBench、SafeBench和JailbreakV-28K-mini上达到新的SOTA水平。JailbreakV-28K-mini准确率0.914；作者把这一点归因于必须执行的情境推理，并称这类攻击通常用复杂语言包装绕过标准过滤器。MMSafetyBench上ThinkingGuard为0.677，与ShieldVLM的0.670接近，高于GPT-5.1的0.540。

其他消融与分析

• 正文给出的训练比例为全轨迹对:关键步对=2:1，作者称该选择在补充材料中验证；正文未列出其他比例的指标。
• 过程奖励的三维标准与人工验证、剪枝阈值、闭源模型提示词，作者均指向补充材料，正文未给出对应消融数字。
• Table 1的低分段：OpenAI Moderation在Physical Harm上F1-Unsafe为0.024、Recall为0.012；HiddenDetect在Illegal Activities上为0.000 / 0.000。作者将这些低分与“文本查询语义良性、风险在情境耦合中”联系起来，未对单个维度另作原因解释。

作者指出的局限与后续方向

论文正文在所给文本中未单独列出Limitations或Future Work小节。引言与结论性表述把贡献写成已取得的检测性能，没有把某项结果明确标为局限。因此这里不把实验结果讨论改写成作者指出的不足。

• 过程监督依赖外部评审：第4.2节写步骤奖励由JudgeLLM给出，三维标准的细节与人工验证放在补充材料。作者没有在正文把“奖励模型可能出错”写成局限。
• 搜索成本只在训练侧：第4.3节写双重对齐是为了推理时不必做昂贵的树搜索。这是设计说明，不是作者列出的后续工作。
• 若以正文已出现的自承范围计，作者明确把标注流程、质控、可靠性分析、奖励设计的人工验证、闭源模型提示词和2:1比例的验证放在补充材料，正文未展开这些分析的数字。

实验覆盖范围

• 数据：TriggerBench共5600个图文对，训练3864、测试1736；不安全基础集2800条，另有反事实安全对照。九个安全维度见第3.1节。MSSBench在相关工作中写为1820对，MMIT为2100条。
• 被测系统：ThinkingGuard的骨干是Qwen3-VL-8B-Instruct；基线共8个，含两个闭源通用模型、一个商业审核接口、开源guard与越狱检测器。ShieldVLM与GuardReasoner-VL的骨干为Qwen2.5-VL-7B。
• 指标与基准：TriggerBench用分维F1-Unsafe和Recall（Table 1）。Table 2覆盖MSSBench、MMIT、USB、VLSBench、SafeBench、MMSafetyBench、JailbreakV-28K-mini，并报告时延与输出token。论文未报告评测重复次数。
• 训练与搜索：SA-MCTS最大深度5、分支因子2、30次迭代；一张A100上离线搜索平均每样本352秒。LoRA-DPO在四张A100-80GB上约90分钟，全轨迹与关键步样本比为2:1。论文未在正文报告自适应攻击者针对ThinkingGuard改写触发的实验。
• 数据重叠：Table 2脚注写明ShieldVLM训练于MMIT，并与MSSBench、USB、VLSBench、MMSafetyBench的数据来源存在重叠或部分重叠；ThinkingGuard的训练数据正文写为TriggerBench-Train。

这篇工作研究多模态隐式风险检测：图文各自良性，风险只在关键元素与触发元素交互时出现。

• 问题：作者认为现有数据把风险藏在单模态里，检测模型会走捷径或给出与视觉证据脱节的理由，因而无法稳定完成跨模态逻辑归因。
• 数据：TriggerBench共5600对（训练3864、测试1736）。合成阶段得到2800条不安全样本，覆盖九个安全维度；再只替换触发元素、保留关键元素与文本，得到反事实安全对照。图像由FLUX.2-klein-9b渲染，并经人工过滤。
• 模型：ThinkingGuard以Qwen3-VL-8B-Instruct为骨干，把判定拆成意图、实体、属性、关系与综合判断。SA-MCTS按归因、连贯和视觉依据给每步打分并剪枝（深度5、分支因子2、30次迭代），再用轨迹级DPO与仅针对不安全样本的关键步偏好做对齐。推理时不做树搜索。
• 结果：TriggerBench九维平均F1-Unsafe / Recall，ThinkingGuard为0.764 / 0.866（Table 1），高于表中闭源与开源基线的平均；Offensiveness的F1-Unsafe和Privacy的Recall等个别格子不是最高。MSSBench准确率0.718，USB 0.927，JailbreakV-28K-mini 0.914（Table 2）。MMIT上ShieldVLM为0.898、ThinkingGuard为0.769，作者提醒前者的训练数据与该基准相关。时延为每样本3.5秒、352 token。
• 作者结论：作者称结构化风险归因和细粒度偏好对齐对识别由多模态实体交互产生的危害是必要的，并且该推理框架在分布外隐式风险和越狱包装上仍有效。作者称项目资源将随论文提供，正文未把开源写成已完成之外的额外计划。