研究者提出 Reasoning-Oriented Programming，通过链式语义片段越狱大型视觉语言模型

LVLM的组合推理能把各自符合安全策略的良性前提合成为有害逻辑，而现有对齐主要针对输入表征中的显式有害模式。

• 场景：作者称LVLM已从被动感知变为可处理复杂多模态输入的主动推理系统；对手可借此引出违反仇恨言论、暴力或非法活动等策略的内容。
• 现有不足：作者称RLHF、RLAIF等对齐让模型拒绝输入表征中的有害模式；既有越狱多做感知层混淆（对抗扰动或结构化图像），忽略组合推理。作者认为有害意图被假定为明确位于输入之中，从良性前提合成有害逻辑的能力缺少保护。
• 核心观察：作者称模型可被诱导，从各自良性、且严格符合安全策略的输入序列中合成有害输出。
• 本文做法：作者把该范式形式化为Reasoning-Oriented Programming，类比系统安全中的Return-Oriented Programming，并用自动化框架VROP实例化：优化语义正交与空间隔离，使有害逻辑只在后期推理出现。评测为SafeBench与MM-SafetyBench上的7个LVLM。
• 威胁模型
  • 知识：realistic black-box，strictly limited query-only access；无内部参数、梯度或中间激活。
  • 能力：可提交图文交错查询；不能改推理流程，例如系统提示词或temperature等解码策略；可用外部unrestricted资源，以辅助LLM与T2I离线合成并精炼载荷。
  • 目标：safety circumvention。对对齐策略禁止的恶意意图，引出detailed、actionable、helpful的回答；成功指未触发拒绝，给出通常会被拦截的信息。
  • 隐蔽约束：各组件孤立看来须表面良性；视觉为与最终有害目标语义不同的常见安全物体或场景；文本为不含显式恶意指令的中性推理指令；有害逻辑只在推理中出现，而不在输入空间中。

按引言与第2节的分组，论文把本文放在ROP类比和black-box多模态越狱之间。

系统安全中的ROP

• Return-Oriented Programming（Shacham, 2007）：不注入新可执行代码，而把内存中已有良性指令片段串成链，以绕过NX与ASLR。论文只作结构类比，并写明并不操纵指令指针。

对齐与感知层攻击

• RLHF与RLAIF：作者称开发者用这类对齐抑制有害内容，机制是识别并拒绝输入表征中的有害模式。
• white-box越狱：论文把利用梯度优化图像扰动、或推动对有害提示作肯定回答的工作归为white-box。作者称多数LVLM经API或网页部署，因而black-box更符合外部红队或恶意使用者的约束。

black-box多模态越狱

• HIMRD：用多模态风险分配，把有害指令拆到文本与视觉模态。论文此处只作描述。
• FigStep与Liu et al.的图像构造：前者把恶意查询做成印刷体图像；后者用GPT-4抽关键词，并把印刷体与T2I图像混合。SI-Attack在patch级与词级打散后再重组。
• 作者对这一组的定位：它们通过视觉对手样本嵌入有害内容；VROP把越狱目标分解到结构化推理步骤，不以外观上的对抗方式改输入分布，而是编排良性输入以利用内部推理。

基线方法与基准

• 攻击基线：FigStep（FS）、MM-SafetyBench方法（MM）、JOOD（用Mixup/CutMix生成分布外图像）、MML（多阶段加密后再引导解密重构）。
• 基准：SafeBench与MM-SafetyBench。CIDER、ECSO、JailGuard、AdaShield在实验节作为防御基线引入，Related Work未展开。

作者将本文区别写为：有害意图不在输入表征中，而在自回归生成时由正交良性组件的语义碰撞出现，从而绕过感知层对齐。

整体思路是Reasoning-Oriented Programming：不注入显式恶意触发，而把有害目标拆成落在良性流形内的视觉gadget，再用控制流提示词编排组合推理。实例为VROP（Figure 2）：Semantic Gadget Mining加上Gradient-Free Control-Flow Optimization。

问题设定与约束

模型M把图像与提示词映射到回答。安全策略S给回答的有害程度打分，取值在0到1。攻击者寻找视觉gadget集合V与控制流提示词Π。论文把目标写成max_V,Π P[S(M(V,Π))→ 1]。

• Input Benignness：每个gadget属于安全图像子空间，Π属于安全文本子空间；单件输入不触发感知层拒绝。
• Representation Orthogonality：每个gadget与有害意图h的语义相似度低于界限δ，即Sim(E_img(v_k), E_txt(h)) < δ。论文未给出δ的数值。有害意图不出现在单个gadget中，而靠集合上的逻辑组合出现。

Semantic Gadget Mining

• 分解函数把意图映成N个文本描述。辅助LLM充当semantic compiler，目标是语义相关度减去危害估计，以选取功能上必要、又远离安全边界的描述。设计要求描述物理对象，而不是功能角色。
• T2I模型把每个描述合成图像。Rejection Sampling查询proxy safety classifier；若被标为有风险，就抽象化改写描述，直到图像落入良性流形。论文未给出该分类器名称或拒绝轮数。
• 为避免视觉编码器过早融合出有害概念，把gadget加padding后排成互不相交的网格。作者称这利用ViT的patch处理，使各gadget在特征空间保持正交，语义整合推迟到后续语言推理层。

无梯度控制流优化

• 黑盒下在安全文本空间搜索Π，结构为提取算子与组装算子的组合。提取算子把注意力引到各网格区域，抽取与意图功能相关的特征，并抑制安全关键token。组装算子以中性询问把中间表示连成叙述，依赖指令跟随完成合成。
• 目标模型概率不可得，用黑盒Judge LLM的分数作适应度。辅助LLM作语义变异：执行候选并打分；分数不佳时区分Perception Failure与Safety Refusal；再生成变异候选。附录B给出语义分解、评审与模板精炼的完整提示词。
• 默认N=4，排成2×2网格。进化种群为10，最多5轮。语义分解与进化用GPT-4，图像用Stable Diffusion 3 Medium，适应度由GPT-4 judge评估。

Late-Stage Reasoning Hijacking

作者称对齐常依赖浅层对显式特征的检测。网格隔离使浅层注意力局部化，各良性分量聚合后的安全分保持较低，从而不早拒绝。作者称恶意意图在深层出现：组装提示词主导注意力，把分布式视觉表示整合成结构上不同于显式恶意查询、但语义上隐含有害意图的状态，再据此生成。作者认为RLHF能抑制显式恶意查询触发的有害回答，却难以泛化到这类组合样本；输入落在良性分布内时，已学拒绝先验不激活，有帮助这一目标与安全约束冲突。这一节是机制形式化，不是逐层测量实验。

实验设置

• 被测模型：开源Qwen2-VL-7B-Instruct、LlaVA-v1.6-Mistral-7B、Llama-3.2-11B-Vision-Instruct；商业GPT-4o、Claude 3.7 Sonnet、GLM-4V-Plus、Qwen-VL-Plus。共7个。
• 基准：SafeBench为500条有害查询、10类；论文称主题来自OpenAI与Meta Llama-2等策略，由GPT-4生成后再人工审核。MM-SafetyBench为13个高风险场景；论文称由GPT-4合成并做去重与质量过滤。论文未报告后者样本量。
• 攻击基线：FS、MM、JOOD、MML，均为black-box结构化越狱。
• 防御基线：CIDER、ECSO、JailGuard、AdaShield-S、AdaShield-A。No Defense指直接使用VROP。
• 指标与评审：ASR。成功当且仅当回答给出actionable、specific、helpful的信息；泛泛拒绝或安全的不合规回答记为失败。优化适应度用GPT-4 judge。最终ASR用LLM-as-a-Judge，附录C给提示词；LO、FA、HC、GD用结合MM-SafetyBench与JailbreakV指南的定制提示，其余用标准化提示。论文未写明最终评审模型。分层人工审计200条，Cohen's κ为0.92。
• 实现：N=4，2×2网格，种群10，进化最多5轮。开源实验用8张NVIDIA A100（80GB）与HuggingFace Transformers，商业模型经API。论文未报告重复次数与查询次数。

主结果

下表开源Overall据Table 1、Table 2；GPT-4o的SafeBench与Claude 3.7 Sonnet的MM-SafetyBench据正文5.2.2。表最多8行，省略GLM-4V-Plus、Qwen-VL-Plus，以及GPT-4o的MM-SafetyBench、Claude的SafeBench。

Swipe horizontally to read the table

模型	基准	VROP	最强基线	基线名
Qwen2-VL-7B-Instruct	SafeBench	0.91	0.86	MML
LlaVA-v1.6-Mistral-7B	SafeBench	0.91	0.86	MML
Llama-3.2-11B-Vision-Instruct	SafeBench	0.92	0.88	MML
Qwen2-VL-7B-Instruct	MM-SafetyBench	0.79	0.71	JOOD
LlaVA-v1.6-Mistral-7B	MM-SafetyBench	0.80	0.68	JOOD
Llama-3.2-11B-Vision-Instruct	MM-SafetyBench	0.78	0.72	MML
GPT-4o	SafeBench	0.59	0.46	MML
Claude 3.7 Sonnet	MM-SafetyBench	0.43	未报告	作者称均低于0.40

• 总体：作者称全部模型、两个基准上VROP总体ASR高于所列基线。正文另给：SafeBench上Claude 3.7 Sonnet的VROP为0.60（MML 0.47，JOOD 0.44），GLM-4V-Plus为0.93，Qwen-VL-Plus为0.95；MM-SafetyBench上GPT-4o为0.78（MML 0.60，JOOD 0.55），GLM-4V-Plus为0.80，Qwen-VL-Plus为0.87。摘要与第1节称，相对最强基线平均ASR提升开源4.67%、商业9.50%。Figure 3柱标在文本抽取中列对齐不可靠，商业数字以正文为准。
• 作者解读：作者称MM-SafetyBench上优势更大，并称高ASR跨不同训练与对齐流程出现，利用的是共享的组合推理弱点。作者称FS、MM依赖把恶意内容藏进图像，JOOD依赖混合模式，MML依赖多阶段解密且会部分解码失败。
• 类别例外：作者称若干类别ASR高于0.94，并称有的格子达到1.00。Table 1的AC上三模型VROP为0.42、0.58、0.52。Table 1中LlaVA的FA：FS为1.00，VROP为0.94；其MM Overall为0.89，VROP为0.91。Table 2中Qwen的SX：MM为0.31，VROP为0.26。作者未解释这些格子。作者称FS与MM在MM-SafetyBench上mostly below 0.60；Table 2中LlaVA两者Overall均为0.60。

防御评测

• 测了什么：对VROP施加CIDER、JailGuard、ECSO、AdaShield-S、AdaShield-A。正文给出的模型为Qwen2-VL-7B-Instruct、LlaVA-v1.6-Mistral-7B、GPT-4o、Claude 3.7 Sonnet。论文未说明基准，也未给出No Defense在该图中的数字。
• 结果：按上述模型顺序，CIDER为0.90、0.72、0.58、0.51；JailGuard为0.85、0.71、0.55、0.50；ECSO为0.70、0.61、0.43、0.36；AdaShield-S为0.83、0.67、0.52、0.44；AdaShield-A为0.75、0.58、0.48、0.39（正文5.2.3，Figure 4）。
• 作者解读：作者称CIDER与JailGuard作用有限，因为攻击不依赖脆弱像素扰动或易被变异破坏的提示结构。作者称ECSO与两种AdaShield能降低ASR，但所测防御都不能完全缓解；并称商业模型上若干防御下ASR仍接近或高于0.50。Claude上ECSO为0.36、AdaShield-A为0.39，低于0.50。

模态消融

• 测了什么：Table 3比较完整VROP、去掉文本、去掉图像。论文未说明基准；VROP列与Table 1 Overall及正文SafeBench商业ASR数值相同。
• 结果：去掉文本后，七个模型依次为0.17、0.31、0.28、0.59对应行之外的GPT-4o 0.11、Claude 0.08、GLM-4V-Plus 0.27、Qwen-VL-Plus 0.29。去掉图像后为0.32、0.30、0.24、0.18、0.12、0.23、0.23。完整VROP列分别为0.91、0.91、0.92、0.59、0.60、0.93、0.95。
• 作者解读：作者认为任一模态单独都不足以复现完整效果；文本提供推理编排，图像提供绕过感知层对齐的语义块。

其他消融与分析

• 辅助T2I（Fig 5a，未写明基准）：SD 3、SD 1.4、Seedream 3.0、DALL·E 3上，Qwen为0.91、0.89、0.91、0.91；LlaVA为0.91、0.91、0.88、0.92；GPT-4o为0.59、0.61、0.65、0.64；Claude为0.60、0.60、0.64、0.62。
• 辅助LLM（Fig 5b，未写明基准）：GPT-4、Grok 3、Qwen3、Gemini 2.5上，Qwen为0.91、0.93、0.90、0.86；LlaVA为0.91、0.92、0.89、0.89；GPT-4o为0.59、0.65、0.61、0.59；Claude为0.60、0.62、0.60、0.61。
• gadget数量（Fig 7，未写明基准）：Qwen从1个的0.49到4个的0.91；LlaVA从0.62到3个的0.82，4个为0.91；Llama从0.41到3个的0.78，4个为0.92；GPT-4o从0.17到0.59；Claude从0.15到0.60。作者称4个之后增益变小，GPT-4o在5或6个时around 0.65，Claude near 0.62。
• 布局（Table 4，未写明基准）：2×2、1×4、4×1上，Qwen为0.91、0.83、0.78；LlaVA为0.91、0.79、0.82；GPT-4o为0.59、0.45、0.42；Claude为0.6、0.44、0.48。作者假设网格更利于跨区域整合。
• 单轮与多轮（Fig 8）：单轮对多轮，Qwen 0.91对0.90，LlaVA 0.91对0.93，GPT-4o 0.59对0.50，Claude 0.60对0.48。作者称商业模型多轮下降，并采用单轮为默认。该图未包含Llama、GLM-4V-Plus、Qwen-VL-Plus。
• Fig 6：论文展示不同T2I生成的gadget图；文本抽取看不到图像内容，不描述外观。附录A给商业模型示例，此处不复述。

作者指出的局限与后续方向

• 模态：评测限于image–text，向audio或video的泛化未探索（Limitations）。
• 分解：语义gadget构建依赖预定义分解策略；作者称这可能无法充分覆盖真实有害推理模式的多样性（Limitations）。
• 防御：作者在Conclusion称结果凸显需要more robust的多模态防御，并称可为未来多模态系统的对齐策略提供可操作参考。

实验覆盖范围

• 被测LVLM为3个开源模型与4个商业模型，共7个（5.1.2）。
• 基准为SafeBench（500条、10类）与MM-SafetyBench（13个场景）；攻击基线为FS、MM、JOOD、MML（5.1.1、5.1.3）。
• 防御评测包含CIDER、ECSO、JailGuard、AdaShield-S、AdaShield-A，模型为两个开源模型加GPT-4o与Claude 3.7 Sonnet（5.2.3、Figure 4）。
• 另有模态、辅助T2I与LLM、gadget数量1到6、三种布局、单轮对多轮（第6节）。人工审计为分层200条，Cohen's κ为0.92（5.1.5）。
• 论文未报告最终ASR评审模型名称、proxy safety classifier名称、δ的取值、查询次数与重复次数；Table 3、Table 4与Figure 5、7、8未写明基准。

VROP是black-box多模态越狱框架：不在输入中放显式恶意触发，而把有害目标拆成语义正交的良性视觉gadget，再用控制流提示词把合成留到后期推理。

• 问题：作者认为现有对齐主要拒绝输入表征中的有害模式，模型从良性前提合成有害逻辑的能力缺少保护。类比是系统安全中的ROP，但论文写明不操纵指令指针。
• 做法：辅助LLM分解意图，T2I加拒绝采样生成良性图像，padding网格隔离特征；GPT-4做无梯度进化。默认4个gadget、种群10、最多5轮。ASR要求回答给出可执行、具体且有帮助的有害信息。
• 开源：SafeBench上三模型VROP Overall为0.91、0.91、0.92（Table 1）；MM-SafetyBench上为0.79、0.80、0.78（Table 2）。类别并不一律更高，例如Table 2中Qwen的SX上MM为0.31、VROP为0.26。
• 商业：SafeBench上GPT-4o为0.59、Claude 3.7 Sonnet为0.60、GLM-4V-Plus为0.93、Qwen-VL-Plus为0.95。MM-SafetyBench上GPT-4o为0.78、Claude为0.43。作者称相对最强基线，开源平均ASR提升4.67%，商业模型提升9.50%。
• 消融与防御：Table 3中去掉文本或图像后ASR低于完整设置，例如GPT-4o从0.59到0.11与0.18。作者称所测防御都不能完全缓解。多轮下GPT-4o从0.59到0.50，Claude从0.60到0.48（Figure 8）。
• 作者结论：作者认为组合推理是LVLM的攻击面，感知层审核存在盲点，并称需要面向组合语义而非孤立输入的安全机制。评测限于图文。作者计划分享对抗数据集与VROP实现。