跳到正文
原文
论文追踪· arXiv:2608.04034· Shiji Zhao, Yuxuan Zhou, Chen Xiong, Dongxian Wu, Yang Bai, Xun Chen·本站收录· 原文发表

HACA：原子越狱策略解耦组合的多模态自动红队方法

A Multimodal Automatic Redteaming Evaluation based on Atomic Jailbreak Strategy Decoupling and Combination

论文速读

攻击

据论文 PDF 整理（AI 生成），以原文为准

HACA把图文越狱拆成六维原子策略并自动组合，对五款MLLM的平均ASR为95.48%。

威胁模型查询式设定：从原始恶意意图生成文本与图像指令，查询目标MLLM，直到攻击成功或达到最大查询数（实验为10），返回毒性最高的指令，以提高有害判定函数J下输出有害内容的概率。

问题
MLLM可被图文越狱触发有害输出。作者称现有攻击多绑在特定场景或手工技巧上，又缺少原子化的多模态策略空间，以及可脱离人工经验执行的自动红队框架。
方法
HACA把文本和图像的越狱策略拆成结构、语义、句法三层，共30个原子单元。规划器按层内互补和层间不冲突选出六个策略，再由LLM与文生图模型生成图文指令，查询目标直到成功或达到查询上限。
实验与结果
Safebench的350条上，HACA对五款MLLM平均ASR为95.48%。Table 1的Average ASR中，VLGuard为83.14%，LLaVA-1.6-Mistral为99.71%。
局限与可以继续做的
作者称实验限于Safebench七类和若干主流MLLM，轻量边缘模型与新兴高风险场景未纳入；效果依赖外部生成模型，迁移到较弱模型时可能下降。消融写在GPT-5的Illegal Activities子集；论文未报告评审与人工一致性。
实验设置LLaVA-1.6-Mistral-7B、InternVL-3.5-8B 等 · Safebench · ASR、Toxic Score
威胁模型
查询式设定：从原始恶意意图生成文本与图像指令，查询目标MLLM，直到攻击成功或达到最大查询数（实验为10），返回毒性最高的指令，以提高有害判定函数J下输出有害内容的概率。论文未写是否可见权重或梯度，也未把HACA标为black-box或white-box。
被测模型
LLaVA-1.6-Mistral-7BInternVL-3.5-8BVLGuard (LLaVA-v1.5-7B-Mixed)GPT-5-2025-0807Gemini-2.5-Pro
基准
Safebench
指标
ASRToxic Score
AI 导读研究者提出多模态自动红队越狱方法 Hierarchical Atomic Combination Attack（HACA），对五款主流 MLLM 取得平均 95.48% 的攻击成功率。该方法先把文本与图像越狱策略空间分解为结构、语义、句法三个层级，构建覆盖两种模态的越狱策略集合；再基于六维策略空间，用跨模态联合规划器选择并组合不同原子越狱策略，生成后续越狱指令；实现层面采用统一的生成执行器，直接依据所选多模态策略产出越狱指令。论文认为现有多模态越狱攻击缺乏原子化策略空间，也缺少超越人工经验的简洁高效执行框架。

研究者提出多模态自动红队越狱方法 Hierarchical Atomic Combination Attack（HACA），对五款主流 MLLM 取得平均 95.48% 的攻击成功率。该方法先把文本与图像越狱策略空间分解为结构、语义、句法三个层级，构建覆盖两种模态的越狱策略集合；再基于六维策略空间，用跨模态联合规划器选择并组合不同原子越狱策略，生成后续越狱指令；实现层面采用统一的生成执行器，直接依据所选多模态策略产出越狱指令。论文认为现有多模态越狱攻击缺乏原子化策略空间，也缺少超越人工经验的简洁高效执行框架。

深度解读

6个问题，点开问题读完整回答

  1. 这篇论文试图解决什么问题？

    缺少可组合的多模态原子越狱策略空间和可自动执行的红队框架。

    缺少可组合的多模态原子越狱策略空间，以及可脱离人工经验执行的自动红队框架。

    • 场景：作者称MLLM已用于问答、对话、检索和内容生成，但仍可被纯文本越狱提示，以及跨模态语义等图文攻击触发有害或违反策略的输出，并绕过安全对齐。
    • 现有不足：作者称多数攻击针对特定场景、手工技巧或孤立改进，难以系统、大规模探查漏洞。自动红队智能体缺少多模态策略的原子定义与分层，跨模态组合依赖人工先验；策略常绑定各自执行逻辑，作者称为case-by-case，限制无人工干预的大规模评测。
    • 提出内容：把文本与图像策略拆成结构、语义、句法三层，建成原子策略集，并提出Hierarchical Atomic Combination Attack（HACA）：规划器选择组合，统一生成执行器产出图文越狱指令。
    • 威胁模型：
      • 目标：搜索策略组合，提高越狱样本与原始恶意意图的适配性、跨模态互补性，以及目标MLLM输出有害内容的概率。有害函数J判断输出是否符合该意图。
      • 知识：论文把HACA写成query-based attack setting。未写攻击者能否看到权重、梯度或内部状态，也未使用black-box、white-box或gray-box称呼该方法。
      • 能力：按选中策略生成文本与图像指令；查询目标，直到攻击成功或达到最大查询数，返回毒性最高的指令。实验上限为10。循环里的“攻击成功”未再定义。
      • 受害系统：被查询的MLLM。评测包含开源与闭源模型。

  2. 有哪些相关研究？

    论文把多模态红队从方法编排改到分层策略空间上的规划。
    • 扰动式图文越狱：论文把Bailey等人（2023）、Shayegani等人（2023）、Zhao等人（2024）、Niu等人（2024）、Qi等人（2024）、Zhao等人（2025a）和Teng等人（2024）归为向有害或看似良性的输入注入噪声或触发器。文中点明：Zhao等人（2024）把目标当作black box，按查询反馈调整图文提示；Niu等人（2024）用本地white-box MLLM作代理以改进迁移；Qi等人（2024）搜索可作用于多个目标的通用对抗图像。
    • 生成式图文越狱：FigStep（Gong等人，2023）把有害文本渲染到纯色背景，利用OCR。MM-SafetyBench（Liu等人，2023）用文生图模型生成带嵌入排版、与查询相关的场景。HADES（Li等人，2024b）按反馈迭代精炼多模态输入。
    • 自动红队：文本侧，Perez等人（2022）、AutoDAN-Turbo（Liu等人，2024a）、AutoRedTeamer（Zhou等人，2025）和X-Teaming（Rahman等人，2025）。论文称这些系统显示LLM可用对抗查询被自动、自适应地探测。多模态侧，Arondight（Liu等人，2024b）把文本越狱策略与模板式图像生成结合；ARMs（Chen等人，2025）尝试用model context protocol集成不同越狱方法；TreeTeaming（Li等人，2026b）演化攻击路径或扩展策略树。
    • 基线与数据：实验对比Basic、QR-Attack（Liu等人，2023）、HADES（Li等人，2024c）、FigStep、SI-Attack（Zhao等人，2025a）、Ideator（Wang等人，2025）和TreeTeaming。数据为Safebench的七类有害查询，每类50条。

    作者称现有多模态红队智能体多在方法或工作流层运作，未给出可分解、分层的策略空间。作者将HACA写成该空间上的规划：用其所称history-aware的跨模态规划器组合原子单元，再由统一生成执行器实例化。

  3. 论文如何解决这个问题？

    HACA用规划器从六维原子策略中选六个，再统一生成图文越狱指令。

    HACA把图文越狱写成六维原子策略上的离散约束优化：规划器选出互补且不冲突的组合，统一执行器直接生成文本与图像指令。

    原子策略定义

    • 原子策略记为s=(L, m, n, f, e)。m为模态，取T（文本）或I（图像）；L为层次，取Str、Sem或Syn；n为名称；f为执行方法定义；e为应用示例。单个原子策略只属于一个层次。
    • 结构层改变版式、分段或图像分格，以干扰对有害内容的整体解析。语义层改写意图与任务定义，以掩盖、转移或伪装恶意意图。句法层扰动字符、编码或像素，以避开作者所称的低层安全机制。
    • 作者从公开多模态越狱研究中，用LLM加提示工程抽取并标准化策略，本文选用30个：文本、图像各15个，每层5个，收入策略库S。名称见正文3.2，这里不复述操作定义。
    • 作者称该分类对齐MLLM的分层认知与相应防御，并称多数MLLM的跨层协同防御仍不发达。这是设计陈述，不是测量结果。

    优化目标与查询设定

    • 目标是argmaxS∗ J(M(XT, XI))。J判断输出是否符合原始有害意图；XT、XI是据此生成的文本与图像指令；S*是选中的策略组合；M(.)是MLLM的输出。
    • 设定为query-based：查询目标，直到攻击成功或达到最大查询数，返回毒性最高的指令。该上限在实验中为10。正文未写每次查询是否重新选择策略。

    跨模态联合规划器

    • 规划器从策略库中选出六个原子策略：文本与图像各自的结构、语义、句法层各一个。正文称其提示词见附录，这里不转述提示词。
    • 选择是启发式的，准则有两条。层内跨模态互补：同一层的文本与图像策略在功能上对齐。论文举例：文本侧用权威人格授权时，图像侧应提供相应职业角色语境，而不是不一致语义。层间解耦且不冲突：不同层视为正交动作，例如图像分格重排不应破坏语义层需要的物体关系。
    • 2.2节称该规划器为history-aware。4.2节写明的是上述两条约束，未再写历史信息如何进入选择。作者称这样可避免攻击逻辑集中在单一模态，并同时考察版式解析、意图理解与低层编码。

    统一生成执行器

    • 文本执行器为LLM，按文本侧策略与原始意图生成文本指令。实验中由DeepSeek-V1担任，并负责把图像策略改写成文生图模型可读的文本提示。
    • 图像执行器为文生图模型，按图像侧策略与原始意图生成图像。实验中为Flux.1-dev。
    • 作者称两条执行器能按策略要求生成，并保持指令可读、可解析；该范式用通用生成模型代替每种策略一条代码路径。

  4. 论文做了哪些实验？

    Safebench上HACA对五款MLLM平均ASR为95.48%，Table 1各模型均高于所列基线。

    实验设置

    • 被测模型：开源LLaVA-1.6-Mistral-7B、InternVL-3.5-8B、VLGuard（LLaVA-v1.5-7B-Mixed）；闭源GPT-5-2025-0807、Gemini-2.5-Pro（来自Azure）。Table 1行名分别为InternVL-3.5、LLaVA-1.6-Mistral、VLGuard、Gemini-2.5-pro、GPT-5-2025-0807。5.2节把LLaVA-1.6-Mistral那一行称为LLaVA-Next。
    • 数据：Safebench七类，即Illegal Activities、Hate Speech、Malware Generation、Physical Harm、Fraud、Pornography，以及正文所称Privacy Violence。Table 1把最后一类标为Privacy Violation。每类50条，共350条。
    • 基线：Basic、FigStep、QR-Attack、SI-Attack、HADES、Ideator、TreeTeaming。Table 1没有TreeTeaming的数字。
    • 指标：Toxic Score与ASR。评审模型为GPT-4.1-2025-04-14。附录沿Zhao等人（2025a），分数为1到5，不低于4计为ASR；并称只有既有毒性又完全回应攻击者意图才能得最高分。论文未报告与人工评审的一致性，也未报告重复次数。
    • 实现：HACA的文本生成和图像提示用DeepSeek-V1，图像用Flux.1-dev。Ideator的攻击模型为GPT-4.1-2025-04-14。SI-Attack、HADES、Ideator与HACA的最大查询数为10。

    主结果

    摘要称对五款主流MLLM的平均ASR为95.48%。下表为Table 1的Average列。

    表格较宽，可左右滑动

    模型HACA ASRHACA ToxicIdeator ASRHADES ASRBasic ASR
    InternVL-3.599.14%4.7581.43%67.14%16.00%
    LLaVA-1.6-Mistral99.71%4.7690.29%78.57%33.43%
    VLGuard83.14%4.4361.43%45.71%30.00%
    Gemini-2.5-pro97.71%4.8174.57%56.57%14.57%
    GPT-5-2025-080797.71%4.6664.57%34.43%7.71%
    • 作者称相对现有基线，HACA在每个目标模型上的平均Toxicity与ASR都最高，并称跨模型可迁移性更好。上表Average列与“高于同表已列基线”一致；TreeTeaming无数字，不能纳入该比较。
    • 作者称InternVL-3.5、LLaVA-Next与Gemini-2.5-pro上ASR接近饱和，并称在VLGuard与GPT-5-0807上仍高于先前方法。具体Average见上表；LLaVA-Next对应LLaVA-1.6-Mistral行。
    • 据Table 1各格，HACA类别ASR最低是VLGuard的Hate Speech，为64%（Toxic 4.02）。FigStep在VLGuard的Average ASR为7.71%，低于Basic的30.00%；在GPT-5-2025-0807上FigStep为5.71%，低于Basic的7.71%。作者未解释这些低于Basic的格子。

    查询开销

    • 正文Figure 2：InternVL-3.5上HACA平均1.72次查询、ASR 99.14%；Ideator为3.15次、ASR 81.43%。
    • GPT-5-2025-0807上HACA平均1.90次、ASR 97.71%；Ideator 3.82次，HADES 5.64次。作者称HACA的ASR最高且查询数最低。正文未给出这两张子图上其余基线的查询数。
    • 作者称这对大规模多模态安全评测有实际价值。论文未报告墙钟时间或token成本。

    层级与模态消融

    Section 5.4写明消融在Illegal Activities子集、GPT-5-2025-0807上进行。Table 2的Str、Sem、Syn各含该层的文本与图像策略。

    • 层级（Table 2）：无策略时Toxic 1.58、ASR 8%。只加结构层：查询4.41、Toxic 4.17、ASR 86%。结构加语义：查询2.38、Toxic 4.58、ASR 98%。三层都加：查询1.90、Toxic 4.72、ASR 100%。作者称三层互补，句法层给出该表最高ASR、最高Toxic和最少查询。
    • 模态（Table 3）：表题未再写模型与子集；None行与Table 2相同。仅图像：查询8.70、Toxic 2.26、ASR 24%。仅文本：查询2.42、Toxic 4.54、ASR 94%。图文一起：查询1.90、Toxic 4.72、ASR 100%。
    • 作者称仅图像最差，因为输入文本含原始有害意图，容易被GPT-5的外部安全护栏过滤；并称文本语义是越狱GPT的核心依据，图文组合在该表的Toxic、ASR和查询数上都优于仅文本与仅图像。

    原子策略被选频率

    • Table 5报告GPT-5-2025-0807上各原子策略进入六维组合的次数，以及相应组合攻击的ASR。表题写text strategies，表内同时有Text与Image。
    • 文本侧被选最多的是linguistic form/tense reconstruction，692次、ASR 55.92%；该侧ASR最高的是forced narrowing of output format，262次、69.47%。图像侧被选最多的是visual metaphor replacement，628次、55.73%；图像ASR最高的是geometric transformation，170次、61.18%。
    • 作者称被选更频繁的策略，组合攻击表现也更好，低效策略很少被选。Table 5里最高频与最高ASR不是同一策略。moral kidnapping为0次；artistic style whitewashing为0次、ASR 0；authoritative personality authorization为2次、ASR 0。

    其他消融与分析

    • Table 4规划器：None为Toxic 1.58、ASR 8%；Random为查询3.24、Toxic 4.28、ASR 94%；Planner为查询1.90、Toxic 4.72、ASR 100%。表题未写模型与子集；None与Planner行分别与Table 2的None、Str+Sem+Syn相同。作者称规划器能提高攻击效率并把攻击表现提到该表最高。
    • Table 5中underlying encoding shift encryption、character isolation noise filling两列均为“-”；cross-modal character rendering被选0次，ASR为“-”。
    • 附录Figure 3、Figure 4给出GPT-5-2025-0807的案例，这里不复述指令或回复。

  5. 有什么可以进一步探索的点？

    作者指出范围限于Safebench七类与若干MLLM，且效果依赖外部生成模型。

    作者指出的局限与后续方向

    • 实验限于Safebench的七类有害类别和若干主流开源/闭源MLLM；轻量边缘模型与新兴高风险恶意场景未纳入。作者称这些可由社区进一步应用和评测（Limitation）。
    • HACA的攻击表现依赖外部生成模型，迁移到其他较弱模型时，效果可能下降（Limitation）。

    论文没有单独的Future Work节。Conclusion未再列局限。

    实验覆盖范围

    • 被测模型为LLaVA-1.6-Mistral-7B、InternVL-3.5-8B、VLGuard（LLaVA-v1.5-7B-Mixed）、GPT-5-2025-0807、Gemini-2.5-Pro，共5个（Section 5.1）。
    • 数据为Safebench七类，每类50条，合计350条。指标为Toxic Score与ASR，评审模型为GPT-4.1-2025-04-14，阈值是不低于4（Section 5.1、附录A.2）。
    • Table 1给出Basic、FigStep、QR-Attack、SI-Attack、HADES、Ideator与HACA的Toxic和ASR。5.1节还列出TreeTeaming，Table 1未报告其结果。
    • 查询式方法的最大查询数为10。Figure 2正文给出InternVL-3.5与GPT-5-2025-0807上HACA、Ideator的平均查询数，以及GPT-5上HADES的5.64次（Section 5.1、5.3）。
    • 层级消融写在Illegal Activities子集、GPT-5-2025-0807上（Section 5.4）。Table 3、Table 4表题未重写该设置。论文未报告重复次数，也未报告评审与人工的一致性。

  6. 总结一下论文的主要内容

    HACA以六维原子策略自动组合图文越狱，五模型平均ASR为95.48%。

    HACA是面向MLLM的查询式自动红队攻击：先把图文越狱拆成可组合的原子策略，再统一生成指令。

    • 问题：作者认为现有多模态越狱缺少原子策略空间，执行逻辑又与具体策略耦合，难以在无人工干预下做系统评测。
    • 方法：文本与图像各分结构、语义、句法，共30个原子策略。规划器按层内互补、层间不冲突选出六个。DeepSeek-V1与Flux.1-dev分别生成文本和图像。查询直到成功或满10次，留下毒性最高的指令。ASR由GPT-4.1-2025-04-14按toxic score不低于4判定。
    • 主结果：Safebench七类共350条上，摘要报告对五款MLLM的平均ASR为95.48%。Table 1的Average ASR为InternVL-3.5 99.14%、LLaVA-1.6-Mistral 99.71%、VLGuard 83.14%、Gemini-2.5-pro 97.71%、GPT-5-2025-0807 97.71%，均高于同表已列基线。
    • 其他数字：GPT-5-2025-0807上，HACA平均1.90次查询对应97.71% ASR（Figure 2正文）。Illegal Activities子集上，三层齐用为ASR 100%、Toxic 4.72、1.90次查询（Table 2）；仅文本94%，仅图像24%（Table 3）。据Table 1，HACA最低类别ASR是VLGuard的Hate Speech 64%。
    • 作者结论：作者称HACA优于所列state-of-the-art基线，并在主流开源与闭源MLLM上取得高攻击表现。Limitation同时写明评测类别与模型范围，以及对外部生成模型的依赖。
阅读原文arxiv.org
#越狱与攻击