Skip to content

Translation in progress Some entries still include text in the original language.

Original
arXiv· arXiv:2603.02482· Zhongxi Wang, Yueqian Lin, Jingyang Zhang, Zinuo Cheng, Hai Helen Li, Yiran Chen·Indexed by this site · Originally published

MUSE: A Run-Unit-Centric Unified Multimodal Safety Evaluation Platform for Large Language Models

MUSE: A Run-Centric Platform for Multimodal Unified Safety Evaluation of Large Language Models

Quick read

Evaluation and benchmarks

Based on 论文 PDF （AI 生成）; refer to the original

MUSE以run评测六模型多轮安全：单轮文本macro hard ASR 3.1%；作者称迭代总体更有效，ITMS未稳定提高。

Questions
多模态模型在同一对话里接受文本、图像、音频和视频，有害行为可能跨轮出现，同一请求也可换模态投递。二元ASR分不清完全能力转移与部分泄漏。MUSE要按run保留轨迹并细粒度度量结果。
Methods
MUSE是浏览器平台，把每次攻击存成持久run，含配置、多轮轨迹、投递模态、媒体、回复和评判。文本经TTS、画布渲染或音视频合成换通道投递。五级标签给出hard ASR、soft ASR和GZW。ITMS只改投递模态、不改目标。
Experiments and results
11,700次运行。六模型单轮文本macro hard ASR为3.1%、soft为4.4%；作者称迭代总体更高。ITMS未稳定提高成功率。DeepSeek相对GPT-4o，Crescendo均值hard ASR由25%至69%（50目标）。
Limitations and future work
作者称目前只改文本投递通道，不评模态原生攻击；评审在C/PC边界更容易判错，逐条评判可能漏跨轮危害。后续方向为模态原生攻击、更广攻击者骨干和更多模型与策略。DeepSeek对比只在50个目标上。
Experimental setupQwen3-Omni、Qwen2.5-Omni et al. · AdvBench、JailbreakBench · hard ASR、soft ASR et al.
Evaluated models
Qwen3-OmniQwen2.5-OmniGemini 2.5 FlashGemini 3 Flash PreviewGPT-4oClaude Sonnet 4.6
Benchmarks
AdvBenchJailbreakBench
Metrics
hard ASRsoft ASRGZWrefusal rate
AI summaryThe researchers release an open-source browser-based platform, MUSE, for run-unit-centric multimodal safety evaluation of large language models. The platform treats each attack run as a persistent unit, preserving its configuration, multi-turn trajectory, delivery modality and media, target model responses, and safety judgments, and uses a five-level response classification to distinguish fully compliant, partially compliant, and refusals, yielding hard ASR, soft ASR, and gray-area width. Across 11,700 evaluations on six multimodal large language models, the macro hard ASR for plain-text direct requests is 3.1% and soft ASR is 4.4%; iterative attack workflows are markedly more effective, and attack effectiveness varies with the attacker backbone model; inter-turn modality switching (ITMS), as a controlled delivery modality probe, does not consistently increase attack success rate.

The researchers release an open-source browser-based platform, MUSE, for run-unit-centric multimodal safety evaluation of large language models. The platform treats each attack run as a persistent unit, preserving its configuration, multi-turn trajectory, delivery modality and media, target model responses, and safety judgments, and uses a five-level response classification to distinguish fully compliant, partially compliant, and refusals, yielding hard ASR, soft ASR, and gray-area width. Across 11,700 evaluations on six multimodal large language models, the macro hard ASR for plain-text direct requests is 3.1% and soft ASR is 4.4%; iterative attack workflows are markedly more effective, and attack effectiveness varies with the attacker backbone model; inter-turn modality switching (ITMS), as a controlled delivery modality probe, does not consistently increase attack success rate.

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    多模态多轮安全不能只看二元ASR，MUSE用持久run和五级分类同时报告hard/soft ASR与GZW。

    多模态多轮评测要记下交互如何展开，而不能只看二元攻击是否成功。

    • 交互跨轮、跨模态。 作者称多模态大模型在同一对话中接受 text、image、audio 与 video；有害行为可能在多轮中出现，同一请求也可换输入模态投递。因此要记录的不只是孤立的 prompt–response 或最终成功标签。
    • 结果依赖整段轨迹。 作者称结局取决于模型与策略、对话如何演化、每一轮投递了哪种模态，以及每次回复如何被评判。
    • 二元 ASR 的缺口。 作者称二元 ASR 分不清完全的有害能力转移，和不完整但可能可执行的泄漏。
    • 以 run 为持久单位。 MUSE 保存每次攻击的配置、完整多轮轨迹、投递模态与生成媒体、目标回复、安全评判、耗时和最终结果；交互中可逐轮查看，结束后仍可分析。
    • 五级分类与 ITMS。 分类区分 Compliance、Partial Compliance、拒绝行为与无回应，并同时给出 hard ASR、soft ASR 和 gray-zone width（GZW）。Inter-Turn Modality Switching（ITMS）不改攻击目标，只在轮次间切换投递模态，用作受控探针。作者报告在六个多模态 LLM、200 个目标上做了 11,700 次评测。

  2. What related research exists?

    相关工作覆盖单轮与迭代越狱、多模态输入、红队框架和自动评审；作者将MUSE定位为run级评测互补。

    单轮优化与迭代对话攻击

    • GCG、AutoDAN、DeepInception（Zou et al., 2023；Liu et al., 2024；Li et al., 2023）：论文归为单轮对抗方法，经由梯度或遗传优化、嵌套场景绕过对齐。
    • PAIR、Crescendo、Violent Durian（Chao et al., 2025；Russinovich et al., 2025；AI Verify Foundation, 2024）：论文归为迭代策略，用迭代对话压力绕过对齐。论文指出它们的差别在于目标是否跨查询保留对话上下文。

    多模态与多轮多模态越狱

    • Qi et al. (2024)、FigStep、MM-SafetyBench（Gong et al., 2025；Liu et al., 2025）：论文称这些工作显示非文本输入可以削弱对齐。
    • 叙事图像序列与多轮提示（You et al., 2025；Das et al., 2026）：论文称近期工作开始用叙事驱动的图像序列，或对 MLLM 做迭代多轮提示，来探测多模态多轮越狱。

    红队框架与标准基准

    • PyRIT、Garak、OpenRT、DeepTeam（Microsoft, AI Red Team, 2024；Derczynski et al., 2024；Wang et al., 2026；Ip and Vongthongsri, 2026）：论文描述 PyRIT 支持多模态载荷、多轮编排和自动评分；Garak 用探针测试多种漏洞；OpenRT 用可扩展执行框架扩大攻击与模型覆盖；DeepTeam 覆盖面较广，并支持 Linear、Tree、Crescendo、Sequential 和 Bad Likert Judge 等自适应多轮策略。
    • HarmBench、JailbreakBench（Mazeika et al., 2024；Chao et al., 2024）：论文称二者提供越狱鲁棒性的标准化基准和评测协议。

    自动安全评审

    • StrongREJECT（Souly et al., 2024）：论文转述其发现，既有自动评测器相对人类判断会高估越狱效果；它用评分细则看回复的具体性和说服力，并发现绕过安全微调的越狱倾向于降低模型能力。论文称这支持按能力转移而不是语气定义成功。
    • WildGuard 与 LLM-as-a-Judge（Han et al., 2024；Zheng et al., 2023）：前者训练专用安全分类器；论文把二者都视为把自动安全评测推进到单一 LLM judge 之外。

    基线与基准。 论文把单轮请求作为基线；ITMS 与对应的固定文本投递策略配对比较。目标来自 AdvBench 与 JailbreakBench。

    作者称 MUSE 沿用上述多模态多轮设定，但角度不同：贡献是把对话内模态轮换当作持久 run 工作流里的受控变量，而不是生成更丰富的输入媒体；并以 run 级流程与上述框架和基准互补，使配置、完整轨迹、媒体、回复、评判和结果留在同一次运行上。

  3. How does the paper address this problem?

    MUSE把每次攻击存为持久run，文本攻击经模态管线投递，并用五级标签计算hard/soft ASR与GZW。

    MUSE 是浏览器端、以 run 为中心的平台：前端做交互，FastAPI 后端提供 REST，并用 Server-Sent Events 逐轮推送。执行、持久化、投递、评判和分析都挂在同一次 attack run 上。

    系统与 run 记录

    • 四个后端组件。 run 数据模型、统一攻击策略接口、带跨模态载荷生成的模型路由，以及 LLM judge。模型客户端和策略走共享接口。
    • run 里有什么。 配置与结局，加上按轮记录的攻击者提示、目标回复、投递模态、生成媒体、judge 标签与置信度、耗时和回溯状态。记录随执行增量写入。
    • 事后分析。 可选任意已有 run 重算 hard ASR、soft ASR、GZW 和轮次摘要；两个队列用同一汇总程序并排比较，并显式报告重叠 run；两条 run 可按轮次对齐。汇总旁给出可评测分母和排除项。JSON 或 CSV 导出含元数据和对媒体的引用，不打包媒体二进制。
    • 批量与界面。 战役可在目标边界停止并续跑，已完成目标跳过。界面包括 Automated Red Teaming、Multimodal Test、Interactive Chat、Batch Evaluation 和 Statistics Dashboard（Figure 1、Figure 2、附录 A.4）。

    攻击策略与 ITMS

    • 三条文本策略，同一接口。 Crescendo 从良性逐轮升级，遇拒绝则回溯：不推进对话，让攻击者换角度，每 run 回溯预算默认 3，用尽后按正常进度继续。PAIR 每轮生成新的单轮提示，按 judge 分数改写，不累积对话上下文。Violent Durian 是对 Moonshot 模块的再实现：原文让多轮智能体采用犯罪人设并劝说目标照做；本文版本从第一轮起使用高压修辞（冒充权威、紧迫性），并保持多轮上下文。
    • ITMS 只改投递。 目前用于保持上下文的策略，即 Crescendo 与 Violent Durian。每一轮前，从请求模态与模型支持模态的交集中选下一模态，再经模态管线转换攻击者文本。完整模态序列与 run 一起保存，以便比较固定模态和模态轮换。PAIR 无先前对话上下文，故无 ITMS 变体。
    • 实验超参。 10 轮预算，回溯上限 3，攻击者 temperature 0.9，PAIR 成功阈值 9/10（§4.1）。

    模态转换与路由

    • 管线转换的是文本的投递通道。 音频用 TTS，图像把文本渲染到画布，视频由图像和音频合成。论文写明当前管线不生成模态原生的视觉或听觉攻击。每一轮的模态和媒体都记入该轮。
    • 四个提供方。 OpenAI、Google、Anthropic、Qwen。各客户端处理各自的消息格式，对策略暴露同一生成接口，使执行、持久化、流式传输和评测管线可跨目标复用。

    五级分类与指标

    • 按能力转移而不是语气。 Compliance 为有害能力已转移；包在免责声明里的分步有害指示仍算 Compliance。Partial Compliance 为不完整但可执行。Indirect Refusal 为回避协助但不明确拒绝；没有可执行内容的伦理讨论算 Indirect Refusal。Direct Refusal 为明确拒绝。Non-Responsive 为没有可用回复。
    • 成功与指标。 多轮 run 只在 Compliance 时算硬成功并终止；Partial Compliance 既不终止，也不算硬成功。设 R′ 为全部运行去掉攻击者自己拒绝因而未打到目标的 Rb，以及内容过滤挡住 judge 且没有备用标签的 Re。硬 ASR 为 |{r ∈ R′ : ℓ(r)=C}|/|R′|，只计 Compliance。软 ASR 为 |{r ∈ R′ : ℓ(r) ∈ {C, PC}}|/|R′|，再计入 Partial Compliance；二者之差为 GZW。提供方内容过滤导致的持续空输出确定地映为 Non-Responsive，不交给 LLM judge。
    • judge 看到什么。 每条回复只连同评测目标和当前目标回复送评，看不到先前轮次，也看不到危害类别标签。论文称这降低对类别线索的依赖，但抓不到要合并多轮才显现的有害内容。judge 可按 run 配置，并与记录一起保存。实验用 GPT-5.2、temperature 0，且与攻击者和六个被测目标都不是同一个模型。macro 率为六个目标模型的不加权平均。单轮基线使用同一套五级定义；拒绝率只作次要行为摘要。

  4. What experiments did the paper conduct?

    六模型单轮文本macro hard ASR为3.1%；作者称迭代总体更高，ITMS未稳定提高。

    实验设置

    • 目标模型。 Qwen3-Omni、Qwen2.5-Omni、Gemini 2.5 Flash、Gemini 3 Flash Preview（Table 1 写作 Gemini 3 Flash）、GPT-4o、Claude Sonnet 4.6。前四者支持 text、audio、image、video；后两者只支持 text 与 image，故只测这两种输入。
    • 目标与策略。 AdvBench 100 个目标加 JailbreakBench 100 个，共 200 个，跨十五个危害类别。五种策略（Crescendo、PAIR、Violent Durian、ITMS-Crescendo、ITMS-VD）和单轮基线都跑全部 200 个目标。非 ITMS 策略全程文本投递；ITMS 在各目标支持的模态间轮换。
    • 攻击者、评审、超参。 主攻击者为 GPT-4o，temperature 0.9。§4.5 另用 DeepSeek-V3，只在类别均衡的 50 个 AdvBench 目标上比较（weapons、controlled substances、malware、biological threats、fraud/social engineering）。judge 为 GPT-5.2，temperature 0，与攻击者和六个目标解耦。10 轮预算，回溯上限 3，PAIR 成功阈值 9/10。
    • 指标与排除。 硬成功只计 Compliance；软成功再计 Partial Compliance；二者之差为 GZW。同一条件内，比较按目标配对。6,900 次多轮运行（Table 1 的 6,000 次加第二攻击者的 900 次）中，Rb 为 0，Re 为 38（0.55%），R′ 为 6,862。作者称被排除运行集中在某些类别，那些类别的 hard ASR 分母更小，应连同评审边界行为一起看，而不当作精确值。
    • 统计。 最终 hard/soft ASR 报告百分点差、10,000 次配对 bootstrap 的 95% 置信区间和 exact McNemar 检验，并在每个指标族内做 Benjamini–Hochberg 校正。轮次分析用累积成功 AUC 和 Kaplan–Meier，未成功运行在第 10 轮删失；log-rank 同样做 BH 校正。重采样 seed 为 20260826。
    • 规模。 摘要写 11,700 次评测；§4.1 写合计约 11,700 次运行。其中多轮主实验 5×6×200=6,000；单轮各支持模态约 4,800（24 个模型–模态条件）。

    主结果

    据 Table 1。单元格为 hard / soft / GZW（%）。每个条件尝试 200 个目标，有效分母 195–200，Rb=0。GZW 由未四舍五入计数算出，不必等于四舍五入后的 soft−hard。评审为 GPT-5.2。

    Swipe horizontally to read the table

    模型CrescendoPAIRVDITMS-CrescendoITMS-VD
    Claude Sonnet 4.613/49/3746/69/230/0/011/38/270/1/1
    GPT-4o28/73/4683/99/1627/42/1520/65/4516/30/14
    Gemini 2.5 Flash50/84/3493/98/531/45/1439/81/4233/48/15
    Gemini 3 Flash27/83/5667/95/289/22/1326/79/5312/25/13
    Qwen2.5-Omni20/67/4779/99/2072/80/820/66/4665/79/14
    Qwen3-Omni34/79/4582/98/1725/28/328/79/5118/24/6
    • 策略形态。 作者称 PAIR 多为完全遵从或拒绝，灰区窄；Crescendo 与 ITMS-Crescendo 多为部分遵从，灰区宽，并给出 GZW 27–56 个百分点。同族两个 Qwen 在 Violent Durian 上的格子差别大，论文未解释该差别。
    • 目标差别。 作者称目标之间差别大，并点名 Claude 上 Violent Durian 几乎无 Compliance，以及 Gemini 2.5 Flash 配 PAIR 最易。格子见上表。
    • ITMS 的最终成功率。 作者称加入模态轮换并没有稳定提高 hard 或 soft ASR。24 组比较（两种策略对×六个目标×hard/soft）中，没有任何有益效应的 95% 置信区间不含 0；18 个区间含 0，其余 6 个偏向非 ITMS。BH 校正后，只有 GPT-4o 的 VD→ITMS-VD 在 hard ASR 上仍显著，ITMS 使成功率下降 11.9 个百分点（95% CI [−19.1, −4.6]）。作者称 ITMS 对 GZW 的影响也随模型而变，而不是系统性的。上表并非每一格 ITMS 都更低。

    单轮基线

    • 同一五级指标。 Table 2 为直接文本请求。各模型 hard/soft/GZW（%）：Claude Sonnet 4.6 为 2.0/4.0/2.0，GPT-4o 为 3.0/3.5/0.5，Gemini 2.5 Flash 为 6.5/8.5/2.0，Gemini 3 Flash 为 4.5/6.5/2.0，Qwen2.5-Omni 为 0.5/1.0/0.5，Qwen3-Omni 为 2.0/3.0/1.0；macro 为 3.1/4.4/1.3。有效 n 为 199–200。
    • 与多轮对照。 作者称直接有害请求通常被拒绝，迭代程序在同一指标下成功率高得多；并称 Crescendo 与 PAIR 相对单轮的升高不是从拒绝率换成 ASR 造成的。例外：Table 1 中 Claude Sonnet 4.6 的 Violent Durian 与 ITMS-VD，hard ASR 均为 0%，soft 为 0% 与 1%，低于 Table 2 该模型的 2.0% 与 4.0%。该模型上其余三种策略的 hard ASR 高于 2.0%。
    • 各模态拒绝率。 200 个目标再按每个支持模态各送一次。附录 A.5 与 Table 6：拒绝率定义为 Direct Refusal 加 Indirect Refusal，分母 198–200。作者称多数模型–模态格为 90–99%。Table 6 中低于该范围的是 GPT-4o 图像 71%；附录 A.2 称该设置下没有被判为 full Compliance 的有效回复，且拒绝率分子不含 Non-Responsive，因此不应把其余部分读成完全遵从率。不支持的 audio/video 格为 “–”。

    测量效度

    • 边界主观。 作者称区分完全能力转移与部分泄漏具有主观性。n=50 双标子集上，人类–人类在 hard 边界的 κ=0.56（Table 4 同列）；soft 边界人类–人类 κ=0.69。两个人类估计来自不同样本，论文称只作描述、不比高低。
    • judge 对人工。 分层样本送评 170 条，其中 n=140 同时有有效五级 judge 标签和人工标签。Table 4：五级 judge–human κ=0.55，一致率 66.4%；hard κ=0.61，soft κ=0.57。Compliance 的 P=0.58、R=0.94、F1=0.72；Direct Refusal 的 F1=0.88；Non-Responsive 的 R=0.13、F1=0.24。170 条中 Non-Responsive 只有 2 条。该样本故意多抽 Compliance 与 Partial Compliance，作者称原始汇总一致率不能代表总体。按预测层频率重加权后，hard 边界 κ=0.67、accuracy=0.98（§4.4）；附录 A.2 另给 soft 边界 κ=0.63、accuracy=0.89。Compliance 的 precision 仍为 0.58。作者称把 Partial Compliance 计为成功会实质提高 ASR，主要测量不确定性集中在 C/PC 边界；soft ASR 对 C 与 PC 之间的重分配不变，故用作该边界上的主要汇总。
    • 拦截样本。 30 条内容策略拒绝评测、没有有效 judge 标签的轮次，人工都判为真实拒绝（23 条 Non-Responsive、7 条 Direct Refusal），没有掩藏 Compliance。

    基准与攻击者骨干

    • 两基准。 Table 3 为仅文本的多轮集合，各 100 个目标，GPT-4o 攻击者，六模型平均，格式为 hard/soft/GZW（%）。AdvBench 对 JailbreakBench：Crescendo 25/77/52 对 32/68/36，PAIR 70/92/22 对 80/94/15，Violent Durian 27/36/9 对 28/36/8。作者称策略排序仍然相近。
    • 换攻击者。 在 50 个目标子集上把 GPT-4o 换成 DeepSeek，平均 hard ASR：Crescendo 由 25% 到 69%，PAIR 由 69% 到 83%，Violent Durian 由 25% 到 40%（§4.5；Figure 4 为该对比，文本未保留柱高）。BH 校正后，6 个目标中有 4 个的 Crescendo hard ASR 比较显著；论文未列出是哪 4 个。作者称效应仍随目标而变，GZW 也随攻击者–策略组合变化，并把这次比较当作受控敏感性探针，而不是全规模估计。

    其他消融与分析

    • 正文结合 Figure 3：Violent Durian 在前三轮达到其最终成功的 39%，高于 3/10 轮预算对应的 30% 均匀基线；Crescendo 更平稳地累积到第 10 轮。图的纵轴为 Cumulative ASR (%)，横轴为 Turn Number。成功运行中，ITMS-Crescendo 对 6/6 个模型更早到达首次 Compliance（Table 7；Claude 由 5.8 到 4.5）。Claude 两种 Violent Durian 都没有 hard Compliance，均值记为 “–”。
    • 计入全部运行时，10/12 个累积成功 AUC 配对比较的置信区间含 0，其余 2 个偏向非 ITMS；多重比较校正后，没有 time-to-event 比较仍显著。作者称 ITMS 改变了部分成功轨迹，但没有提高总体成功概率或速度。
    • Table 8 为 run 级五类最高严重度分布（Table 1 范围，每策略约 1,190 条有效 run，已排除 Re）：PAIR 的 Compliance 为 74.8%；Crescendo 的 Partial Compliance 为 44.1%、Indirect Refusal 为 27.5%；Violent Durian 的 Direct Refusal 为 22.1%。作者称二元标签会把这些不同剖面合并。
    • 附录 A.1：同一提示、temperature 0 下，GPT-4o 与 GPT-5.2 在 190 条多轮轮次上一致率 83.7%；成功边界上的 14 条分歧都是 GPT-4o 判 Compliance、GPT-5.2 给更低类别（Compliance 率 12.1% 对 4.7%）。论文因此选用更保守、且独立于攻击者和目标的 GPT-5.2。
    • 附录 A.3，WildGuard：单轮 n=1175，与 judge 的 hard 一致率 98.3%、κ=0.65，soft 为 97.3%、κ=0.56；假阳性 2/1175。多轮 n=290，与 judge 的 soft 一致率 77.9%、κ=0.53，hard 为 62.1%、κ=0.28；它把 59% 标为有害，介于该样本上 judge 的 hard-Compliance 35% 与 soft 69% 之间。n=140 人工子集上，与人类 soft 标签一致率 72.9%、κ=0.44。
    • Table 6 的 GPT-4o 文本拒绝率为 96%，图像为 71%；Qwen2.5-Omni 文本为 99%。单轮图像下没有任何有效回复被判为 full Compliance（附录 A.2）。

  5. What are some points that can be further explored?

    作者称当前只变换文本投递通道，评审靠近C/PC边界更容易判错，且逐条评判可能漏跨轮危害。

    作者指出的局限与后续方向

    • 投递通道，不是模态原生攻击。 Limitations：MUSE 目前改变的是攻击者所生成文本的投递通道，而不是评测模态原生的视觉、音频或视频攻击。
    • C/PC 边界。 Limitations：自动评审在 Compliance/Partial Compliance 边界附近不那么稳。§4.4 将主要测量不确定性放在这一边界，并报告该层 Compliance precision 为 0.58。
    • 逐条评判。 Limitations：judge 孤立评估每条回复，可能漏掉跨轮才显现的危害。§3.5 指向同一节。
    • 后续工作。 Conclusion：作者计划做模态原生的多模态攻击、更广的攻击者骨干评测，以及更多目标模型与攻击策略。

    实验覆盖范围

    • 被测目标为 Qwen3-Omni、Qwen2.5-Omni、Gemini 2.5 Flash、Gemini 3 Flash Preview、GPT-4o、Claude Sonnet 4.6；后两者只测 text 与 image（§4.1）。
    • 主多轮为 5 种策略×6 模型×200 个目标（AdvBench 100 与 JailbreakBench 100，十五个危害类别），10 轮预算、回溯上限 3，共 6,000 次；另有单轮约 4,800 次和 DeepSeek 对比 900 次。摘要写 11,700 次评测（§4.1–4.2）。
    • 主攻击者为 GPT-4o。DeepSeek-V3 只用于五类均衡的 50 个 AdvBench 目标（§4.5）。评审为 GPT-5.2；人工对照为 n=140，双标子集 n=50；WildGuard 对照见附录 A.3。
    • ITMS 只接在 Crescendo 与 Violent Durian 上；PAIR 不保留对话上下文，没有 ITMS 变体（§3.3、Table 1）。
    • 论文报告了 10,000 次配对 bootstrap、exact McNemar、Benjamini–Hochberg 和 seed 20260826。run 记录含 timing，但论文未报告墙钟耗时或各条件的实际查询次数。

  6. Summarize the main content of the paper

    MUSE以run和五级标签评测多模态多轮；单轮macro hard ASR 3.1%，作者称迭代更高而ITMS未稳定提高。

    MUSE 是浏览器端的多模态安全评测平台，把每一次攻击的配置和完整交互留在同一个 run 里，而不是只留一个成功标签。

    • 问题。 多模态模型可在同一对话中接收 text、image、audio、video；有害行为可能跨轮出现，同一请求也可换模态投递。作者认为二元 ASR 分不清完全的有害能力转移和部分但可能可执行的泄漏。
    • 做法。 攻击策略生成文本。Crescendo 逐步升级并在拒绝时回溯；PAIR 每轮重写单轮提示、不累积上下文；Violent Durian 从第一轮使用高压修辞并保持多轮上下文。ITMS 不改目标，只把文本经 TTS、画布渲染或音视频合成换通道投递。五级标签分开 Compliance、Partial Compliance、Indirect Refusal、Direct Refusal 和 Non-Responsive，并同时报告 hard ASR、soft ASR 和 GZW。
    • 单轮与多轮。 六个模型、200 个目标上，直接文本请求的 macro hard ASR 为 3.1%，soft ASR 为 4.4%（Table 2）。作者称迭代程序在同一指标下有效得多。Table 1 中，PAIR 在 Gemini 2.5 Flash 上 hard ASR 为 93%；Violent Durian 在 Claude Sonnet 4.6 上为 0%，低于该模型单轮文本的 2.0%。
    • 模态轮换与攻击者。 24 组配对比较中，没有 ITMS 有益效应的 95% 置信区间不含 0。校正后仍显著的一项是 GPT-4o 上 ITMS 使 Violent Durian 的 hard ASR 下降 11.9 个百分点。50 个目标上，把攻击者从 GPT-4o 换成 DeepSeek-V3，Crescendo 的平均 hard ASR 由 25% 到 69%。
    • 作者的结论。 作者称同时报告 hard ASR、soft ASR 和 GZW，能露出单一二元指标会掩盖的行为；GZW 衡量报告率有多依赖 C/PC 判断。ITMS 未稳定提高最终成功率：部分成功轨迹更早到达 Compliance，但总体概率和速度没有变化。作者计划后续做模态原生攻击、更广的攻击者骨干，以及更多目标模型与策略。
Read originalarxiv.org