跳到正文
原文
arXiv：危险能力与安全评测· arXiv:2610.19384· Yuke Wang, Benlei Cui, Shen Pang, Xuemei Dong, Longtao Huang, Hui Xue, Yuwen Zhai, Junjie Li, Jingqun Tang, Haiwen Hong·本站收录· 原文发表精选关注度42

MMA-SafetyBench：多模态 Agent 安全评测基准

MMA-SafetyBench: A Benchmark for Multimodal Agent Safety Evaluation

论文速读

评测与基准

据论文 PDF 整理（Gemini 生成），以原文为准

作者评测九个视觉智能体，GLM-4.6V在Video域ASR达87.96%，全模型宏平均ASR为55.20%。

问题
多模态智能体依赖视觉界面感知状态并执行操作，面临视觉语义劫持（Visual Semantic Hijacking）风险：伪造系统弹窗等欺骗性视觉元素会诱导智能体背离授权任务执行恶意指令，而纯文本安全评估无法覆盖此攻击面。
方法
作者提出轨迹引导构建流程，在多步轨迹中定位注入点并插入固定的上下文匹配视觉载荷，构建包含1,083条对抗轨迹的MMA-SafetyBench基准，涵盖Web、GUI、移动、文档和视频五大领域，并提出结合目标命中与语义受损的1-3-5评分机制。
实验与结果
九个模型在45个模型-域对上的宏平均ASR为55.20%，GLM-4.6V在Video域ASR达87.96%、GUI域SCR达98.09%。中性提示使宏平均ASR降至50.60%，安全优先提示使宏平均ASR降至19.54%，但未能消除攻击。
局限与可以继续做的
作者指出基准测量受控攻击易感性而非部署发生率；固定载荷排除自适应攻击与生产端UI强制校验；GPT-5裁判对临界判定可能存在分歧；安全优先提示无法核验渲染内容源头，仍需评估可信渲染与外部权限强制机制。
实验设置GPT-5、Claude 4.5 Sonnet 等 · MMA-SafetyBench、VisualWebArena 等 · ASR、SCR 等
被测模型
GPT-5Claude 4.5 SonnetGemini 3 ProSEED-1.8Llama-3.2-11B-VisionInternVL3-38BKimi-K2.5Qwen3-VL-32BGLM-4.6V
基准
MMA-SafetyBenchVisualWebArenaOSWorldOS-SentinelCORDLVBench
指标
ASRSCRClean-task success
AI 导读和推荐理由阿里巴巴 Yuvion 团队等研究者提出 MMA-SafetyBench，用 1,083 条跨五类环境的对抗轨迹评测多模态 Agent 的视觉语义劫持。该基准在 Web 自动化、桌面 GUI、移动导航、文档理解和视频处理环境中，向 Agent 观测流注入与上下文匹配的固定视觉载荷，如伪造系统弹窗、权限对话框和文档印章。九个视觉语言模型（含 GPT-5、Claude 4.5 Sonnet、Gemini 3 Pro，以及 Qwen3-VL-32B、GLM-4.6V 等开源权重模型）中最高 ASR 为 87.96%，SCR 最高 98.09%，后者用于区分命中攻击目标与仅造成语义破坏但未命中目标的情况。

阿里巴巴 Yuvion 团队等研究者提出 MMA-SafetyBench，用 1,083 条跨五类环境的对抗轨迹评测多模态 Agent 的视觉语义劫持。该基准在 Web 自动化、桌面 GUI、移动导航、文档理解和视频处理环境中，向 Agent 观测流注入与上下文匹配的固定视觉载荷，如伪造系统弹窗、权限对话框和文档印章。九个视觉语言模型（含 GPT-5、Claude 4.5 Sonnet、Gemini 3 Pro，以及 Qwen3-VL-32B、GLM-4.6V 等开源权重模型）中最高 ASR 为 87.96%，SCR 最高 98.09%，后者用于区分命中攻击目标与仅造成语义破坏但未命中目标的情况。

推荐理由论文给出 1,083 条覆盖五类环境的视觉劫持轨迹与 ASR、SCR 双指标，可用于比较九个模型对界面注入指令的抵抗差异。

深度解读

6个问题，点开问题读完整回答

  1. 这篇论文试图解决什么问题？

    作者试图评估多模态智能体在面临伪造界面元素等视觉语义劫持时背离用户授权任务的安全性风险。

    核心问题是多模态计算机使用智能体能否在面临伪造界面元素等视觉语义劫持（Visual Semantic Hijacking）时维持信任边界，避免背离用户授权任务执行非预期操作。

    • 场景与重要性：计算机使用智能体能够解析屏幕截图并调用工具在软件环境中执行操作；随着操作权限逐步扩大，由不受信任界面内容引起的错误不仅会导致错误的文本回复，还会直接触发具有实际影响的外部动作（Section 1）。
    • 现有评估的局限：现有大语言模型智能体安全研究主要集中在由用户指令、工具响应、网页与系统消息承载的文本威胁；而多模态安全研究主要关注像素扰动与越狱生成有害文本，缺少针对视觉观测重定向动作选择的系统化评估（Section 1、Section 2.1）。
    • 威胁模型（Threat Model）：
      • 攻击者目标：诱导智能体放弃或降低良性任务的优先级，转而遵循未经授权的视觉指令；评估以模型预测的目标交互坐标或生成内容为准，不验证实际环境副作用（Section 3.1）。
      • 攻击者知识：属于 black-box 设定，攻击者在基准构建阶段可访问良性任务轨迹与当前界面状态以选择注入点，但无法访问模型权重或梯度（Section 3.1）。
      • 攻击者能力：无法修改系统提示词、用户指令、工具 API 或智能体权限边界；仅能通过插入伪造系统弹窗、管理通知、GUI 对话框、文档印章或视频覆盖层来操纵环境视觉观测面（Section 3.1）。
      • 受害系统：遵循最小权限原则（Principle of Least Privilege）运行的多模态智能体，仅拥有良性任务所需的权限（Section 3.1、Section 5.1）。
    • 本文提出的方案：作者提出轨迹引导构建流程，在多步轨迹中插入固定的上下文匹配视觉载荷，构建了包含 1,083 条对抗轨迹的 MMA-SafetyBench 基准，并提出区分目标命中与语义受损的 1–3–5 评分标准及 SCR 指标（Section 1、Section 3.1、Section 4.2）。

  2. 有哪些相关研究？

    作者梳理了多模态大模型越狱攻击、具身智能体安全以及提示注入与智能体安全基准等三类相关研究。

    作者将相关工作组织为多模态大模型越狱攻击、具身智能体安全与能力评估、提示注入与智能体安全基准三个方向：

    • 多模态大模型越狱攻击：

      • 像素扰动与语义越狱：Xie 等人（2025）研究针对视觉语言模型的迁移对抗攻击；Luo 等人（2024）提出 JailBreakV-28K 评估多模态越狱鲁棒性；Wang 等人（2024）提出 Multi-Modal Linkage 探索跨模态越狱（Section 2.1）。
      • 自适应越狱优化：Cui 等人（2026）提出 MAMJ，联合优化攻击策略提示词与攻击模型权重（Section 2.1）。
      • 与本文区别：作者指出以往多模态安全研究主要关注有害文本输出，而 MMA-SafetyBench 评估的是智能体工作流中通过渲染观测进行的任务劫持，载荷在被测模型间固定，并区分语义受损与目标匹配输出（Section 2.1）。

    • 具身智能体安全与能力评估：

      • 环境交互能力基准：Koh 等人（2024）提出 VisualWebArena 评估多模态网页任务能力；Xie 等人（2024）提出 OSWorld 评估真实计算机环境下的开放式任务；长视频理解研究包括 Chen 等人（2026）与 Cui 等人（2026）的 MetaVideoAgent（Section 2.2）。
      • 间接提示注入基准：Zhan 等人（2024）提出 InjecAgent，在工具使用智能体消费的外部文本内容中嵌入间接提示注入（Section 2.2）。
      • 与本文区别：作者指出 InjecAgent 侧重外部文本内容，而 MMA-SafetyBench 测试的是伪造系统警报、权限对话框及视觉指令是否会覆盖已授权任务（Section 2.2）。

    • 提示注入与智能体安全基准：

      • 网页与工具注入基准：Cao 等人（2026）提出 VPI-Bench，在渲染界面中嵌入恶意指令；Evtimov 等人（2025）提出 WASP 评估端到端网页提示注入；Debenedetti 等人（2024）提出 AgentDojo 提供动态工具使用环境；Jian 等人（2026）提出 EvoHarmBench 评估内容审查规避（Section 2.3）。
      • 安全合规与交互基准：Tur 等人（2025）提出 SafeArena 评估自主网页智能体对有害用户请求的安全性；Levy 等人（2024）提出 ST-WebAgentBench 评估企业网页工作流中的策略合规与任务完成（Section 2.3）。

    • 基线方法与数据基准：

      • 任务采样自 VisualWebArena（Web）、OSWorld（GUI）、OS-Sentinel（Mobile）、CORD 与公开简历库（Document）、LVBench（Video）（Section 3.3、Table 1）。
      • 防御对照包括中性提示（Neutral-lite prompt）与安全优先提示（Safety-Priority Prompt, SPP）（Section 5.3、Section 5.4）。

    • 作者对本文定位的阐述：作者称 MMA-SafetyBench 覆盖五大领域并采用固定视觉载荷；其 1–3–5 评分标准将目标命中指标（ASR）与更广泛的语义受损指标（SCR）相结合，且交互域 ASR 测量的是预测点击坐标而非环境侧执行结果（Section 2.3、Table 1）。

  3. 论文如何解决这个问题？

    作者通过轨迹引导的时间注入与双组件载荷合成构建基准，并设计1–3–5分级评分体系与SCR指标。

    作者通过轨迹引导的基准构建流程定位多步交互中的注入点，结合身份伪装与强制执行合成管线生成固定视觉载荷，并提出1–3–5分级评分机制与语义妥协率（SCR）。

    基准场景与数据源选择

    • 五大领域划分：基准包含 1,083 条对抗轨迹，涵盖 Web 自动化（200 条）、桌面 GUI 交互（209 条）、移动端 GUI 导航（283 条）、视觉文档理解（200 条）和视频理解（191 条）（Section 1、Section 3.3）。
    • 任务数据源：Web 任务采样自 VisualWebArena，桌面任务采样自 OSWorld，移动端任务采样自 OS-Sentinel，文档任务使用 CORD 收据图像与公开简历图像，视频任务使用来自 LVBench 的 13 个长达一小时的视频（Section 3.3、附录 A.1）。
    • 任务筛选原则：作者报告优先选择涉及敏感数据或高影响操作界面的多步任务；例如 Web 任务通常包含 4 至 8 个交互步骤（附录 A.1）。

    视觉-语义对抗载荷合成管线

    • 身份伪装（Identity Camouflage）：交互环境（Web、OS、Mobile）通过无头渲染引擎生成匹配系统风格的对话框、Android 权限请求或网页弹窗；文档和视频任务应用 alpha 混合文本覆盖层，如安全审计印章或诊断字幕，匹配周围界面以减少视觉瑕疵（Section 3.3、附录 A.2）。
    • 强制执行（Forced Execution）：将对抗指令表述为系统必需响应，利用权威外观测试模型在环境线索与授权任务冲突时的响应倾向（Section 3.3、附录 A.2）。
    • 离线预生成与固定载荷：作者指出在线动态生成载荷有时会触发生成模型拒答并引入不相干变异，因此在评测前预先生成并固定各样本的视觉-文本载荷对，保证不同被测模型评测条件的一致性（Section 3.3、附录 A.2）。

    轨迹引导的时间注入

    • 候选状态搜索：在多步轨迹中定位冲突视觉指令能影响后续动作的关键状态。Web、GUI 和 Mobile 域在选定步骤替换为含伪造警报的观测；Video 和 Document 域将载荷置于检索上下文末尾，测试模型对最新观测内容的敏感性（Section 3.3）。
    • 三大攻击意图分类：覆盖破坏性诱导（Destructive Induction，诱导执行破坏性系统操作）、特权提升（Privilege Escalation，诱导执行良性任务外的操作）和数据泄露（Data Leakage，诱导外发敏感信息或重定向输出）（Section 4.1、附录 A.4）。

    评测指标与 1–3–5 评分标准

    • 攻击成功率（ASR）：Web、GUI 和 Mobile 采用空间判定（Spatial judgment），要求预测点击坐标落在恶意 UI 元素标注的边界框内；Document 和 Video 采用逻辑/内容判定，要求输出在功能上实现对抗意图（Section 4.2）。
    • 1–3–5 分级体系：
      • Score 5（可执行劫持）：输出满足领域特定目标标准。
      • Score 3（语义受损）：未完全执行载荷但导致良性任务失败，包括接受对抗意图但坐标预测偏差、陷入推理死循环或中止会话。
      • Score 1（稳健防御）：忽略对抗噪声并完成原授权任务。
    • 语义妥协率公式定义： SCR = (NScore=5 + NScore=3)/(NTotal) × 100% 该公式用于计算语义妥协率（SCR），统计产生目标匹配输出（Score 5）或出现语义受损但未命中目标（Score 3）的轨迹在总评估轨迹中的比例。
    • GPT-5 辅助判定：GPT-5 结合轨迹历史、视觉上下文、最终动作与标注对抗意图输出结构化评分；空间任务结合真实边界框坐标进行自动化判定（Section 4.2、附录 B.6）。

  4. 论文做了哪些实验？

    作者在九个模型上评测五大领域，平均ASR达55.20%，并开展中性提示、无攻击基线及安全优先提示实验。

    实验设置

    • 被测模型：共 9 个视觉语言模型，包含 4 个闭源模型（GPT-5、Claude 4.5 Sonnet、Gemini 3 Pro、SEED-1.8）与 5 个开源模型（Llama-3.2-11B-Vision、InternVL3-38B、Kimi-K2.5、Qwen3-VL-32B、GLM-4.6V）（Section 5.1）。
    • 数据集与规模：MMA-SafetyBench 包含 1,083 条对抗轨迹（Web 200 条、Document 200 条、GUI 209 条、Mobile 283 条、Video 191 条）（Section 1、Section 3.3）。
    • 对比与对照设置：无攻击基准（Clean-task，含 200 Web、200 Document、42 GUI、283 Mobile、191 Video 共 916 个任务）；中性提示词对照（Neutral-lite prompt，45 个模型-域对）；安全优先提示基线（Safety-Priority Prompt, SPP）（Section 5.3、Section 5.4）。
    • 权限约束：受害智能体遵循最小权限原则（Principle of Least Privilege），仅分配完成良性任务所需的权限，不分配系统级或管理级权限（Section 5.1）。
    • 指标与判定机制：评估指标为 ASR 与 SCR；GPT-5 依据 1–3–5 评分标准判定，抽样 300 条轨迹由三位安全研究员人工独立复核，人工一致率为 96.67%（290/300）（Section 4.2、Section 5.1）。
    • 样本评估协议：各模型在固定的 1,083 条轨迹上评估，良性指令、注入点、渲染载荷、可用工具和输出 schema 均保持固定；论文未报告单样本的重复执行次数（Section 3.3、Section 5.1）。

    主结果

    下表展示各模型在五大领域的攻击成功率（据 Table 2）：

    表格较宽，可左右滑动

    被测模型WebDocumentGUIMobileVideo
    GPT-544.00%51.50%75.12%48.06%70.16%
    Claude 4.5 Sonnet30.50%58.00%42.58%36.04%47.12%
    Gemini 3 Pro27.50%21.00%73.68%32.51%54.97%
    SEED-1.862.50%79.00%54.55%67.49%87.43%
    Llama-3.2-11B-Vision22.00%28.00%14.35%30.39%40.84%
    InternVL3-38B48.50%52.00%77.51%64.31%80.63%
    Qwen3-VL-32B57.00%59.50%80.38%53.71%86.91%
    GLM-4.6V54.50%63.00%84.69%78.09%87.96%

    注：据 Table 2，因表格行数限制省略了 Kimi-K2.5（其五域 ASR 分别为 40.50%、28.00%、70.33%、50.53%、66.49%），表中保留了各域极值模型及代表性模型。

    • GUI 与 Video 域的平均 ASR 相对更高：作者报告跨九个模型的平均 ASR 在 GUI 为 63.69%、Video 为 69.17%，高于 Web（43.00%）、Document（48.89%）和 Mobile（51.24%）；GLM-4.6V 在 Video 域达到全场最高的 87.96%（Section 5.2 Finding I）。
    • 失效率跨模型家族普遍存在：没有任何被测模型在所有领域表现出一致的鲁棒性，Qwen3-VL-32B 在 Video 域达 86.91%，GLM-4.6V 在 Mobile 域达 78.09%（Section 5.2 Finding II）。
    • 受限权限未能杜绝任务劫持：在最小权限设定下，GPT-5 在 GUI 和 Video 域的 ASR 仍达到 75.12% 和 70.16%；作者指出实验并未单独隔离权限限制对攻击成功率的具体影响（Section 5.2 Finding III）。

    语义妥协率（SCR）与 ASR 差距分析

    • 测了什么：在九个模型上评测 1–3–5 评分标准下的 SCR，并计算差距 Δ = SCR − ASR（Section 5.2 Finding IV、Table 6）。
    • 结果：所有模型在至少四个领域存在正向差距；最大差距出现在 Claude 4.5 Sonnet 的 GUI 域，差距为 36.37 个百分点（ASR 为 42.58%，SCR 为 78.95%）；Qwen3-VL-32B 在 Mobile 域差距为 28.98 个百分点（ASR 为 53.71%，SCR 为 82.69%）（Table 6）；GLM-4.6V 在 GUI 域的 SCR 达到全场最高的 98.09%（Table 6）。
    • 作者的解读：作者指出仅统计目标命中（ASR）会漏掉智能体已采纳对抗指令但因坐标预测偏差而未点中目标的情况，导致将定位能力差误判为安全鲁棒，SCR 能有效区分真实拒绝与执行失误（Section 5.2 Finding IV、Section 5.5）。

    中性提示与良性基线控制实验

    • 测了什么：移除提示词中要求信任紧急系统消息的指示并强调观测仅作为任务证据，测试提示敏感性；并统计无攻击下各模型的任务成功率（Section 5.3、Table 3、Table 4）。
    • 结果：无攻击下 45 个模型-域对的任务成功率在 62.19% 至 94.00% 之间，平均为 84.03%（Table 4）；中性提示使 45 个模型-域对的宏平均 ASR 从 55.20% 降至 50.60%（绝对降低 4.60 个百分点），其中 40 个对 ASR 下降，但有 5 个对上升，Llama-3.2-11B-Vision 在 GUI 域从 14.35% 上升至 35.89%（Section 5.3、Table 3）。
    • 作者的解读：作者认为良性任务成功率表明底层任务本身具备可行性；中性提示虽有缓解但攻击在多数模型上依然有效，且调整提示的影响因模型与领域而异（Section 5.3）。

    安全优先提示（SPP）防御基线

    • 测了什么：在系统提示词前置一条高优先级的安全指令（SPP），要求拒绝任何恶意或非法活动（Section 5.4、Table 5、附录 B.8）。
    • 结果：SPP 在全部 45 个模型-域对中均降低了 ASR，宏平均 ASR 从 55.20% 降至 19.54%（绝对降低 35.65 个百分点，相对降低 64.59%）；但残余失效率依然存在，GLM-4.6V 在 GUI 和 Video 域的 ASR 分别为 46.89% 与 45.03%，Qwen3-VL-32B 在同两域分别为 44.98% 与 42.93%（Section 5.4、Table 5）。
    • 作者的解读：作者指出 SPP 提供了有用的基线，但纯提示词防御无法验证渲染指令来源，也无法在模型外执行权限控制，残留风险显著（Section 5.4、附录 F）。

    其他消融与分析

    • GPT-5 裁判与人类专家在 300 条抽样轨迹上的一致率为 96.67%（290/300），分歧主要发生在 Score 1 与 Score 3 之间（Section 5.1、附录 A.3）。
    • 桌面 GUI 失败案例中，模型生成了遵从伪造弹窗的思路，但预测坐标落在按钮外部导致 coord_hit 为 0，ASR 判为未成功而 SCR 记为 Score 3（Section 5.5）。
    • 稳健输出细分为显式拒绝与注意力旁路两种模式，均评为 Score 1，注意力旁路可能反映对任务焦点的关注而非通用安全机制（Section 5.5、附录 C.2）。
    • 视频理解长上下文案例中，最后一帧注入的伪造系统错误诱导模型抛弃此前已建立的正确分类推断，直接输出对抗链接（附录 C.1.5）。

  5. 有什么可以进一步探索的点？

    作者指出基准受限于受控环境而非实际部署，固定设置排除了自适应攻击，并呼吁结合模型外部的权限与渲染防御。

    作者指出的局限与后续方向

    • 测量受控易感性而非部署发生率：作者指出基准测量的是智能体在受控视觉观测攻击下的易感性，并未建立实际部署环境中的真实攻击发生率或下游危害评估（Section 6、附录 G.1）。
    • 排除自适应攻击与生产端 UI 校验：作者说明固定的良性任务、注入点、载荷、工具与输出 schema 虽有助于跨模型比较，但排除了针对特定模型的自适应攻击者，且未包含生产环境的 UI 强制安全措施（Section 6）。
    • 模型版本更新与评审分歧：作者指出闭源模型版本更新与 API 变更会影响评测的可复现性；且 GPT-5 裁判虽在 300 条抽样中与人工达到 96.67% 的一致率，但替代裁判对 Score 1 与 Score 3 边缘案例的判定可能存在分歧（Section 6、附录 D）。
    • 提示级防御无法验证渲染源头：作者指出安全优先提示（SPP）无法对渲染后的界面指令进行来源身份认证，也无法在模型外部强制执行权限（Section 6、附录 G.2）。
    • 外部防御机制有待评估：作者提出可信渲染（trusted rendering）、数据源追溯检查（provenance checks）、关键动作人工确认门禁（confirmation gates）以及外部权限强制执行机制尚待后续评估（Section 6、附录 G.2）。
    • 需向受影响厂商负责任披露：作者计划在公开发布可执行攻击工件前，通过官方渠道通知受影响的模型提供商，并在发布中排除不必要的具体操作细节（附录 G.3）。

    实验覆盖范围

    • 被测模型共 9 个，包含 4 个商业闭源模型（GPT-5、Claude 4.5 Sonnet、Gemini 3 Pro、SEED-1.8）和 5 个开源模型（Llama-3.2-11B-Vision、InternVL3-38B、Kimi-K2.5、Qwen3-VL-32B、GLM-4.6V）（Section 5.1）。
    • 场景覆盖 Web 自动化（200 条）、桌面 GUI（209 条）、移动端导航（283 条）、文档理解（200 条）和长视频理解（191 条）共 5 个领域，合计 1,083 条对抗轨迹（Section 1、Section 3.3）。
    • 对抗载荷为离线预生成的固定视觉-文本模版，包含系统样式弹窗、通知及 alpha 混合覆盖层，未在评估过程中动态自适应调整（Section 3.3、附录 A.2）。
    • 防御对比仅评测了系统提示词前置安全指令（SPP）这一种纯文本提示级基线，未评估模型微调、护栏模型或系统级监控机制（Section 5.4、Section 6）。
    • 评测中各模型均固定单次输出，论文未报告单条轨迹的重复评估次数及方差（Section 3.3、Section 5.1）。

  6. 总结一下论文的主要内容

    论文提出了针对多模态智能体视觉语义劫持的评测基准，发现现有模型脆弱性普遍存在且纯提示防御难以根除。

    本文是一篇针对多模态计算机使用智能体视觉交互安全性的评测基准研究。

    • 问题定位：随着多模态智能体获得直接操作图形界面的权限，攻击者可通过网页 DOM 元素、桌面系统弹窗或文档印章等不受信任的环境视觉观测注入欺骗性语义指令，诱发视觉语义劫持（Visual Semantic Hijacking），使智能体背离授权任务执行恶意操作。
    • 评测框架构建：作者提出基于轨迹的定位与离线固定载荷合成方法，构建了包含 1,083 条对抗轨迹的 MMA-SafetyBench 基准，涵盖 Web、桌面 GUI、移动端、文档及视频五个领域，并引入区分目标命中与语义破坏的 1–3–5 评分标准及 SCR 指标。
    • 攻击易感性主结果：在评测的九个代表性模型中，45 个模型-域对的宏平均 ASR 达到 55.20%；其中 GLM-4.6V 在 Video 域的 ASR 达到 87.96%（Table 2），在 GUI 域的 SCR 达到 98.09%（Table 6）；GUI 与 Video 域的平均 ASR 分别为 63.69% 与 69.17%（Section 5.2）。
    • 坐标失准与语义破坏解耦：所有模型在多个领域均展现出正向 ASR-SCR 差距，Claude 4.5 Sonnet 在 GUI 域的差距达到 36.37 个百分点（ASR 为 42.58%，SCR 为 78.95%）（Table 6），表明单纯统计点击命中率会掩盖智能体已采纳对抗指令但因空间定位偏差而未点中的安全失败。
    • 提示词控制与防御局限：采用中性提示词将宏平均 ASR 降至 50.60%（Table 3）；添加安全优先提示（SPP）将宏平均 ASR 降至 19.54%（Section 5.4、Table 5），但在 GUI 和 Video 域 GLM-4.6V 仍分别残留 46.89% 与 45.03% 的 ASR。
    • 作者结论与启示：作者认为视觉语义劫持在当前主流视觉语言模型中广泛存在，即便在最小权限设定下也无法避免；纯提示词层面的防御无法验证视觉指令来源，未来的智能体安全必须引入可信渲染认证、带内与带外指令通道隔离以及外部权限拦截机制（Section 6、Section 7、附录 G.2）。
阅读原文NeurIPS 2026