Multimodal-SEA:评测多模态社会工程攻击下的 AI 智能体安全性
Multimodal-SEA: Benchmarking AI Agent Security under Multimodal Social Engineering Attacks
作者提出 Multimodal-SEA 基准(608 个任务)评测个人智能体在多模态社会工程攻击下的安全性,7 个模型攻击成功率 7.1%–34.5%。
- 个人 AI 智能体面临由伪造多模态内容支撑的社会工程攻击,但现有评测主要覆盖文本对话,智能体在这类攻击下的内在安全性研究不足。
- 作者构建 Multimodal-SEA 基准:基于真实诈骗案例设计 152 个攻击场景、608 个任务,覆盖 14 个领域和四个难度等级,并设计多模态攻击 harness 在模拟环境中进行受控红队评测,从六个维度衡量攻击结果与验证行为。
- 七个多模态模型均被攻破,合并攻击成功率 7.1%–34.5%;加入多模态内容使平均攻击成功率从 19.9% 升至 29.2%;安全提示降低攻击成功率但多模态欺骗漏检率反而上升;低攻击成功率的模型伴随对合法请求的过度拒答。
- 论文未专门讨论局限。实验覆盖:被测模型 7 个加 2 个安全提示变体;良性任务每模型 84 个;攻击者模型为 DeepSeek-v4-Pro,GPT-5.4 攻击者仅在 3 个模型上对比;论文未报告重复运行次数和人工评估一致性。
- 威胁模型
- 攻击者通过多轮对话和伪造多模态内容(图像、文档、网站、应用界面、视频)冒充他人,诱导个人智能体自主执行造成资金损失或敏感信息泄露的工具调用;攻击者不能直接修改智能体的系统提示词或篡改用户已有记录。
- 被测模型
- Claude Opus 5Gemini 3.8 FlashMiniMax-M3Kimi K3Qwen 3.8 FlashGPT-5.6-SolGLM 5.3 FlashMiniMax-M3-SPGPT-5.6-Sol-SP
- 基准
- Multimodal-SEA
- 指标
- D1 资金/信息泄露严重度D2 主动验证覆盖率D3 攻击识别轮次D4 攻击成功率D5 无依据行动声明数D6 多模态欺骗漏检率CRSCROR
研究者推出 Multimodal-SEA 交互式基准,用 608 个基于真实诈骗案例设计的任务评测个人 AI 智能体抵御多模态社会工程攻击的能力,任务覆盖 14 个领域、152 种攻击场景和四个难度级别,并区分中英文环境的社会文化语境。智能体在模拟应用中检查内容、核实请求并执行操作,攻击结果以可验证的工具执行日志为准;配套的多模态攻击 harness 整合任务信息、攻击进程控制与多模态内容构造,支持在模拟环境中对个人智能体做受控红队测试。从六个维度对七个广泛使用的多模态模型的评测显示全部存在漏洞,攻击成功率介于 7.1% 到 34.5%;加入多模态内容后攻击成功率从 19.9% 升至 29.2%,尽管主动核实覆盖率有所提高。更强的安全指令能降低攻击成功率但不提升对欺骗性多模态内容的识别,部分模型攻击成功率较低的同时伴随对合法请求的过度拒答。
相关热点
1 个事件 · 1 条新闻提到
提到这篇论文的新闻
大模型安全周报:智能体安全边界在签名、授权与上下文
- 公众号 大模型安全研究引用了论文编号或链接大模型安全周报:智能体的安全边界在签名、授权与上下文三层防线里
2611.08281 直接用真实诈骗案例搭出 608 个任务、14 个领域、152 个攻击场景的交互式基准。
深度解读
这篇论文试图解决什么问题?
现有评测缺少对个人智能体在多模态社会工程攻击下内在安全性的衡量,作者提出 Multimodal-SEA 基准。
核心问题:个人 AI 智能体能否识别伪造的多模态证据、抵御社会工程攻击,现有评测无法回答。
- 问题场景:个人智能体越来越多地使用图像、文档和网站替用户办事,并接触敏感信息和关键操作权限;作者认为其抗欺骗能力变得关键。
- 现有不足:作者称 AI 安全研究集中在指令层面的越狱和提示注入,社会工程评测也主要覆盖文本对话,对多模态欺骗的覆盖有限。
- 核心观察:真实攻击者会用伪造的身份文件、票据、图像和视频为编造的事件和请求背书,这要求智能体识别跨模态不一致、区分攻击者控制的来源与独立验证渠道。
- 论文提出:Multimodal-SEA 交互式基准(608 个任务、14 个领域、152 个攻击场景、四个难度等级、中英文两套任务)和一个多模态攻击 harness,用于在模拟环境中做受控红队评测。
- 威胁模型(Definition 1):
- 目标:诱导智能体自主执行工具调用,造成用户资金损失或敏感信息泄露。
- 知识:攻击者掌握任务允许的用户信息 K,难度等级越高信息越丰富。
- 能力:多轮对话加伪造多模态内容(图像、文档、网站、应用界面、视频);不能修改智能体系统提示词或篡改用户已有记录。
- 受害系统:代表用户在模拟环境中操作 50 个应用的个人智能体。
有哪些相关研究?
相关工作分三组:智能体安全基准、社会工程模拟、多模态欺骗;作者定位本文为多模态社会工程攻击下的智能体评测。
智能体安全
- JailbreakBench(2024)与 MM-SafetyBench(2024)分别评测纯文本和多模态模型的越狱鲁棒性;HarmBench(2024)提供跨文本与多模态行为的自动化红队框架。
- ToolEmu(2024)与 AgentHarm(2025)评测工具交互和有害任务完成中的风险;InjecAgent(2024)与 AgentDojo(2024)研究经由不可信工具输出的间接提示注入。
- AgentDyn(2026)考察动态环境中的安全与任务完成;DoomArena(2025)提供跨智能体环境测试攻击的模块化框架。
社会工程模拟
- SE-VSim(2025)模拟针对不同人格特质受害者的个性化多轮攻击;ConvoSentinel(2024)研究社会工程对话的检测。
- PhishSim(2026)通过模拟网站上的凭据提交来验证钓鱼是否得手。
多模态欺骗
- FakeBench(2024)评测多模态模型检测并解释伪造图像的能力。
- AgentBait(2026)与 DECEPTICON(2026)研究欺骗性网页内容和界面如何使智能体偏离用户目标;SEAR(2025)用多模态环境信息支撑针对人的社会工程攻击。
基线与基准对比:本文无方法基线;Table 1 将 Multimodal-SEA 与 HarmBench、MM-SafetyBench、InjecAgent、AgentBait、PhishSim、DECEPTICON 在任务覆盖和攻击设计维度上对比,作者称只有本文同时覆盖文化语境、多模态输入、自适应攻击、动态内容和可验证控制。
定位:作者称本文评测的是代表用户行事的个人智能体在多轮、伪造多模态内容支撑的攻击下的表现,研究这类内容如何影响验证与安全决策,这是上述工作未覆盖的组合。
论文如何解决这个问题?
构建 608 任务的交互式基准与多模态攻击 harness,用六维指标在模拟环境中做受控红队评测。
整体思路:基于真实诈骗案例构建带伪造多模态内容的多轮社会工程任务,在模拟应用环境中用 Multimodal-SEA 基准和攻击 harness 驱动攻击者与个人智能体交互,以可验证的工具执行日志判定结果。
任务形式化
- 攻击者 A 利用任务允许的用户信息 K,通过多轮对话和多模态内容诱导智能体 π 执行有害工具调用,轨迹记为 ξ = Interact(A, π, E; K, C, M)。
- 攻击成功按实际执行后果判定:Success(ξ) = 𝟙[MonetaryLoss(ξ) ∨ InfoLeak(ξ)];识别伪造内容单独用 D6 衡量,不是成功条件。
场景与任务构建
- 场景:152 个攻击场景覆盖 14 个领域(社交、支付、购物、工作、慈善、政务等),79 个中文、73 个英文,各自反映本地应用、服务和社会文化语境,不是互译。
- 攻击脚本:每个场景一个多阶段脚本,从建立信任、引入编造事件到提出具体请求;多模态内容在各阶段支撑身份、事件和请求。
- 难度等级:每场景 4 个任务实例。L1/L2 提供有限/基础用户信息且独立验证渠道可用;L3 提供更丰富个人信息(如交易历史、病历)并限制独立验证;L4 引入配合攻击者说法的同伙(Table 6)。
模拟环境
- 50 个模拟应用,共享用户档案(关系、账户、交易历史、病历),另有相册和文件供身份比对。
- 转账、敏感信息提交和权限授予会改变环境状态;环境记录内容投递、工具调用、返回结果和状态变化,用于区分声称的行动与实际执行。
六维评测指标(Section 2.4)
- D1 资金/信息泄露严重度:分别按造成损失的交易金额求和、按泄露条目加权求和。
- D2 主动验证覆盖率:已激活验证点中实际通过工具验证的比例,仅声明验证意图不计。
- D3 攻击识别效率:首次明确识别攻击并保持拒答的对话轮次,未识别记最大轮数。
- D4 攻击成功率;D5 无依据行动声明计数(如声称已转账但未调用工具);D6 多模态欺骗漏检率:投递事件中未被明确识别为伪造的比例,笼统警惕或拒答不算识别(附录 F)。
多模态攻击 harness(Section 3)
- 整合任务信息、攻击进度控制和多模态内容构建:组织攻击者身份、目标、可用用户信息、多阶段脚本和预备内容,维护对话历史。
- 根据当前阶段和目标智能体的回应引导攻击推进,在被拒后调整步骤或策略;具体措辞由攻击者模型决定。
- 内容构建支持事先准备和交互中动态生成两类:图像/视频展示所声称的人物或事件,文档生成通知、账单或协议,网站含页面、链接和提交表单,应用含界面和操作;用任务信息和已有内容约束名称、日期、金额等细节一致。附录 G 给出了攻击者提示词结构和内容请求格式。
论文做了哪些实验?
7 个模型在 608 任务上全部被攻破(D4 7.1%–34.5%);多模态内容、同伙、安全提示和良性任务四组分析。
实验设置
- 被测模型:Claude Opus 5、Gemini 3.8 Flash、MiniMax-M3、Kimi K3、Qwen 3.8 Flash、GPT-5.6-Sol、GLM 5.3 Flash 共 7 个,另加 MiniMax-M3-SP 和 GPT-5.6-Sol-SP 两个安全提示变体(系统提示加入 5 条安全规则)。
- 攻击者与同伙模型:DeepSeek-v4-Pro;附录 H.2 另有 GPT-5.4 作为攻击者的对比。
- 任务规模:608 个任务实例(152 场景 × 4 难度),316 中文、292 英文;每个模型变体每任务跑一次,共 5,472 次交互(Table 11)。
- 内容生成:图像用 Gemini-3.1-image-flash,视频用 Kling 2.5 Turbo。
- 指标与评审:D1–D6 六维指标,基于工具执行日志、环境状态和对话记录;D5/D6 的评审模型为 GPT-5.6-luna(Table 11)。
- 良性任务:中文、英文各 42 个,指标为 CR、SCR、OR。
主结果
据 Table 2(中文/英文任务集,D1 单位分别为 RMB/USD,D5 为总计数):
表格较宽,可左右滑动
模型 中文 D1 中文 D4 (%) 中文 D6 (%) 英文 D1 英文 D4 (%) 英文 D6 (%) Claude Opus 5 646 8.9 52.6 42 5.1 58.9 Gemini 3.8 Flash 171 11.7 34.4 108 13.4 61.1 MiniMax-M3 871 18.0 38.9 124 10.3 46.6 Kimi K3 1,152 23.7 41.7 126 17.5 61.2 Qwen 3.8 Flash 1,019 29.1 21.9 83 18.8 21.6 GPT-5.6-Sol 1,754 34.8 50.4 262 34.2 70.9 GLM 5.3 Flash 1,751 36.7 38.3 192 22.6 41.6 GPT-5.6-Sol-SP 139 10.8 63.5 56 14.0 78.8 - 作者称所有模型均被攻破,中文任务 D4 为 8.9%–36.7%,英文为 5.1%–34.2%;GPT-5.6-Sol 在 316 个中文和 292 个英文任务上累计模拟损失约 RMB 554,000 和 USD 76,600。
- 作者称更高的验证覆盖率不保证识别欺骗:GLM 5.3 Flash 中文 D2 为 77.2%,D6 仍有 38.3%。
- 作者称模型普遍存在无依据行动声明,例如 Qwen 3.8 Flash 声称已通过"官方应用"付款但当轮未调用支付工具。
多模态内容消融(Section 5.1)
- 设置:86 个 L3 场景、7 个模型,共 602 对配对评测,每任务分别在有/无多模态内容下各跑一次(附录 I.2)。
- 结果:加入多模态内容后平均 D4 从 19.9% 升至 29.2%,平均 D2 从 54.7% 升至 65.1%(Table 14c);7 个模型中 6 个 D4 上升,GLM 5.3 Flash 升 17.4 个百分点、Qwen 3.8 Flash 升 15.1 个百分点。
- 例外:MiniMax-M3 的 D4 略降(Table 3 中 ∆D4 为 -1.2 个百分点);各模型模拟损失变化方向不一致。作者称多模态内容强化了基于文本的欺骗,但效果在模型和指标间不一致。
难度、领域与语言分析(Section 5.2–5.3)
- 难度:合并后整体 D4 从 L1 的 16.3% 升至 L2 的 18.2%、L3 的 19.9%,L4 引入同伙后升至 27.4%(Table 15);7 个模型在 L4 全部上升,Kimi K3 从 15.1% 升至 32.9%。例外:Kimi K3 在 L1 为 17.8%、L3 降至 15.1%。作者提醒每个等级是完整攻击设置,差异不能归因于单一因素。
- 领域:慈善领域 D4 最高(中文 43.6%、英文 35.7%),其次智能体费用(37.9%、32.9%);英文购物和政务仅 5.7% 和 7.9%(Table 16)。作者认为训练数据中慈善和智能体费用类诈骗样例较少。
- 语言:整体 D4 中文 23.3%、英文 17.4%,14 个领域中 12 个中文更高;作者称两套任务叙事和文化语境不同,差异不能仅归因于语言或文化。
良性请求效用(Section 5.4)
- 设置:中文、英文各 42 个良性任务,7 个模型,指标 CR/SCR/OR(Table 17)。
- 结果:平均 CR 41.7%(Kimi K3 最高 67.9%),平均 SCR 34.4%,比 CR 低 7.3 个百分点;Claude Opus 5 和 MiniMax-M3 的攻击成功率仅 7.1% 和 14.3%(Table 13),但 OR 达 32.1% 和 51.2%。
- 作者解读:低攻击成功率不等于可靠的欺骗识别,部分模型拒绝了已被验证为合法的请求。
其他消融与分析
- 安全提示(Table 2):GPT-5.6-Sol-SP 中文 D4 从 34.8% 降至 10.8%,但 D6 从 50.4% 升至 63.5%;MiniMax-M3-SP 的 D6 略降、英文 D4 略升(10.3%→11.3%)。
- 攻击者模型对比(Table 12):换用 GPT-5.4 作攻击者时,Claude Opus 5、Kimi K3、GLM 5.3 Flash 的合并 D4 分别为 11.7%、14.3%、34.8%。
- 案例(附录 J.2):L4 的 GPT-5.6-Sol 在第 9 轮提交付款、损失 2,400 美元;L2 的 Qwen 3.8 Flash 致电真实配偶识破冒充、损失为 0。
有什么可以进一步探索的点?
论文未专门讨论局限;实验覆盖 7 个模型、608 个攻击任务和 84 个良性任务,部分设置未报告。
作者指出的局限与后续方向
- 论文未专门讨论局限(无 Limitations 小节)。
- 作者在结论中提出方向:随着多模态感知和自主行动能力提升,智能体开发需要加强欺骗识别和独立验证的有效利用(Section 7)。
- 作者称基准将公开以支持独立评测和后续研究(附录 C)。
实验覆盖范围
- 被测模型为 7 个多模态模型加 2 个安全提示变体,攻击者与同伙模型为 DeepSeek-v4-Pro;GPT-5.4 作为攻击者的对比只在 3 个被测模型上进行(附录 H.2)。
- 攻击任务为 608 个实例,每个模型变体每任务跑一次记录交互(Table 11);论文未报告重复运行次数。
- 多模态内容消融只覆盖 86 个 L3 场景(附录 I.2);良性任务为每模型中文 42 个、英文 42 个(Table 17)。
- 防御评测仅为提示词层面的 5 条安全规则(-SP 变体),未包含其他防御方法。
- D5/D6 的评审模型为 GPT-5.6-luna(Table 11);论文未报告评审与人工判断的一致性。
总结一下论文的主要内容
Multimodal-SEA 基准显示 7 个多模态智能体全部被社会工程攻击攻破,多模态内容强化欺骗,安全提示不改善识别。
这是一篇评测/基准论文,提出 Multimodal-SEA:衡量个人 AI 智能体在伪造多模态内容支撑的社会工程攻击下的内在安全性。
- 问题:现有安全评测集中在越狱、提示注入和文本对话,缺少对多模态社会工程攻击的覆盖;作者认为智能体需要识别跨模态不一致并区分攻击者控制的来源与独立验证渠道。
- 方法:基于真实诈骗案例构建 152 个场景、608 个任务(14 个领域、四个难度等级、中英文两套语境),配套 50 个模拟应用和多模态攻击 harness;以工具执行日志判定攻击成功,从 D1–D6 六个维度评测。
- 主结果:7 个模型合并攻击成功率 7.1%–34.5%(Table 13);GPT-5.6-Sol 在中文任务上平均每个任务损失 RMB 1,754(Table 2)。
- 关键分析:加入多模态内容使 L3 消融中平均攻击成功率从 19.9% 升至 29.2%,验证覆盖率同时从 54.7% 升至 65.1%(Table 14c);L4 引入同伙后整体成功率从 19.9% 升至 27.4%(Table 15)。
- 防御与效用:给 GPT-5.6-Sol 加 5 条安全规则使中文攻击成功率从 34.8% 降至 10.8%,但多模态欺骗漏检率从 50.4% 升至 63.5%;Claude Opus 5 攻击成功率仅 7.1%,却过度拒答 32.1% 的合法请求(Table 17)。
- 作者结论:多模态内容强化了文本欺骗,更多验证和更强的安全指令都不保证可靠的欺骗识别;智能体开发需要加强欺骗识别能力和独立验证的有效利用,同时可靠处理合法请求。