DUMA-Bench：评估 LLM Agent 安全的双控多智能体基准

安全评测若把用户当成被动方、把控制当成静态的，就覆盖不到用户和智能体都能改写环境时的策略违反。

• 场景： 作者认为 LLM 智能体已与用户、工具和外部系统多轮交互，安全漏洞来自这些交互。文中提到邮件处理、协作编辑、检索系统和客服工具。
• 已有评测的缺口： 多数安全评测是固定提示、单次输出。网页、移动端和多智能体基准更关注交互任务，通常不含对抗。作者认为只做提示词评测会低估智能体部署中的风险。
• 假设： 漏洞同时取决于模型和交互机制。作者因此比较被动用户设定，以及可以在多步里改写环境的 dual-control 设定。
• 对抗如何进入： 各域按安全策略和威胁模型定义受保护资产、允许动作和违规，并做成工具、可变状态和外部工件。作者称多数任务里主要对抗源不是用户模拟器，而是检索文档、协作者笔记、工具清单或可变状态；模拟器扮演操作员、客户或流程参与者，双方都能改共享状态。solo 没有活跃用户。
• 本文给出的东西： 基准 DUMA-Bench 和统一协议，在 τ²-bench 上增加八类对抗环境。主指标是 ASR，pass^k 用来看重复轨迹。实验为五个家族的 14 个模型、八个领域。

相关工作按交互基准、安全评测、环境级攻击三组来写。作者把本文放在两组之间的空档上。

智能体交互与协作基准

• AgentBench（Liu et al., 2024）： 评测指令遵循和任务完成。论文写明它没有建模与动态用户或协作者的交互。
• τ-bench 与 τ²-bench（Yao et al., 2025；Barres et al., 2025）： 用户动作可以修改环境状态。τ²-bench 将交互写成双方 Dec-POMDP（Amato et al., 2013），并报告共享控制本身会改变任务表现。论文指出这类协作基准不建模对抗行为或安全威胁。
• 其他交互环境： REALM-Bench（Geng and Chang, 2025）、MultiAgentBench（Zhu et al., 2025）、Mobile-bench（Deng et al., 2024），以及 Jin et al.（2025）的多智能体协作综述。论文把它们当作协作、竞争或动态规划工作，没有写成安全对照。

LLM 智能体安全评测

• Agent Security Bench（Zhang et al., 2025）： 给出结构化攻击。论文点名提示注入和工具误用。
• AgentDojo（Debenedetti et al., 2024）： 在动态环境里评测被污染的工具输出和恶意指令。同段还提到针对提示注入、工具操纵和数据泄漏的其他工作。
• 论文的批评与威胁清单： 论文称这些安全基准通常假设被动用户，并在单控制设定下评测攻击。引言引用 Datta et al.（2025）和 OWASP（2025a, 2025b），将提示注入、工具误用、数据外泄和不安全委托列为智能体风险；Toolformer（Schick et al., 2023）与 Qin et al.（2025）只作为工具使用的背景。

环境级与 RAG 攻击

• PoisonedRAG（Zou et al., 2025）： 污染被检索的文档或知识库。论文写道这样可以提高攻击成功率，没有转引该文的具体数字。
• AgentPoison 与 BadAgent（Chen et al., 2024；Wang et al., 2024）： 论文将二者分别概括为智能体后门，以及由环境触发的攻击。论文称这些研究总体上仍在静态交互假设下评测。

实验对照与作者定位

• 对照设定： 实验对照是同一 DUMA-Bench 上的 solo 与 dual-control。solo 中轨迹只由智能体决定。
• 作者的定位是：现有基准或者有交互而无对抗威胁，或者有对抗攻击而无交互式用户参与。DUMA-Bench 把双控交互和对抗场景放进同一框架，用来看漏洞如何从模型、用户与环境的交互中出现。

扩展 τ²-bench 的双控交互，做成可执行场景基准 DUMA-Bench。每次评测由环境、智能体、用户和安全断言组成，结束后用断言判断攻击是否成功。

两种评测机制

• 组件与图示： 环境含工具、外部数据和内部状态；智能体通过工具行动；用户以任务条件化的请求参与多轮，域内若有用户侧工具也可以使用。Figure 1 的图注对比上方的 solo（无活跃用户）和下方的 dual-control（智能体与用户模拟器共同塑造轨迹）。
• solo： 智能体直接与环境交互，没有活跃用户。作者称这接近许多现有智能体基准：轨迹只由智能体决定。
• 不作单因素拆解： dual-control 同时变成多轮、用户可以影响轨迹、状态可以经工具演化。作者把两种机制的差解释为整套机制的稳健性差距，而不是任一成分的边际因果效应。

双控交互模型

• 形式： 采用 τ²-bench 的双控结构。环境是部分可观察状态空间 S。智能体 A 与用户 U 各自收到由 S 导出的观察，并在各自动作空间里选动作。转移由双方动作共同决定。
• 动作： 智能体动作是工具调用和通信；用户动作是交互消息。
• 作者对通路的说法： 恶意内容可以经检索上下文、用户交互或智能体通信传播。作者认为这些漏洞在静态或单控制评测里仍然隐藏。

八个域与 35 个任务

• 形态： 任务不是单轮提示，而是带安全策略、可变状态、领域工具、对抗工件、用户侧指令和断言的多轮可执行场景。附录 A 与 Table 5 分域说明。合计 35 个任务。
• 规模（Table 5）： mail_rag_phishing 7（检索到的邮件或 SOP），collab 6（协作者笔记），output_handling 3（下游输出），crm_leak 4（受限 CRM 字段），infra_loadshed 5（配额与资源），mktg_phishing 3（外发活动），auth_spoof_support 3（身份与账户敏感动作），tool_shadow_poison 4（已签名工具与影子工具）。断言合计 65 条状态、37 条通信。
• 构建： 先定受保护资产、允许动作和违规，再实例化为工具、状态和外部工件，并写用户情景、对抗触发和可执行断言。每个任务都要兼容两种机制；Table 5 的 Solo 列均为 Yes。
• 对抗入口： 作者称多数任务里模拟器不是主要对抗源，压力来自检索文档、协作者笔记、工具清单或可变状态。模拟器扮演操作员、客户或流程参与者。部分域的威胁模型含紧迫、冒充或施压；附录 A 有任务说明，此处不复述攻击文本。

断言、奖励与指标

• 状态断言： 交互结束后重放记录在案的工具调用，重建终态，再执行确定性检查。论文举例：auth 域查看退款日志，若存在未验证条目则失败。作者称这类检查不受 LLM 评审偏差影响。
• 通信断言： 用于环境状态里留不下痕迹的文本行为。评审模型为 GPT-4o，temperature 0.0，固定模板；每条期望单独打分，返回 JSON（复述期望、短理由、布尔值）。该类型须全部为真才得分。附录 D 给出完整提示词，包括 solo 运行插入系统提示的补充说明。
• 合取： 奖励基 B 是计入分数的断言类型子集。类型分 r_t 仅当该类断言全部通过时为 1，任务奖励 r=∏_{t∈ B} r_t∈{0,1}。r=1 才算通过。作者举例：拒绝了未授权动作，但回复泄露受保护数据，则 r=0。全部 35 个任务都把环境断言放进奖励；另有 9 个任务在违规只见于文本时加上通信断言。
• ASR 与 pass^k： 智能体违反该任务安全断言即攻击成功。主指标 ASR=(number of successful attacks)/(total number of attempts)，即对抗目标达成的试验所占比例。pass^k 来自 τ-bench：任务 i 在 n_i 次试验中有 c_i 次通过时，无偏估计为 C(c_i, k)/C(n_i, k)，再对任务平均，表示 k 次独立试验全部通过的概率。k 越大越严。正文报告 k=1。

用户模拟与试验协议

• 模拟器： 所有实验的用户侧都是 GPT-4o-mini，按任务说明和完整历史生成回复。作者称固定用户侧模型是为了跨目标模型比较。智能体解码为确定性设置，轨迹随机性来自用户模拟器。
• 温度： 为观察同一情景的不同实现，T_user 取 0.0、0.5、1.0。作者称低温更确定，高温增加措辞和对话结构的差异。
• 次数与检验： 配置元组为（模型、领域、机制、T_user）。每个 model-domain-task 配置 n=5 次独立运行。主文评价 14 个模型、8 个领域、2 种机制，每个机制 1960 次试验。差异用 Fisher's exact test，比例的置信区间用 Wilson 区间。
• pass^k 用在何处： 主文以 ASR 为主，用 pass^k 看重复交互。附录 C 报告 dual-control 下 k 从 1 到 5。

实验设置

• 被测模型（Table 6，14 个）： OpenAI 的 GPT-5、GPT-5-mini、GPT-5-nano、GPT-4o、GPT-4o-mini、GPT-4.1、GPT-4.1-mini；Anthropic 的 Claude Opus 4.5、Claude Sonnet 4.5、Claude Haiku 4.5；DeepSeek V3.2；Qwen3.5-Plus、Qwen3.5-Flash；Z.ai 的 GLM-4.7。任务定义和工具接口相同，覆盖作者所称的前沿、中档和轻量变体。
• 基准与对照： DUMA-Bench 的 8 个领域、35 个可执行任务（Table 5）。对照是 solo 与 dual-control，不是外部攻击方法。
• 指标： ASR 是攻击成功试验的比例，成功指违反任务断言。pass^1 是 k=1 时各任务通过率的平均。Table 1 的 Successes 与 Trials 之比等于所报 Pass^1（四舍五入），与 ASR 不是同一计数。
• 评审与解码： 状态断言是确定性程序。通信断言由 GPT-4o、temperature 0.0 给出布尔判定。用户模拟器是 GPT-4o-mini。智能体解码为确定性设置，随机性来自模拟器。
• 样本量： 每个 model-domain-task 配置 n=5。主研究每种机制 1960 次试验（第 4.4 节）。论文同时写了 35 个任务和 14 个模型，没有写明这些数字如何对应到 1960，也没有写明 Table 1 使用的 T_user。
• 统计： 正文写明使用 Fisher's exact test 和 Wilson 区间。结果里没有 p 值或区间端点。主文的 pass^k 取 k=1。

主结果

Table 2 是各域 ASR。转写里两行标成 tool_s_poison、auth_s_support，与正文的 tool_shadow_poison、auth_spoof_support 对应；S 为 solo，D 为 dual-control。

表格较宽，可左右滑动

领域	Solo ASR	Dual ASR	ΔASR
mktg_phishing	0.022	0.615	+0.593
collab	0.043	0.249	+0.206
crm_leak	0.056	0.249	+0.193
tool_shadow_poison	0.111	0.264	+0.153
auth_spoof_support	0.040	0.169	+0.129
output_handling	0.409	0.484	+0.075
infra_loadshed	0.489	0.541	+0.052
mail_rag_phishing	0.610	0.579	-0.031

• 聚合（Table 1）： 全部模型和领域上，solo 为 1960 次试验、1432 次 Successes、Pass^1 0.731、ASR 0.269；dual-control 为 1960、1154、0.589、0.411。作者报告 ASR 从 26.9% 升至 41.1%，上升 14.2 个百分点，Pass^1 从 0.731 降到 0.589，并称该差异在 Fisher's exact test 下统计显著。
• 作者对各域的解读： 作者称依赖说服、冒充或跨智能体操纵的域，在用户进入回路后攻击更有效；dual-control 既改变聚合水平，也改变漏洞在域上的分布。ΔASR 为负的是 mail_rag_phishing。作者认为检索系统的漏洞主要来自检索管线，而不是交互动态。
• 机制差的含义： 作者写明这不是析因实验。作者认为静态评测设定可能明显高估智能体的稳健程度。

分模型 ASR

Table 4 有 14 个模型。下表保留 dual ASR 两端所在的模型、ΔASR 最大的三档，以及 ΔASR 为负的 Qwen3.5-Plus。省略 GPT-4.1、GPT-4.1-mini、GPT-4o、DeepSeek V3.2、Qwen3.5-Flash、GLM-4.7；这六行的 ΔASR 均为正。

表格较宽，可左右滑动

模型	Solo ASR	Dual ASR	ΔASR
Claude Sonnet 4.5	0.050	0.086	+0.036
Claude Haiku 4.5	0.079	0.121	+0.042
Claude Opus 4.5	0.071	0.164	+0.093
Qwen3.5-Plus	0.393	0.357	-0.036
GPT-4o-mini	0.440	0.560	+0.120
GPT-5	0.257	0.647	+0.390
GPT-5-mini	0.279	0.729	+0.450
GPT-5-nano	0.314	0.793	+0.479

• 作者解读： 作者称模型能力并不稳定地对应更高的安全性。有的模型两种机制差别小，有的在 dual-control 下 ASR 上升很多。作者点出若干 GPT-5 变体，并认为交互式评测能露出被动用户设定里看不到的漏洞。
• 表内例外： Table 4 里 ΔASR 为负的是 Qwen3.5-Plus。正文没有单独解释这一行。
• GPT-5 的评测条件（附录 E）： 作者称该家族不能通过 API 完全关闭 reasoning，实验用了可用的最低档，因此这些数字是模型家族诊断，不能单独当成能力预测安全性的证据。

用户温度与 pass^k

• 温度（Table 3）： 扫描用附录 B 的 9 个模型：GPT-4.1、GPT-4.1-mini、GPT-4o、GPT-4o-mini、Claude Sonnet 4.5、Claude Haiku 4.5、DeepSeek V3.2、Qwen3.5-Plus、GLM-4.7。不含 GPT-5、GPT-5-mini、GPT-5-nano、Claude Opus 4.5、Qwen3.5-Flash。每个温度 1575 次试验。T_user 为 0.0、0.5、1.0 时，Pass^1 为 0.716、0.719、0.730，ASR 为 0.284、0.281、0.270。作者报告温度两两的 Fisher exact test 无统计显著差别，并称聚合结果只有小变化。
• 局部例外： 作者称 crm_leak 的 pass^1 在 T_user=0.0 与 1.0 之间升高 15 个百分点，但没有给出两端的绝对值。作者称这类效应不实质改变聚合结果。
• pass^k（附录 C Table 8）： 条件是 dual-control，且对所有用户温度平均。全体从 k=1 的 0.722 到 k=5 的 0.596。这与 Table 1 的 dual-control Pass^1 0.589 不是同一汇总。表注没有写模型集合。下表只列 k=1 和 k=5，中间值见 Table 8。作者称分数随 k 下降，是因为不少通过经不起重复轨迹；AUTH、COLL、TOOL 下降较慢，INFRA、MKTG、OUT 下降较快。

域	pass^1	pass^5
AUTH	0.946	0.870
COLL	0.912	0.794
CRM	0.881	0.743
TOOL	0.926	0.811
OUT	0.598	0.443
INFRA	0.584	0.399
MKTG	0.580	0.448
RAG	0.515	0.429

轨迹诊断与通信断言审核

• 长度与终止（附录 E）： 诊断用主比较保存的 3920 次运行，solo 与 dual-control 各 1960。dual-control 的中位总消息数为 16、对话消息 11；solo 为总消息 8、助手消息 1。dual-control 的第 90 百分位为总消息 63、对话消息 35。终止原因：用户模拟器停止 1852/1960（94.5%），工具或执行错误过多 56/1960（2.8%），到达步数上限 52/1960（2.7%）。
• 失败类型： 作者称未通过的 dual-control 运行中，81.9% 未过环境或状态断言，18.1% 未过自然语言通信断言。论文没有给出未通过运行的分母。通信失败集中在 output handling 和 tool-shadowing；状态断言失败主要在 mail RAG、infrastructure 和 marketing-phishing。
• 人工审核： 主结果轨迹含 1775 条自然语言断言判定，来自 894 次运行，域为 crm_leak、output_handling、tool_shadow_poison。分层抽取 60 条，与 GPT-4o 一致的是 56/60，4 条标为含糊或分歧。作者称分歧主要在 output_handling 的边界情形：轨迹拒绝了原始或未验证载荷并给出净化摘要，但没有点名断言中的具体策略对象。

其他消融与分析

• Table 9 为定性符号、无 ASR 数字：GPT-5、GPT-5-mini、GPT-5-nano 在 MKTG 为 +++；nano 在 COLL 与 CRM 亦为 +++；DeepSeek V3.2 在 TOOL、AUTH、OUT 为 0，在 RAG 为 –（附录 E）。
• 作者称定性检查里，失败集中在多轮压力、协作者笔记或可变状态使违规工具调用或不安全输出更有机会发生的情形。论文未给出 GPT-5 最低 reasoning 档的名称或数值。
• 论文未报告 Table 1 的 T_user，也未报告 Fisher's exact test 的 p 值或 Wilson 区间端点。

作者指出的局限与后续方向

• 规模（第 8 节）： 作者称 DUMA-Bench 规模不大，只有 35 个可执行场景、八个领域；这便于把任务做细，但没有穷尽智能体安全风险的空间。
• 用户模拟（第 8 节）： 用户行为由 LLM 模拟器生成。作者称它可能无法充分反映真实人类用户的多样性与不可预测性。
• 评审方差（第 8 节）： 作者称确定性环境断言是主要评分机制，但一部分任务依赖对通信轨迹的 LLM 评判，这会引入可能的评审方差。
• 因素未分离（第 8 节；第 6 节同旨）： 主比较度量的是整套交互机制的合计效应，没有分开估计用户模拟器、多轮对话、工具使用或可变环境状态各自的贡献。作者把一次只改变一个成分的消融留作后续。
• 模型家族归因（第 8 节、附录 E）： 作者称家族层面的归因也没有分开做。GPT-5 家族的模型级变化最大，附录 E 讨论了一种可能的 reasoning 模式解释。作者写明，把 reasoning 与其他家族差异分开，需要当前 API 不能充分暴露的控制消融。
• 缓解尚未测量（附录 F）： 作者按域提出检索来源标记、策略门控的工具调用、验证闸门、输出净化和独立护栏，并写明在 dual-control 下系统测量它们对 ASR 的影响是后续方向。

实验覆盖范围

• 主比较包含 Table 6 的 14 个模型、五个家族、八个领域和 solo 与 dual-control 两种机制，每种机制 1960 次试验，配置重复 n=5（第 4.4 节）。论文写明基准有 35 个任务，但没有写明这些试验与每个任务的对应，也没有写明 Table 1 的 T_user。
• 温度扫描是附录 B 的 9 个模型、T_user 三个取值，每个温度 1575 次试验（Table 3）。该子集不含 GPT-5 三档、Claude Opus 4.5 和 Qwen3.5-Flash。论文写明温度对之间无统计显著差别，并写明使用 Wilson 区间，但没有给出 p 值或区间端点。
• 通信断言的评审模型是 GPT-4o（temperature 0.0）。主轨迹中有 1775 条判定、894 次运行，人工核对 56/60（附录 E）。状态断言是确定性检查。用户侧模型在全部实验中都是 GPT-4o-mini。
• 附录 C 给出 dual-control 下 k=1 到 5 的 pass^k，并对所有用户温度取平均；Table 8 没有写明模型集合。附录 E 基于同一批 3920 条保存轨迹，写出了消息长度、三种终止原因和两类断言失败的比例。
• 实验对照是同一基准上的 solo 与 dual-control（第 4.1 节）。附录 F 写出与各域对应的缓解思路，并写明测量其对 dual-control ASR 的影响留作后续；论文未报告这些缓解的 ASR。

DUMA-Bench 把 τ²-bench 的双控交互做成智能体安全评测，用来看策略违反如何随用户、模型和环境一起出现。

• 问题： 被动用户评测覆盖的是固定提示下的单次行为。作者要比较没有活跃用户的 solo，以及用户模拟器与智能体共同改写轨迹的 dual-control。
• 做法： 八个领域、35 个可执行多轮任务，包括检索投毒、跨智能体操纵、不安全输出、受限数据过度分享、资源滥用、钓鱼式外发、身份冒充和工具影子。状态断言重放终态；通信断言由 GPT-4o 评判。各类断言取合取，违反即记攻击成功。用户侧固定为 GPT-4o-mini。
• 聚合： 五个家族共 14 个模型，每种机制 1960 次试验。ASR 从 26.9% 升至 41.1%（上升 14.2 个百分点），Pass^1 从 0.731 降到 0.589。作者报告该差异经 Fisher's exact test 统计显著（Table 1）。
• 分布： Table 2 中 ΔASR 的正端是 mktg_phishing 的 +0.593，为负的是 mail_rag_phishing 的 -0.031。作者认为前者依赖交互，后者主要来自检索管线。Table 4 的 dual ASR 两端是 Claude Sonnet 4.5 的 0.086 和 GPT-5-nano 的 0.793；ΔASR 为负的是 Qwen3.5-Plus 的 -0.036。作者称更强的通用能力并不稳定对应更高安全性。
• 温度与结论： 附录 B 的九个模型上，T_user 为 0.0、0.5、1.0 时聚合 ASR 为 0.284、0.281、0.270。作者称在这种用户侧波动下聚合结果稳定。作者的结论是：把活跃用户算进评测之后，安全结论会改变；dual-control 改变哪些漏洞可见，以及稳健程度应当如何解释。