跳到正文
原文

OverServe:通过工具与提示词协同设计对 SaaS 智能体的资源放大攻击

OverServe: Resource Amplification Attacks on SaaS Agents via Tool--Prompt Co-Design

arXiv:其他 AI 安全论文· arXiv:2611.14808· Ruiheng Yu, Oteo Mamo, Siyu Gan, Weikuan Yu, Mulong LuoFlorida State University; Johns Hopkins University本站收录· 6 天前· 原文发表入选 攻击精选关注度38

论文速读

攻击

据论文 PDF 整理(AI 生成),以原文为准

作者提出 OverServe,协同设计 MCP 状态工具与完成确认提示词放大 SaaS 智能体资源消耗,作者称 AppWorld 上 Sonnet-5 达 93.88× API 请求放大。

威胁模型攻击者是 SaaS 租户用户,控制提交给智能体的提示词,并可通过 MCP 提交第三方工具(定义名称、描述、参数 schema 和实现);可读已暴露工具、查询受害智能体,但不能改变受害智能体设置。

问题
订阅制 SaaS 智能体的模型与工具调用消耗服务商资源却不向客户额外计费,恶意租户可让智能体迟迟不停止以浪费服务商资源。作者认为仅靠提示词或仅靠工具的现有攻击容易被检测,不现实。
方法
OverServe 多智能体框架协同设计一对组件:如实报告状态、每次调用正常终止的 MCP 状态工具,和要求确认完成再停止的普通提示词。两者分别通过静态、运行时和提示词审查,组合后在后端持续更新时让智能体反复检查。
实验与结果
在 Qwen、Nemotron、DeepSeek、Sonnet 四个受害模型和九个基准的选定任务上,所有攻击运行通过原任务检查;AppWorld 上 Sonnet-5 达 93.88× API 请求放大,五个企业基准几何平均 10.30×;五个工业扫描器对 22 个工具零告警。
局限与可以继续做的
作者指出评测使用选定基准任务和受控后端模拟,原任务检查不验证新增的同步要求,审查输入、基线资格和基线适配在各实验间不一致。token 计数采用代理估计,论文写明不代表计费成本。
实验设置Qwen3.8-27B、Nemotron-3-Super 等 · MCPMark、BrowseComp-Plus 等 · amplification ratio (×)、tool calls 等
威胁模型
攻击者是 SaaS 租户用户,控制提交给智能体的提示词,并可通过 MCP 提交第三方工具(定义名称、描述、参数 schema 和实现);可读已暴露工具、查询受害智能体,但不能改变受害智能体设置。受害系统为订阅制 SaaS 智能体,服务商审查工具后才加入工具库,并控制既有工具、任务校验器、后端与更新计划。
被测模型
Qwen3.8-27BNemotron-3-SuperDeepSeek-v4-FlashSonnet-5Gemini-3.8-FlashDeepSeek-v4.1-Flash
基准
MCPMarkBrowseComp-PlusSTATE-BenchEnterpriseOps-GymEnterprise-WorldsWorkBenchToolathlon-GYMAppWorldTheAgentCompanyTerminal-Bench
指标
amplification ratio (×)tool callsAPI requestselapsed agent timereview scores (S/P/D)task-check pass
AI 导读和推荐理由研究者提出 OverServe 攻击框架,通过协同设计 MCP 状态工具与完成确认提示词,对订阅制 SaaS 智能体发起资源放大攻击。攻击者以用户身份向允许第三方 MCP 集成的服务提交看似普通的提示词,并附带如实报告服务状态的 MCP 工具,后台持续更新使完成条件一直待定,智能体会在原任务完成后仍反复调用工具,消耗提供商的推理与后端资源;工具与提示词单独看都无害,可分别通过工具审查和提示词审查。在 Qwen3.8-27B、Nemotron-3-Super、DeepSeek-v4-Flash 和 Sonnet-5 上针对九个基准的选定任务,所有攻击运行都通过原任务检查,Sonnet-5 在 AppWorld 上最高把 API 请求放大 93.88 倍,Qwen3.8-27B 在 EnterpriseOps-Gym 上把调用从 5 次推到 200 次。

研究者提出 OverServe 攻击框架,通过协同设计 MCP 状态工具与完成确认提示词,对订阅制 SaaS 智能体发起资源放大攻击。攻击者以用户身份向允许第三方 MCP 集成的服务提交看似普通的提示词,并附带如实报告服务状态的 MCP 工具,后台持续更新使完成条件一直待定,智能体会在原任务完成后仍反复调用工具,消耗提供商的推理与后端资源;工具与提示词单独看都无害,可分别通过工具审查和提示词审查。在 Qwen3.8-27B、Nemotron-3-Super、DeepSeek-v4-Flash 和 Sonnet-5 上针对九个基准的选定任务,所有攻击运行都通过原任务检查,Sonnet-5 在 AppWorld 上最高把 API 请求放大 93.88 倍,Qwen3.8-27B 在 EnterpriseOps-Gym 上把调用从 5 次推到 200 次。

推荐理由论文显示单独审查都合规的工具与提示词组合后能持续放大智能体资源消耗,做组件审查的团队可据此补上工作流层面的资源安全检查。

相关热点

0 个事件 · 1 条新闻提到

提到这篇论文的新闻

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    如何让恶意租户在不被检测的情况下放大 SaaS 智能体的资源消耗,造成服务商经济损失。

    核心问题:在订阅制 SaaS 部署中,恶意租户如何让智能体在完成原任务后仍持续执行,消耗服务商付费的 LLM API 资源,同时绕过服务商的审查机制。

    • 场景与动机:SaaS 服务商(如 Salesforce、SAP)用智能体执行长程工作流,模型与工具调用消耗服务商向 OpenAI 等支付的 token,但客户按订阅付费、与用量无关。智能体自主决定何时停止,攻击者可利用这一点造成服务商亏损。
    • 现有方法不足:作者认为仅靠提示词(如 ReasoningBomb、提示词改写)或仅靠工具(如恶意工具返回、终止操纵)的攻击容易被检测,因为现有工作未考虑真实系统会对提示词和工具两个攻击向量分别做检测。
    • 核心观察:智能体依据工具反馈判断进度并决定停止;若攻击者改变停止条件,让状态工具始终如实报告 pending,智能体就会反复检查直至耗尽执行预算。
    • 论文方案:提出 OverServe 多智能体框架,协同设计 MCP 状态工具与完成确认提示词,两者各自看似正常、分别通过审查,组合后在后端持续更新(churn)时维持反复检查。
    • 威胁模型:
      • 目标:放大智能体单次提示词下的工具调用数,超出完成原任务所需,且不被标记为恶意。
      • 知识:攻击者可读取暴露的工具及描述、查询受害智能体并观察响应。
      • 能力:作为 SaaS 用户控制提示词;以第三方 MCP 工具形式提交工具,定义其名称、描述、参数 schema 和实现;不能改变受害智能体设置。
      • 受害系统:订阅制 SaaS 智能体;服务商审查工具后入库,保留对受害智能体、既有工具、任务校验器、后端和更新计划的控制。
  2. 有哪些相关研究?

    相关工作分三组:模型内资源放大、智能体资源放大的多个入口、以及筛查与工作流安全防御。

    模型内资源放大

    • Sponge Examples(Shumailov et al., 2021)针对神经网络的能耗与延迟;OverThink(Kumar et al., 2025)向检索到的 QA 上下文注入高负载诱饵问题;ReasoningBomb(Liu et al., 2026)生成延长推理的短提示词。论文指出这些攻击在模型响应内部放大推理,而本文关注模型响应之外的工具使用放大。

    智能体资源放大

    • 用户提示词操纵:Li and Wang (2026)、Zhang et al. (2025) 通过改变给智能体的指令诱导冗余推理或重复调用;STA 在 query-only 访问下保持原任务语义。
    • 间接提示词注入:Greshake et al. (2023) 将对抗指令放在执行中检索的外部内容里;Xu et al. (2026c)、Li et al. (2026c) 用攻击者控制的内容扭曲完成判断或诱导高成本推理。
    • 工具与技能操纵:Lee et al. (2026)、Zhou et al. (2026)、Li et al. (2026a) 利用攻击者控制的工具元数据和返回消息诱导循环调用;Dong et al. (2026) 的技能指令施加高成本验证;Zhang et al. (2026a) 利用保留的工具返回增大后续输入。Arif et al. (2026) 的联合攻击将用户查询触发器与被攻陷远程智能体中的隐藏模板配对。

    筛查与工作流安全

    • 文本筛查:STA 的语义保真度标准、Beyond Max Tokens 的任务正确性标准;MCP-ITP(Li et al., 2026b)利用检测反馈;A2M 评估内容筛查。
    • 组件行为与一致性检查:Connor(Huang et al., 2026)检查组件行为,DCI(Shi et al., 2026)检查描述–代码一致性;另有功能正确但不安全补丁(Peng et al., 2026)、智能体反馈与停滞(Hou et al., 2026;Park and Choi, 2026)、资源生命周期(Luo et al., 2026)等研究。

    基线与基准:对比基线为 A2M、LoopTrap 和 Sponge Tool Attack (STA),在 MCPMark 文本合并与 EOG 频道加消息任务上、以 Qwen 和 Sonnet 为骨干对比(Table 2)。

    作者将本文定位为:针对通过多个工具更新服务状态的长程业务工作流,利用组件分别被接受与工作流资源安全之间的缺口——被信任的工具调用可累积成资源放大。

  3. 论文如何解决这个问题?

    OverServe 用 writer 智能体生成工具–提示词对,经三道分别的审查后在受害智能体上做 clean/quiet/churn 对照测试并选择放大对。

    OverServe 是一个多智能体框架:分析 SaaS 服务找出可查询完成状态的操作,由 writer 智能体把完成条件变成工具–提示词对,再经组件审查和受害智能体执行反馈筛选候选(Figure 2)。

    完成条件选择

    • 攻击前由 LLM 阅读服务与工具描述,提出完成条件(如目录同步、权限更新、搜索索引更新),为每个条件找到状态 API、写配套提示词,并解释为何在 quiet 下能完成、churn 下保持 pending。
    • 形式化:第 j 次检查时服务操作状态为 xj,g(xj) 为 1 表示完成、0 表示 pending;工具如实报告要求 oj[complete] = g(xj),即工具的完成判定等于后端真实状态。
    • 持续的外部更新可在执行窗口内让该值保持为 0,受害智能体因此反复查询工具。

    工具–提示词协同设计

    • 对每个完成条件,writer 生成工具元数据、参数 schema、实现代码和完成提示词 q;元数据使用目标 SaaS 服务的术语,实现代码查询操作状态并返回是否完成及待处理更新数。
    • 工具约束:不含内部重试循环、提示词匹配测试、伪造状态或直接要求再次调用的指令;q 要求确认完成但不指定重复调用或执行预算,保留原任务目标。
    • 服务专用环境适配器注册工具、把 q 附加到原任务 p 后、连接服务接口;Figure 3 给出一个实测的工具–提示词对示例。

    审查约束

    • 三道审查:静态审查 rs(ta) 检查工具元数据、schema、源码与后端 API 契约(审查者拿到 API 规格而非后端实现);运行时检查 rd(ta) 在后端工作全部完成后最多调用六次,前两次调用内无错误报告完成则通过;提示词审查 rp(p′) 评估 p′ 是否表达普通任务意图、标记显式耗尽资源的指令。
    • 准入条件为 Admit(a, p) = rs(ta) ∧ rd(ta) ∧ rp(p′),三者全过才入库;协议阈值为静态 0.8、提示词 0.7。

    攻击选择与确认

    • 三种条件测试候选:clean(原任务、既有工具、churn 后端)、quiet(加入攻击对与已完成后端)、churn(同一对加 pending 后端);quiet 与 churn 共享初始任务状态、受害模型和执行预算。
    • 放大倍数 α0 = Cc/C0、αq = Cc/Cq,即 churn 中位调用数分别对 clean 和 quiet 基线之比。
    • 选择要求:通过准入、quiet 基线通过任务检查且正常停止、被攻击运行调用了构造工具、通过任务检查并达到放大阈值;合格对按放大倍数排序,选定后固定并独立重放,与生成阶段分开报告(Algorithm 1)。
  4. 论文做了哪些实验?

    四个受害模型、九个基准加命令行任务:churn 下放大最高 93.88×,全部通过原任务检查,扫描器零告警。

    实验设置

    • 受害模型:Qwen3.8-27B、Nemotron-3-Super、本地 DeepSeek-v4-Flash、Bedrock 上的 Sonnet-5;附录另有 Gemini-3.8-Flash 和托管 DeepSeek-v4.1-Flash。
    • 基准:MCPMark、BrowseComp-Plus、STATE-Bench、EnterpriseOps-Gym (EOG)、Enterprise-Worlds、WorkBench、Toolathlon-GYM、AppWorld、TheAgentCompany 的选定任务,加 Terminal-Bench 派生的命令行任务。
    • 构造与审查模型:writer 与静态、提示词审查者用 gpt-5.6-sol (G) 或 z-ai/glm-5.3-flash (L);BrowseComp-Plus 查询 655 用 Qwen3-14B 做答案评分。
    • 指标:工具调用数(AppWorld 计 API 请求、Terminal-Bench 计耗时秒数)、放大倍数、S/P/D 三个审查分数、是否触及执行上限(Hit)。
    • 重复次数:各设置不同,如 EOG 在 200 次迭代下 Q/N/S 用三对、D 用一对;Table 5 列出每个设置的基线/攻击重复数。
    • 基线攻击:A2M、LoopTrap、STA(四轮搜索),在 MCPMark TxtMerge 与 EOG 任务上以 Qwen 和 Sonnet 为骨干,40 轮预算。

    主结果

    据 Table 1(基线 → churn 资源用量,Amp. 为比值,Hit 为是否触及执行上限):

    表格较宽,可左右滑动

    BenchmarkQwen3.8-27BNemotron-3-SuperDeepSeek-v4-FlashSonnet-5
    MCPMark TxtMerge5.5→101, 18.36×9→32, 3.56×6→102, 17.00×4→72, 18.00×
    EnterpriseOps-Gym5→200, 40.00×5→200, 40.00×6→201, 33.50×5→26, 5.20×
    STATE-Bench4→114, 28.50×5→106, 21.20×5→107, 21.40×6→33, 5.50×
    AppWorld23→213, 9.26×26→559.5, 21.52×68→1478.5, 21.74×29→2722.5, 93.88×
    WorkBench2→120, 60.00×2→16, 8.00×2→120, 60.00×2→17, 8.50×
    Terminal-Bench(秒)27→332, 12.12×23→1200, 51.76×30→1200, 39.34×22→1200, 53.48×

    (省略 TheAgentCompany、Toolathlon、Enterprise-Worlds、MCPMark Recommender、BrowseComp-Plus 行;Toolathlon 放大最低,四个模型为 1.38×–1.73×;BrowseComp-Plus 仅 Sonnet 有 4.55×,其余模型基线任务未完成。)

    • 作者报告:五个企业工作流基准的 20 个受害模型–基准条目几何平均放大 10.30×,按模型分别为 Qwen 19.30×、Nemotron 8.07×、本地 DeepSeek 17.75×、Sonnet 4.07×。
    • 所有 OverServe 运行通过原任务检查;WorkBench 上 Nemotron 在 120 步上限下从 2 次调用增至 16 次(8.00×),九个 Nemotron 攻击运行全部通过原生基准检查。
    • BrowseComp-Plus 上只有 Sonnet 一行结果,其余模型标注为基线任务未完成。

    与现有攻击对比

    • Table 2:OverServe 在 quiet 下放大 1.25–1.50×,churn 下升至 7–10×;LoopTrap 在两种条件下均为 10×(quiet 开销 2–10×),A2M 为 1.17–1.50×,四轮 STA 低于 2×。全部 24 次运行通过任务检查。
    • 隐蔽性:源码审查与 Connor 检测器能检出所有受测 A2M 和 LoopTrap 工具,但未能检出 OverServe 工具;OverServe 的提示词通过审查(Table 2 中代码、运行时、提示词审查均为 2/2)。
    • token 层面:churn 下相对 clean 运行,OverServe 累计输入/输出 token 中位放大 8.70×,LoopTrap 式为 4.97×,A2M 与 STA 约 1.2×(Table 6,每方法每条件 12 次运行)。

    工具–提示词交互与机制控制

    • Table 3(Qwen、固定工具):原始任务提示词下智能体调用 4 次且从不调用构造工具;无关提示词下总调用 27(quiet)/25(churn)次但构造工具仍零调用;匹配或改述提示词下 quiet 5 次、churn 40 次(含 36 次构造工具调用)。
    • 后端条件:无新更新时中位 5 次调用并正常停止;十次更新后停止为 37 次;持续更新或 45 秒时停止更新均达 40 轮预算;只检查首次查询版本时 22 次并正常停止。
    • 附录 D:改述提示词在 GLM 三次评审中得分 0.40/0.70/0.75(中位数通过 0.7 阈值),匹配原措辞得分 0.60/0.60/0.90(中位数不通过),但两种措辞都触发了工具调用。

    工具筛查与迁移

    • Table 4:五个工业扫描器(Cisco YARA、Lasso regex、MCPInspect、MCPShield、LLM 工具审查)对 22 个归档工具告警均为 0/22;研究检测器 DCI 报 3/22、Connor 报 1/22、Repeat-cue 0/22、No fixed point 6/22。
    • 固定构件迁移(Table 7,MCPMark):同一对工具–提示词在 Sonnet-5、托管 DeepSeek-v4.1-Flash、Gemini、Qwen 上放大 2.10×–7.44×,全部 churn 原生检查通过。
    • 元数据迁移(Table 8,STATE-Bench):Qwen 6/6 通过状态检查、3.55×;Gemini 11/12 通过、1.60×。

    其他消融与分析

    • 评审者敏感性:同一六对 G 生成的 EOG 候选,G 评审 4/6 满足全部分数阈值,L 评审同为 4/6(组件计数 6/4/6 对 5/5/6)。
    • 早期 MCPMark 研究(Figure 4,50 轮上限):Qwen 在 TxtMerge 从 8 次升至 51 次(6.38×)、Recommender 从 6 次升至 51 次(8.50×),18 次执行全部通过基准检查。
    • 提示词与元数据控制(Figure 5,Qwen):给纯工具加完成提示词使工具调用率从 1/16 升至 16/16(MCPMark)、0/12 升至 9/12(Enterprise-Worlds)。
    • 引言 EOG 案例(附录 E.1):200 次迭代上限下三对均从 5 次调用增至 200 次(40×),全部通过频道与消息检查。
  5. 有什么可以进一步探索的点?

    作者指出评测限于选定任务与受控后端模拟、任务检查不覆盖新增要求;实验覆盖四个主受害模型与十个基准环境。

    作者指出的局限与后续方向

    • 评测使用选定的基准任务和受控后端模拟(Limitations 节)。
    • 原任务检查只评估业务结果(如频道创建),不检查新增的同步要求(Limitations 节)。
    • 审查输入、基线资格和基线适配在各实验间不一致,附录 C 记录这些条件(Limitations 节)。
    • 作者称代码发布应包含审查过的工具与提示词输入、状态模拟设置和在授权环境中复现的说明,包括限制资源使用所需的执行上限(Ethical Considerations 节,属计划)。

    实验覆盖范围

    • 主结果被测模型为 Qwen3.8-27B、Nemotron-3-Super、本地 DeepSeek-v4-Flash、Sonnet-5 共四个;附录另有 Gemini-3.8-Flash 与托管 DeepSeek-v4.1-Flash 的迁移结果。
    • 基准覆盖九个核心基准的选定任务加一个 Terminal-Bench 派生命令行任务;各设置重复次数见 Table 5(如 EOG 200 次迭代下 Q/N/S 各三对、D 一对)。
    • 防御评测包括五个工业扫描器与四个研究检测器对 22 个归档工具的筛查(Table 4),以及 Table 2 中源码审查与 Connor 对 A2M、LoopTrap 工具的对照检测;论文写明这些是导入组件的筛查,未做完整原任务加提示词的防御基准运行。
    • token 统计基于 96 次攻击重放与 4 次 clean 参考(每方法每条件 12 次),使用累计用量与前缀复用代理;论文写明缓存 token 估计不代表计费成本,推理 token 未单独计入。
    • 论文未报告 writer 与评审模型的搜索预算在各方法间一致;附录 C.2 写明各方法搜索预算不同。
  6. 总结一下论文的主要内容

    OverServe 协同设计如实报告状态的 MCP 工具与完成确认提示词,分别过审、组合放大 SaaS 智能体资源消耗。

    一篇针对 SaaS 智能体的资源放大攻击论文。订阅制 SaaS 中智能体的 token 消耗由服务商承担,恶意租户可利用智能体的停止决策延长执行、造成经济损失;作者认为仅走提示词或仅走工具的现有攻击容易被分别部署的检测发现。

    • 方法:OverServe 多智能体框架为每个服务选出可查询完成状态的操作,生成一对组件——如实报告状态、每次调用正常终止的 MCP 状态工具,和要求确认完成再停止的普通提示词。两者分别通过静态(阈值 0.8)、运行时和提示词(阈值 0.7)审查;组合后在后端持续更新(churn)时让智能体反复检查直至预算耗尽。
    • 主结果:四个受害模型(Qwen3.8-27B、Nemotron-3-Super、本地 DeepSeek-v4-Flash、Sonnet-5)在九个基准选定任务上,所有攻击运行通过原任务检查;AppWorld 上 Sonnet-5 达 93.88× API 请求放大,五个企业基准 20 条目几何平均 10.30×(Table 1)。
    • 激活条件:原始或无关提示词下构造工具零调用,只有匹配或改述的完成提示词才触发;无新更新时智能体正常停止(Table 3)。
    • 隐蔽性:五个工业扫描器对 22 个构造工具告警 0/22,DCI 报 3/22、Connor 报 1/22;而能检出所有受测 A2M 与 LoopTrap 工具的源码审查和 Connor 对 OverServe 工具无效(Table 2、4)。
    • 作者结论:将攻击机制分散到工具与提示词两个组件,可在分别审查下保持被接受,而组合后产生资源放大;作者指出评测限于选定任务与受控后端模拟,任务检查不覆盖新增的同步要求。
阅读原文arxiv.org