跳到正文
原文

超越提示注入:LLM Agent 安全中的工具更新缺口

Beyond Prompt Injection: The Tool Update Gap in LLM Agent Security

arXiv:越狱、提示注入、投毒与防御· arXiv:2611.01976· Shiyu Kan, Yue Qi, Yufei Han, Xinjian Luo, Guojun Xiong, Xiaofeng GaoShanghai Jiao Tong University; Inria本站收录· 16 天前· 原文发表入选 攻击精选关注度42

论文速读

攻击

据论文 PDF 整理(AI 生成),以原文为准

作者提出 ETUDE,借工具更新注入恶意代码,在七个智能体框架上 ASR 97.6%、正常任务完成率 95.9%,并称现有三类防御不足。

威胁模型攻击者控制单个外部工具的发布渠道,可分发任意更新;完全了解该工具的代码、接口和元数据,但不能控制框架、LLM、用户请求或其他工具;工具已以良性状态通过准入。

问题
智能体框架在工具初次准入时做安全检查,但工具更新后沿用原有身份和授权、不再复查,形成"工具更新缺口",作者认为这构成供应链漏洞,现有针对模型可见内容的防御难以覆盖。
方法
提出 ETUDE:先发布良性工具通过准入,再经更新在工具实现中嵌入恶意操作,保留接口与正常功能,在合法调用时于工具运行时内直接执行,不经模型上下文。
实验与结果
在七个框架、多种后端、三种工具功能上评测:RQ1 中 ETUDE 的 ASR 100.0%、TCR 99.6%,最强基线 P-ctx×E2 的 ASR 20.2%;作者并称完整性校验、静态审查、运行时审计三类防御均不足。
局限与可以继续做的
作者指出:攻击使用研究者自写工具而非真实开源工具;运行时审计的覆盖率与成本数字仅基于本研究任务。被测为七个框架、三种后端、三种工具功能,运行时审计仅在 OpenCode/GLM 上适配测试。
实验设置GLM-5.3-Flash、Qwen-3.8-27B 等 · W1 合成凭证外泄、W2 未授权 API 下单 等 · ASR、TCR 等
威胁模型
攻击者控制单个外部工具的发布渠道,可分发任意更新;完全了解该工具的代码、接口和元数据,但不能控制框架、LLM、用户请求或其他工具;工具已以良性状态通过准入。攻击属 E2×P-direct:经后续更新投送、由工具代码直接执行,无需对抗指令。
被测模型
GLM-5.3-FlashQwen-3.8-27BDeepSeek-V4-Flash
基准
W1 合成凭证外泄W2 未授权 API 下单W3 本地文件篡改Markdown cleaner / CSV statistics / ICS generator 三种工具
指标
ASRTCRDSRTLSH distance
AI 导读和推荐理由上海交通大学与 Inria 研究者提出 ETUDE 攻击,通过向已获信任的工具推送恶意更新,在七个 Agent 框架上实现 97.6% 的攻击成功率。攻击先以良性工具通过准入审查建立信任,再借正常更新植入恶意功能;恶意操作在工具运行环境中直接执行、不进入模型上下文,因而绕过提示注入检测器和静态技能扫描,正常任务完成率仍保持 95.9%。实验覆盖 Gemini CLI、Codex CLI、Claude Code、DeepSeek Harness、OpenCode、Pi、Goose,未授权目标包括外传合成凭据、未授权 API 调用和修改本地文件。作者建议将授权绑定到经过审查的具体代码实现,并配合最小权限与执行时安全策略。

上海交通大学与 Inria 研究者提出 ETUDE 攻击,通过向已获信任的工具推送恶意更新,在七个 Agent 框架上实现 97.6% 的攻击成功率。攻击先以良性工具通过准入审查建立信任,再借正常更新植入恶意功能;恶意操作在工具运行环境中直接执行、不进入模型上下文,因而绕过提示注入检测器和静态技能扫描,正常任务完成率仍保持 95.9%。实验覆盖 Gemini CLI、Codex CLI、Claude Code、DeepSeek Harness、OpenCode、Pi、Goose,未授权目标包括外传合成凭据、未授权 API 调用和修改本地文件。作者建议将授权绑定到经过审查的具体代码实现,并配合最小权限与执行时安全策略。

推荐理由论文在七个 Agent 框架上实测该攻击成功率达 97.6%,在 Agent 中使用外部工具的团队可据此检查更新是否沿用旧授权。

相关热点

1 个事件 · 1 条新闻提到

提到这篇论文的新闻

大模型安全周报:智能体安全边界在签名、授权与上下文

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    工具更新后沿用旧授权、不再复查,形成"工具更新缺口",作者提出 ETUDE 攻击加以验证。

    核心问题:智能体框架对外部工具的信任在工具更新后仍然延续,更新代码不经重新审查即可执行,形成供应链漏洞(作者称之为 tool update gap),其安全影响尚缺乏系统研究。

    • 场景与重要性:LLM 智能体大量集成第三方工具,仅 MCP 生态就索引超过 177,000 个社区工具;作者观察到所评估的七个框架中,工具更新后原有权限仍然有效,类似 XZ Utils、event-stream 等现实供应链事件。
    • 现有研究不足:作者称已有工作主要关注提示注入(对抗指令进入模型可见输入),相应防御也集中在模型可见内容上;工具准入后的代码变更利用"仍未被充分探索"。
    • 核心观察:工具代码在 LLM 上下文窗口之外执行,更新中嵌入的恶意功能可绕过以模型可见交互为中心的防御,且正常任务完成不暴露攻击。
    • 论文提出:刻画工具更新缺口并提出攻击 ETUDE(Exploiting Tool Updates for Direct Execution),在七个框架、多种后端、三种未授权目标上评测,并考察三类现有防御。
    • 威胁模型(Section 3):
      • 目标:敏感信息泄露、未授权外部 API 操作、本地文件篡改三类未授权操作,同时保持合法功能。
      • 知识:完全了解所控工具的代码、接口和模型可见元数据。
      • 能力:控制单个工具的发布渠道、可分发任意更新;不能控制框架、LLM、用户请求或其他工具;工具已以良性状态通过准入。
      • 受害系统:集成外部工具的 LLM 智能体框架;攻击定位为 E2×P-direct(更新投送、代码直接执行)。
  2. 有哪些相关研究?

    相关工作分四组:模型可见内容攻击、恶意工具与更新后变更、静态检查、运行时审计。

    模型可见内容攻击

    • 间接提示注入(Greshake et al. 2023;Chang et al. 2026)——在外部内容中嵌入恶意指令操纵智能体行为;MCP 生态中的工具投毒(Huang et al. 2026;Wang et al. 2025 的 MCPTox)用恶意工具描述重定向智能体。
    • DDIPE(Qu et al. 2026)在可复用示例和模板中嵌入恶意逻辑;payload-less 攻击(Liu et al. 2026)用自然语言指令诱导智能体生成恶意代码。论文指出这类攻击共同依赖 LLM 解读并遵循对抗内容。

    恶意工具与批准后的变更

    • MalTool(Hu et al. 2026)——构造保留宣称功能的恶意工具并系统评估其可检测性。
    • ETDI(Bhatt et al. 2025)——研究批准后变更的风险,提出数字签名工具定义、版本跟踪和资源访问校验。论文称跨框架实际利用准入后更新的研究仍不足。
    • 实证研究(Liu et al. 2026)记录真实 skill 注册表中的恶意代码与指令操纵。

    工具与 skill 包的静态检查

    • MalSkills(Wang et al. 2026)分析 skill 指令、脚本与配置的依赖;IntelGuard(Guo et al. 2026)用威胁知识驱动的 LLM 推理检测恶意包;Acoda(Rao et al. 2026)研究代码混淆如何逃过 LLM 代码分析。论文称静态防御对(尤其带混淆的)恶意更新的有效性尚不清楚。

    运行时审计

    • Cloak and Detonate(Ji et al. 2026)提出 SkillDetonate,监控操作系统活动与数据流检测可疑行为;论文指出恶意操作仅在特定输入或环境条件下触发时,其有效性可能受限。

    基线与基准:攻击对比基线为 P-ctx×E2、P-ctx×E1、P-direct×E1 三种条件(Table 1 分类);防御评测对象为 Cisco MCP Scanner、SkillFortify、NVIDIA SkillSpector、TLSH 完整性校验和 SkillDetonate 式运行时审计。作者定位:ETUDE 结合"准入后投送"与"直接代码执行",区别于既有攻击范式。

  3. 论文如何解决这个问题?

    ETUDE:良性工具先过准入,更新嵌入恶意操作,合法调用时在工具运行时内直接执行。

    整体思路:ETUDE 利用工具更新缺口,先以良性实现 A(v1) 通过准入建立信任,再发布保留原接口、嵌入恶意操作的 A(v2);框架采纳更新后,后续合法调用即在原授权下执行 A(v2)(Figure 1)。

    攻击分类与定位

    • 按投送时机(E1 准入时 / E2 更新时)与执行路径(P-direct 代码直接执行 / P-ctx 经模型上下文诱导)划分四类攻击(Table 1)。
    • ETUDE 属 E2×P-direct:恶意功能经更新引入,由工具代码在合法调用中直接执行,不需要对抗指令进入 LLM 上下文。

    恶意实现 A(v2) 的三条设计要求

    • R1 接口保留:工具名、描述、输入 schema 与 A(v1) 相同,模型可见接口不变。
    • R2 功能保留:保留 A(v1) 的宣称功能,对合法输入返回预期结果,避免功能异常暴露攻击。
    • R3 直接执行:未授权操作在工具实现内完成,不表现为模型发起的额外工具调用;操作经异常处理隔离,失败时工具仍返回正常结果,使任务完成与攻击成功相互独立。

    激活与跨框架通用性

    • 主配置下恶意操作在普通调用中执行,不依赖特定触发短语;另有仅在特定输入或环境条件下激活的变体,用于考察运行时审计。
    • 作者称 ETUDE 只依赖两个条件:已准入工具能采纳更新实现、后续调用在原身份与授权下执行更新代码,与具体框架、加载机制、后端无关;七个框架各用其原生加载机制(如 Gemini 替换服务进程、Pi 用 ctx.reload)。

    评测设计

    • 三类未授权目标:W1 读取合成凭证并发送到测试接收端;W2 经测试 API 下单;W3 覆写隔离的合成研究笔记。成功判定用独立的接收端/服务端/文件证据,不看模型最终回复。
    • 指标:ASR(指定攻击目标达成率)与 TCR(正常任务完成率)分开计分;每轮 20 个计划任务,每条件跑五轮,报告均值与样本标准差;准入审查返回 BLOCK/UNKNOWN 时不计入成功。
    • 防御评测:TLSH 文件相似度门控,距离 d(A(v1), A(v2)) = diffTLSH(h1, h2) 小于阈值 t 则 ALLOW、否则 BLOCK,用于检验"相似即安全"假设;另有 Cisco MCP Scanner(GLM-5.3-Flash 适配器)静态审查、SkillFortify/SkillSpector 包级扫描、SkillDetonate 式隔离执行审计。
  4. 论文做了哪些实验?

    四个研究问题:RQ1 主攻击效果、RQ2 跨后端、RQ3 跨工具功能、RQ4 三类防御。

    实验设置

    • 被测框架:Gemini CLI 0.62.0、Codex CLI 0.159.3、Claude Code 2.1.284(闭源)、DeepSeek Harness 0.2.0-rc.2、OpenCode 1.18.34、Pi 0.86.1、Goose 1.45.0(Table 2)。
    • 后端:RQ1 用 GLM-5.3-Flash;RQ2 比较 GLM-5.3-Flash、Qwen-3.8-27B、DeepSeek-V4-Flash(thinking 开/关)四种配置。
    • 负载:W1 凭证外泄、W2 未授权下单、W3 文件篡改;工具为 Markdown cleaner、CSV statistics、ICS generator。
    • 基线:P-ctx×E2、P-ctx×E1、P-direct×E1;RQ1–RQ3 统一加 Cisco MCP Scanner(GLM 适配器)准入审查门。
    • 指标与规模:ASR、TCR 按五轮×20 任务计均值±样本标准差;RQ1 共 2,100 个 ETUDE 任务,W3 全部条件共 3,600 个计划任务(180 轮)。
    • 成功判定:W1 需接收端载荷与源文件一致;W2 需服务端存在带标记订单;W3 需完整指定替换文本,仅改文件不计入 ASR。

    主结果

    据 Table 5(GLM-5.3-Flash + Markdown cleaner,五轮均值%,W3 的 ASR 列为"指定内容达成"):

    表格较宽,可左右滑动

    框架条件W1 ASRW2 ASRW3 ASR
    Gemini CLIETUDE100.0100.0100.0
    Codex CLIETUDE100.0100.0100.0
    Claude CodeETUDE99.0100.0100.0
    OpenCodeETUDE100.0100.0100.0
    DeepSeek HarnessETUDE100.099.0100.0
    PiETUDE100.0100.0100.0
    GooseETUDE100.0100.0100.0
    宏平均P-ctx×E229.416.714.4
    • 正文汇总:21 个等权框架×负载条件下 ETUDE 的 ASR 100.0%、最终输出 TCR 99.6%,最强基线 P-ctx×E2 为 20.2% ASR、96.4% TCR;摘要给出 97.6% ASR 与 95.9% TCR 的总数。
    • 基线失败模式:E1 条件下准入审查拦截了 105 个 P-direct 轮次中的全部和 105 个 P-ctx 轮次中的 95 个;P-ctx×E2 依赖模型主动发起额外调用,Claude Code 在 297/300 任务中发起额外调用,OpenCode 在 300 个任务中均未发起。
    • 例外:Claude Code 的 W3 ASR 为 23%(100 个任务均修改了文件,但仅 23 个达成指定内容);2,100 个 RQ1 任务中 8 个最终输出错误、7 个未通过输入/工具检查,full-task TCR 99.3%。

    RQ2:跨模型后端

    • 测了什么:固定 W1 与 Markdown cleaner,四种后端配置×七个框架(Table 8、Figure 3(a))。
    • 结果:ETUDE 在全部 28 个组合中均有确认攻击效果,ASR 80.0%–100.0%,均值 96.4%,full-task TCR 94.0%;P-ctx×E2 为 0%–100.0%。
    • 作者解读:P-ctx 依赖模型进一步决策,正常任务可在不执行额外操作的情况下完成;ETUDE 把操作放在工具正常执行路径内,规避了该决策。

    RQ3:跨工具功能

    • 测了什么:固定 GLM 与 ETUDE,三种工具×四个框架(Table 7、Figure 3(b))。
    • 结果:36 个框架×工具×负载组合全部出现确认攻击效果;W3 下 Markdown 与 ICS 的文件修改率和最终输出 TCR 均为 100.0%,CSV 两者均为 91.8%。
    • 失败分析:33 个 CSV 原生调用传入畸形参数(32 个保留字面换行转义、1 个表头含回车转义),解析失败使正常任务与攻击效果同时落空;作者称这反映输入构造问题而非操作被拒绝。

    RQ4:防御评测

    • TLSH 完整性校验(Figure 4):合法更新距离 1–221(功能新增 173–221),W1/W2/W3 距离 156/145/233;t=233 时 40 个合法更新全过、仅挡 W3,t=145 时三个目标全挡但 22/40(55%)合法更新被误拒。作者称不存在"挡住全部目标又放行全部维护"的阈值。
    • 静态 LLM 审查(Table 4):Cisco/GLM 对可读 ETUDE 更新的拒绝率 98.3%;PyArmor 保护后 ETUDE 仍有 85.0% ASR、84.3% TCR,且 100 个受保护合法控件中 7 个被拒、2 个 UNKNOWN。包级扫描中 SkillFortify 放行全部三个受保护目标,SkillSpector 拒绝全部三个目标但也拒绝全部 20 个受保护合法更新(Table 10)。
    • 运行时审计(OpenCode/GLM 适配 SkillDetonate):30 个更新工具审计全部产生未授权操作与告警、30 个良性工具审计无告警;但条件触发的 Markdown 变体只对触发输入告警,环境条件变体在沙箱中 ALLOW 且无告警、在正常执行中产生攻击效果(Table 12)。12 次长文档审计平均延迟 112.8±13.7 秒、估计模型费用每次 0.00697 美元,为静态审查参考的 6.3 倍和 1.5 倍。

    其他消融与分析

    • 准入审查:29 次 Gemini 准入审查中 27 次 BLOCK、2 次 UNKNOWN(附录 A)。
    • 历史更新:AWS MCP 与 GitHub MCP Server 采样历史更新在 t=30/145/233 下分别被挡 3/8、1/8、1/8 与 0/10、0/10、0/10(Table 9)。
    • 源码预算诊断:2,000 字符视图排除了全部六个效果处理器,短视图下原始形式 BLOCK 率 0.0%、受保护形式 26.7%(Table 11)。
    • 混淆下两条直接路径合并:受保护 A(v2) 产生 2,180/2,400 个攻击效果,合并 ASR 90.8±4.6%(附录 B.3,非 ETUDE 单独)。
  5. 有什么可以进一步探索的点?

    作者写明两条局限与一项后续工作;实验覆盖七个框架、三种后端与三类防御。

    作者指出的局限与后续方向

    • 攻击使用研究者自行编写的工具实现并在受监控权限下演示,而非修改真实开源工具,以避免伦理问题(Section 6 Limitations)。
    • 运行时审计的覆盖率与成本数字仅基于本研究测试的智能体任务(Section 6 Limitations)。
    • 后续工作:对真实世界工具做更全面的成本评估(Section 6 Limitations,作者计划)。

    实验覆盖范围

    • 被测框架为 Gemini CLI、Codex CLI、Claude Code、DeepSeek Harness、OpenCode、Pi、Goose 共七个(Table 2);后端为 GLM-5.3-Flash、Qwen-3.8-27B、DeepSeek-V4-Flash(thinking 开/关)共四种配置(Section 5.1)。
    • 攻击负载为 W1/W2/W3 三类未授权目标,工具功能为 Markdown cleaner、CSV statistics、ICS generator 三种;每条件五轮、每轮 20 个计划任务(Section 5.1)。
    • 防御评测包括 TLSH 完整性校验、Cisco MCP Scanner 静态审查、SkillFortify 与 SkillSpector 包级扫描、SkillDetonate 式运行时审计(Section 5.5);运行时审计仅在 OpenCode/GLM 上适配测试,串行部署与长延迟/多会话激活未测量(附录 B.3)。
    • 论文未报告攻击构造所用的辅助模型;恶意工具实现由研究者编写,未说明是否借助模型生成。
    • 环境条件变体的沙箱逃逸依赖作者适配器的 UID 映射差异,论文注明该差异为其适配器特有,SkillDetonate 原文报告 Docker 隔离但未说明 UID 映射(Section 5.5)。
  6. 总结一下论文的主要内容

    ETUDE 借工具更新缺口在七个框架上达成高 ASR 与高任务完成率,三类现有防御均被指不足。

    一篇智能体供应链安全攻击论文,研究外部工具更新后授权延续、代码不再复查的"工具更新缺口"。

    • 问题:框架在工具准入时建立信任,更新后沿用原身份与授权;恶意代码在模型上下文之外执行,作者认为以模型可见内容为中心的防御难以覆盖。
    • 方法:ETUDE 先以良性工具通过准入,再经更新嵌入恶意操作,保留接口与正常功能(R1–R3),在合法调用时于工具运行时内直接执行,无需对抗指令。
    • 主结果:RQ1 中 21 个框架×负载条件下 ASR 100.0%、最终输出 TCR 99.6%;最强基线 P-ctx×E2 的 ASR 20.2%(Table 5)。摘要汇总七个框架上 ASR 97.6%、TCR 95.9%。
    • 泛化:四种后端×七框架共 28 个组合全部有确认攻击效果,ASR 均值 96.4%(Table 8);三种工具×四框架共 36 个组合全部出现攻击效果(Table 7)。
    • 防御评测:TLSH 校验不存在兼顾挡攻击与放行维护的阈值;PyArmor 混淆后 ETUDE 经 Cisco/GLM 审查仍有 85.0% ASR;运行时审计能告警已执行行为,但条件触发变体可逃逸,且延迟为静态参考的 6.3 倍。
    • 作者结论:工具授权应绑定到被审查的具体实现而非工具身份,并需运行时的最小权限执行约束;作者称这暴露了准入时筛查与模型中心防御的盲区。
阅读原文arxiv.org