跳到正文
原文
arXiv:越狱、提示注入、投毒与防御· arXiv:2609.30383· Zihao Zhu·本站收录· 原文发表精选关注度56

研究者提出技能级联攻击,在 OpenClaw、Claude Code 与 Codex 上平均成功率 89.4%

Stealth Apart, Harm Together: Skill Cascading Attacks on Skill-Based Agent Systems

论文速读

攻击

据论文 PDF 整理(Gemini 生成),以原文为准

作者对基于技能的智能体系统提出将恶意目标分散于多个技能的技能级联攻击,在 24 种配置下诱发有害行为的平均 ASR 为 89.4%。

威胁模型攻击者作为生态中的技能开发者控制目标智能体上安装的两个或更多技能,可修改其触发描述、指令、脚本、参考文档或资产文件;不能修改大模型权重、系统提示词或平台机制,不能查看或篡改用户输入与会话,不能修改未受控技能;通过将恶意技能打包为单一供应商套件促成共同安装,在良性用户请求下诱发有害结果。

问题
基于技能的智能体通过共享上下文窗口在技能间传递信息,现有安全研究与扫描工具均假设单技能为分析单元,忽视了跨技能交互带来的安全盲区,无法防御多个单独良性但协同产生危害的组合威胁。
方法
作者形式化了具备个体隐蔽性、联合危害性与不可或缺性的技能级联攻击威胁范式,并构建包含五个专门智能体的 SKILLCASCADE 自动化红队框架,通过三层反馈循环生成并验证级联攻击测试用例。
实验与结果
在 3 种智能体系统和 8 种骨干模型的 24 种配置下,级联攻击平均 ASR 达 89.4%,对单技能扫描器保持 86% 以上隐蔽率,对四种运行时防御的平均逃逸率达 88.5%。
局限与可以继续做的
实验基于沙箱而非真实生产部署,绝对攻击率应视为压力测试;大模型评审智能体缺少互补的人工复核;开放市场中攻击者控制的技能协同安装发生率尚不明确;自适应防御在组合型与混合型级联上仍受限。
实验设置GPT-5.4、GPT-5.4 Mini 等 · SKILLCASCADE-BENCH、ClawHub · ASR、SRper 等
被测模型
GPT-5.4GPT-5.4 MiniClaude Opus 4.6Claude Sonnet 4.6Gemini 2.5 ProGemini 2.5 FlashQwen 3 72BKimi K2.5OpenClawClaude CodeCodex
基准
SKILLCASCADE-BENCHClawHub
指标
ASRSRperSRjointDER
AI 导读和推荐理由研究者提出技能级联攻击(skill cascading attacks),把恶意目标分散到多个 Agent 技能中,使每个被改动的技能单独看都通过安全扫描,组合执行后才产生危害。作者构建了多智能体红队框架 SkillCascade,并基于 ClawHub 上的真实技能发布 SkillCascade-Bench,包含 10 个领域的 213 个验证用例,平均级联长度为 3.25 个技能。在 OpenClaw、Claude Code 和 Codex 三类 Agent 系统与 8 个 LLM 后端上,攻击平均成功率为 89.4%,各后端介于 76.5% 至 97.1%,其中 Claude Opus 4.6 与 GPT-5.4 最抗攻击,开源权重后端 Qwen 3 72B 最易受攻击。攻击对逐技能扫描器、跨技能联合扫描器和运行时防御均保持较高规避率,运行时防御平均规避率为 88.5%。

研究者提出技能级联攻击(skill cascading attacks),把恶意目标分散到多个 Agent 技能中,使每个被改动的技能单独看都通过安全扫描,组合执行后才产生危害。作者构建了多智能体红队框架 SkillCascade,并基于 ClawHub 上的真实技能发布 SkillCascade-Bench,包含 10 个领域的 213 个验证用例,平均级联长度为 3.25 个技能。在 OpenClaw、Claude Code 和 Codex 三类 Agent 系统与 8 个 LLM 后端上,攻击平均成功率为 89.4%,各后端介于 76.5% 至 97.1%,其中 Claude Opus 4.6 与 GPT-5.4 最抗攻击,开源权重后端 Qwen 3 72B 最易受攻击。攻击对逐技能扫描器、跨技能联合扫描器和运行时防御均保持较高规避率,运行时防御平均规避率为 88.5%。

推荐理由论文把恶意目标拆到多个技能中,单个技能都能通过扫描,组合后才产生危害,并给出跨技能防御的初步尝试。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    技能级联攻击利用多技能共享上下文窗口,将恶意目标分散到各自看似良性的独立技能中,突破了单技能安全检测的盲区。

    多技能智能体系统在跨技能交互时存在安全盲区,分散在多个技能中的微小修改可绕过单技能检测并协同诱发有害行为。

    • 技能生态的依赖场景:现代智能体系统通过在运行时动态加载第三方技能包来扩展能力,所有技能通过大语言模型读写的共享上下文窗口传递信息,使第三方技能形成实际的外部供应链。
    • 现有检测假设的不足:作者指出,现有防御与评估研究普遍将单个技能视为独立分析单元,依赖代码或提示词扫描工具在安装前排查恶意载荷,忽略了多个技能协同执行时产生的交互风险。
    • 共享上下文的跨技能通道:作者观察到,前序技能写入上下文的信息会被模型作为权威输入读取,从而引导后续技能的选择与行为,攻击者可据此跨越组件边界传递攻击状态。
    • 级联攻击范式与评估基准:作者提出技能级联攻击(Skill Cascading Attacks)范式,构建自动化红队评估框架 SKILLCASCADE,并基于 ClawHub 真实技能发布包含 213 个测试用例的基准数据集 SKILLCASCADE-BENCH。
    • 威胁模型:
      • 攻击者目标:作为技能开发者在生态中发布看似正常的技能,当受害者触发攻击者控制的技能组合时诱发有害结果。
      • 攻击者知识与能力:控制目标系统上安装的两个或更多技能,可修改其触发描述、指令、脚本、参考文档或资产文件;不能修改大语言模型权重、系统提示词或平台机制,不能查看或篡改用户输入与会话,不能修改未受控技能。
      • 受害系统:由终端用户或企业部署的基于技能的大语言模型智能体系统。
      • 实用可行性:用户与企业常以单一供应商套件的形式一次性批准并共同安装同一开发者发布的多个领域技能,使级联攻击能够通过正常采纳渠道进入系统。
  2. 有哪些相关研究?

    论文梳理了基于技能的智能体安全风险、智能体防御保护机制及工具链攻击三类研究,指出它们均缺少对多技能跨组件协同篡改的刻画。

    相关研究主要涵盖技能安全风险、智能体防护机制及工具链攻击三大方向,均未涉及跨组件协同修改的威胁范式。

    • 基于技能的智能体系统安全风险:提示词层注入研究包括测量技能文件指令漏洞的 Skill-Inject(Schmotz 等,2026),Schmotz 等(2025)指出技能抽象简化了提示词注入,SkillJect(Jia 等,2026)通过闭环精炼在脚本层实现隐蔽注入;技能供应链与实证研究中,Qu 等(2026)、Tie 等(2026)与 Maloyan 等(2026)探讨了安装期植入后门风险,Liu 等(2026)与 Shan 等(2026)展开了市场漏洞实证。作者指出这些工作均假设恶意行为可在单个技能内部检出。
    • 基于技能的智能体安全防护:安装前扫描工具包括基于静态规则或大模型评审对单个技能展开审查的 Skill-Vetter(spclaudehome,2026)、Skill-Scanner(Cisco AI Defense,2026)、SkillScan(Payne,2026)与 AIG-Scanner(Tencent Zhuque Lab,2026),以及利用组合风险推理的 SkillProbe(Guo 等,2026)与 SkillTester(Wang 等,2026);运行时防护包括输入边界标记(Hines 等,2024)、数据与控制流隔离(Chen 等,2025;Debenedetti 等,2025)、安全对齐优化(Chen 等,2025)、沙箱隔离(Wu 等,2025)及沙箱基准 HAICOSYSTEM(Zhou 等,2025)与 SHADE-Arena(Kutasov 等,2025)。作者指出这些防护面向单步或单技能异常,难以应对跨技能交互。
    • 工具增强型智能体攻击与工具链风险:包括通过伪造文档劫持调用的 ToolHijacker(Shi 等,2026)、研究同池工具污染的 Les Dissonances(Li 等,2026)、利用描述诱导检索的 Attractive Metadata Attack(Mo 等,2025)、跨轮次组合工具的 STAC(Li 等,2025)、劫持控制流的 Triedman 等(2025),以及在多轮对话中分解意图的研究(Russinovich 等,2025;Rahman 等,2025);测试基准包括 AgentDojo(Debenedetti 等,2024)、AgentHarm(Andriushchenko 等,2025)、Agent Security Bench(Zhang 等,2025)、InjecAgent(Zhan 等,2024)与 BIPIA(Yi 等,2025)。
    • 评估基准与对比基线:预部署单技能扫描器(Skill-Scanner、SkillScan、Skill-Vetter、AIG-Scanner)、联合扫描器(Skill-Scanner 静态版、SkillProbe 混合版、Joint-LLM)及运行时防御框架(DefenseClaw、ClawGuard、HITL Defense、AgentDoG);评估在作者构建的 SKILLCASCADE-BENCH 及 ClawHub 真实技能上开展。
    • 本文与既有工作的定位区别:作者指出,工具链攻击与多轮越狱均保持底层组件未修改,依靠控制交互消息的顺序或内容产生危害;本文的级联攻击则直接修改组件本身,使每个修改在单组件层面保持良性,只有协同运行时才暴露危害。
  3. 论文如何解决这个问题?

    作者形式化了技能级联攻击的三要素,并设计由场景发现、攻击生成、扫描、测试生成与裁决五大智能体构成的闭环红队框架。

    作者形式化了技能级联攻击(Skill Cascading Attacks)的数学定义,并构建名为 SKILLCASCADE 的自动化多智能体红队测试框架,通过模拟多技能协同修改与跨阶段反馈循环生成端到端攻击用例。

    技能级联攻击形式化与攻击模式

    定义 1 定义系统 A 在请求 q 上的执行为 exec(A, q),危害度量为 h(·),单技能审查判定为 scan(·)。目标技能集 T = {S1, ..., Sm}(m >= 2),各技能经修改后系统为 A*,仅撤销单一技能修改时系统为 A*\i。级联攻击须同时满足个体隐蔽性、联合危害性与不可或缺性三个条件: scan(δi(Si)) = SAFE   (∀ i),   ∃ q ∈ Q   s.t.   h(exec(A∗, q)) > τ,   ∀ i,   h(exec(A∗∖ i, q)) ≤ ε 该公式表达了所有修改独立通过单技能扫描、在正常请求下整体输出危害度超过阈值 τ、以及撤销任一修改后危害度降至极小阈值 ε。

    • 因果级联(Causal):修改按顺序链式传递,前序技能将篡改状态写入共享上下文,后续技能读取并放大,危害呈时序累积。
    • 组合级联(Compositional):修改相互独立,单技能仅产生微小偏差,多项偏差在最终输出中聚合产生危害。
    • 混合级联(Hybrid):融合因果时序传播与多路并行偏差汇聚。
    • 攻击目标:涵盖输出篡改 O1、决策操纵 O2、功能拒绝 O3、质量降级 O4、范围漂移 O5、信息外泄 O6 与越权操作 O7 七类目标。

    多智能体协作框架架构

    SKILLCASCADE 框架由五类角色受限的 LLM 智能体协同驱动(Figure 2、Algorithm 1):

    1. 场景发现智能体:采用自顶向下与自底向上双策略,生成由 2 至 3 个真实技能组成的合理工作流,其本身对攻击机制完全不知情。
    2. 攻击设计智能体:制定攻击方案并对技能文件实施最小修改;要求每项修改必须附带正当的业务理由,严禁出现攻击元语言词汇。
    3. 扫描审查智能体:运行独立的第三方单技能扫描工具对每项修改进行独立安全筛查,未通过的修改打回攻击智能体调整。
    4. 测试用例生成智能体:在技能通过扫描后,构造包含正常业务提示词、输入测试数据以及判定指标的独立可执行用例。
    5. 裁决评估智能体:在隔离沙箱中执行用例,依据指标判定攻击是否达成,并向对应环节反馈诊断信息。

    闭环控制与失败路由机制

    框架内置三层嵌套反馈循环与有界重试预算(默认 Bscan = Btc = Batk = Bsc = 3,附录 C.3):

    • 内层扫描循环:单技能被扫描器拦截时,由攻击智能体根据反馈修改直至隐蔽性达标或预算耗尽。
    • 中层测试循环:在容器化沙箱中运行测试用例,若未达成目标则由裁决智能体进行归因。
    • 外层故障路由:裁决智能体仅输出结构化分析,调度器依据 Table 8 执行定向路由:模型拒绝时交由攻击智能体调整;提示词不充分时交由测试生成智能体补充;未产生危害时退回攻击智能体;判定条件错误时退回测试生成智能体;场景死胡同时退回场景发现智能体重新选型。所有阶段记录持久化至 scenario.csv、testcase.csv 与 results.csv(Table 7)。

    常见攻击技术库

    攻击智能体在实现级联时归纳了九类常见技术(M1–M9,附录 C.4):包括条件逻辑注入(M1)、认知框架重构(M2)、标签属性升级(M3)、默认值利用(M4)、选择性过滤(M5)、隐蔽信道构建(M6)、决策压力构建(M7)、静默目标注入(M8)以及粒度操纵(M9)。

  4. 论文做了哪些实验?

    实验在 3 种智能体系统、8 种大模型与 10 个领域上测试了级联攻击,平均 ASR 达 89.4%,并对现有预部署与运行时防御展现出高逃逸率。

    实验设置

    • 被测系统与模型:测试了 OpenClaw、Claude Code 与 Codex 共 3 种主流技能型智能体系统;骨干模型包含 8 种:GPT-5.4、GPT-5.4 Mini、Claude Opus 4.6、Claude Sonnet 4.6、Gemini 2.5 Pro、Gemini 2.5 Flash、Qwen 3 72B 与 Kimi K2.5(Table 2)。
    • 基准数据集:采用构建的 SKILLCASCADE-BENCH,包含源自 ClawHub 真实技能的 213 个测试用例,覆盖 10 个业务领域,平均级联长度为 3.25 个技能,涵盖 7 种攻击目标与 3 种级联模式。
    • 评估防御基线:预部署单技能扫描器 5 个(静态与大模型版 Skill-Scanner、静态 SkillScan、大模型版 Skill-Vetter、大模型版 AIG-Scanner);预部署联合扫描器 3 个(静态 Skill-Scanner、混合型 SkillProbe、大模型 Joint-LLM);运行时监控防御 4 个(DefenseClaw、ClawGuard、HITL Defense、AgentDoG)。
    • 指标定义与判定:攻击成功率(ASR,裁决智能体验证达成目标的比例);隐蔽率(SR,分为单技能隐蔽率 SRper 与联合隐蔽率 SRjoint);防御逃逸率(DER,绕过运行时监控的用例比例)。
    • 评估协议与一致性:每种配置重复测试 3 次计算平均成功率;两名标注员独立抽检 30 个裁决结果,与裁决智能体的一致性达 Cohen's kappa = 0.86;基准测试集构建阶段 3 名专家标注员一致性达 Fleiss's kappa = 0.82。

    主结果

    据 Table 2,不同智能体系统与骨干模型下的攻击成功率(ASR, %):

    表格较宽,可左右滑动

    骨干模型OpenClawClaude CodeCodex模型均值
    GPT-5.482.678.480.980.6
    GPT-5.4 Mini100.095.894.396.7
    Claude Opus 4.678.574.276.876.5
    Claude Sonnet 4.691.789.288.589.8
    Gemini 2.5 Pro90.286.488.988.5
    Gemini 2.5 Flash94.191.392.692.7
    Qwen 3 72B99.196.795.497.1
    Kimi K2.595.292.493.193.6
    • 模型规模与对齐差异:作者指出,各厂商旗舰模型对级联攻击的抵御能力高于同系列轻量模型,开源权重模型总体展现出更高的脆弱性。
    • 宿主系统影响较小:作者分析发现,跨宿主系统的成功率差异保持在 6 个百分点以内,说明宿主平台的调度差异对防御级联攻击的影响小于底层大模型本身。
    • 多维度分布规律:作者通过 Figure 3 指出,因果级联攻击的 ASR 高于组合级联与混合级联;在领域分布上,高风险领域因存在密集对齐先验使得 ASR 处于低位,但在医疗领域 ASR 依然突破 80%。

    预部署扫描器隐蔽性评估

    • 单技能扫描隐蔽表现:Table 3 显示,面对五款单技能扫描器,修改后技能的 SRper 保持在 86.6% 至 94.3% 之间,较原始技能的下降幅度 Delta 不超过 4.7 个百分点(静态 Skill-Scanner 从 96.8% 降至 94.3%,下降 2.5 个百分点)。作者认为级联修改作用于语义层,未留下句法特征。
    • 联合扫描隐蔽表现:Table 4 显示,面对三款跨技能联合扫描器,修改后级联的 SRjoint 依然在 81.7% 至 83.0% 之间,其中静态扫描器出现 Delta = 0.0(原始与修改后均为 82.7%),Joint-LLM 下降 5.2 个百分点(从 88.2% 降至 83.0%)。作者认为联合扫描的低检出率是级联攻击本身的隐蔽属性。
    • 静态特征分布:Figure 5 显示,在可疑关键词、嵌入指令、工具权限不对称性、代码复杂度、输出模式异常和上下文操纵等六个维度上,单技能攻击载荷偏离基线,而级联攻击修改紧贴原始良性基线。

    运行时防御逃逸评估

    • 四类运行时机制评测:在 OpenClaw 配合 GPT-5.4-mini 平台上测试四种运行时防御机制(Table 5),防御逃逸率 DER 分别为 DefenseClaw 90.6%、ClawGuard 88.9%、HITL Defense 91.8% 与 AgentDoG 82.5%,整体均值达 88.5%。
    • 时序检查的局限:作者指出,跨步骤检查的 AgentDoG 仍遗漏了多数攻击用例,原因在于跨步骤危害仅在明确的组合推理下显现,常规基于单步软件行为的监控难以捕获语义复合风险。

    不可或缺性消融与自适应防御

    • 修改撤回与不可或缺性:针对三技能级联逐步撤回修改(Figure 4a),撤回 1 个修改使残余 ASR 降至 13–18%,撤回 2 个修改降至个位数;Figure 4b 显示因果级联在撤回第 1 个技能时残余 ASR 下降最明显,而组合级联在各位置撤回时下降幅度基本平坦。
    • 自适应行为组合扫描器:作者设计了三步式行为组合扫描器(Figure 7),在因果级联上将隐蔽率从 83.0% 降至 52.8%(降低 30.2 个百分点),但在组合级联(从 82.8% 降至 58.6%)与混合级联(从 83.5% 降至 64.1%)上降幅收窄。作者指出该防御仅为概念验证,尚未形成全覆盖解决方案。

    其他消融与分析

    • 攻击技术分布中条件逻辑注入与认知框架重构出现频率最高(Figure 6)。
    • 三技能级联完全撤回 3 个修改后残余 ASR 降至 0% 附近(Figure 4a)。
    • 联合扫描器 SkillProbe 混合版对修改后级联的 SRjoint 为 81.7%,较原始下降 4.3 个百分点(Table 4)。
    • 大模型单技能扫描器 Skill-Vetter 对修改后技能的 SRper 为 90.5%,较原始下降 3.7 个百分点(Table 3)。
    • 裁决智能体与人工复审在 30 个样例上的判定一致性指标 Cohen's kappa 为 0.86(正文 5.1 节)。
    • 专家标注员对测试集三项声明的审核一致性指标 Fleiss's kappa 为 0.82(正文第 4 节)。
  5. 有什么可以进一步探索的点?

    作者指出了实验评估环境、自动化评审依赖及生态实际安装率等局限,未来需要探索针对非因果级联的跨技能防御机制。

    作者指出的局限与后续方向

    • 沙箱环境与真实生产部署的差距:作者指出评测在容器化沙箱而非生产部署中运行,绝对攻击成功率应视为压力测试结果,而非真实发生率的预测(第 7 节)。
    • 大模型自动化裁决的局限性:作者认为基于大模型的裁决智能体虽然支撑了规模化评估,但仍需引入互补的人工复核以提升裁决可靠性(第 7 节)。
    • 受控协同安装在开放市场的发生率未明:作者指出攻击者能否在真实开放市场中实现多个受控技能的协同安装,属于无法仅靠受控实验回答的开放问题(第 7 节)。
    • 自适应防御对复杂级联的覆盖不足:作者在讨论行为组合扫描器时指出,跨技能推理目前仍属于概念验证,对组合型与混合型级联的防御效果有限,构建全覆盖防御仍留待后续工作(第 6.4 节)。
    • 跨技能词汇与接口的静态耦合分析:作者在个案分析中指出,未来跨技能扫描器可超越单纯的行为链接,进一步探索在技能三元组之间对共享标识符、谓词和字段模式进行静态交集与一致性审查(附录 E.2 节)。

    实验覆盖范围

    • 被测系统与模型规模:评测覆盖 3 个智能体系统(OpenClaw、Claude Code、Codex)与 8 个骨干语言模型,每组配置执行 3 次并取均值(第 5.1 节)。
    • 基准测试集用例与领域:SKILLCASCADE-BENCH 收录 213 个由 3 名标注员一致认可的测试用例,分布在 10 个业务领域,平均级联长度为 3.25 个技能(第 4 节)。
    • 防御评测基线覆盖:实验测试了 5 种单技能扫描器、3 种跨技能联合扫描器以及 4 种运行时防御机制(第 5.1 节)。
    • 自适应防御验证范围:所提出的行为组合扫描器测试了因果、组合与混合三种级联范式(Figure 7)。
    • 实验未报告的内容:论文未报告真实生产环境中多技能套件的被下载与协同安装统计数据,亦未在真实用户线上流量中进行实地攻击测试(第 7 节)。
  6. 总结一下论文的主要内容

    论文探讨了多技能智能体系统面临的技能级联攻击风险,提出自动化红队框架与基准集,指出跨技能交互存在安全防护盲区。
    • 研究定位:该研究聚焦基于技能的大语言模型智能体生态,形式化并实证评估了将攻击目标分散于多个技能中的技能级联攻击威胁。
    • 核心问题:现代智能体通过共享上下文窗口跨技能传递数据,现有安全防御均基于单技能审查假设,无法发现单个技能看似正常但多技能协同产生危害的安全风险。
    • 方法架构:作者设计了由场景发现、攻击生成、隔离扫描、测试构造和沙箱裁决等 5 个智能体构成的闭环红队框架 SKILLCASCADE,构建并开源了包含 213 个测试用例的 SKILLCASCADE-BENCH 基准。
    • 关键实验结果:在 OpenClaw、Claude Code 与 Codex 配合 8 种骨干模型的 24 种配置下,级联攻击平均 ASR 达到 89.4%(Table 2);面对 5 款单技能扫描器,修改后技能的隐蔽率保持在 86.6% 以上(Table 3);面对 4 种运行时防御框架,平均逃逸率达 88.5%(Table 5);撤销三技能级联中任一修改,残余 ASR 降至 13–18%(Figure 4a)。
    • 作者结论与启示:作者认为组件级别的良性并不等同于系统整体的安全,现有多技能智能体系统在跨技能语义交互层面缺乏有效防护,呼吁安全研究从孤立的单技能审查转向跨技能交互分析与组合安全推理。
阅读原文arxiv.org