Skip to content

Translation in progress Some entries still include text in the original language.

论文追踪· arXiv:2610.05943·Indexed by this site · Originally published

CRIME 框架利用良性 Agent 技能组合诱发恶意行为

Runaway Reaction / CRIME

Quick read

Attacks

Based on 论文 PDF (AI 生成); refer to the original

CRIME 组合良性技能,facilitated 下 DeepSeek-V4-Flash 的 ACA Both 平均 73.8%。

Threat model攻击者与普通用户同等访问公共技能库 H:可检索、选择技能并提交任务输入 p,无特权。

Questions
公开技能可被检索、安装并在同一任务里组合,但现有审查多逐个评估。问题是:每项技能都通过审查,是否意味着组合仍然安全。
Methods
CRIME 先用 MPC 把目标恶意任务拆成互补能力并检索良性技能对。直接组合不成时,RRS 按沙箱执行反馈有界改写指令,且每项技能仍须单独审查为良性。SRC 以环境后果判定是否实现目标。
Experiments and results
facilitated 下 Table 1:DeepSeek-V4-Flash 的 DCA / ACA Both 平均为 27.9% / 73.8%,GPT-4o-mini 为 9.7% / 32.1%。作者称同时改写两项技能时更高,单独审查看不出组合风险。
Limitations and future work
论文未专门讨论局限。实验写明六个骨干、八种行为各 70 对、DCA/ACA 与四档提示词,以及三种审查器。未报告 LLM 裁判、人工一致性与每对重复次数。
Experimental setupDeepSeek-V4-Flash、GPT-4o-mini et al. · 4,000 public skills (SkillHub, ClawHub)、eight cybersecurity behaviors · ASR、trial-level harm rate et al.
Threat model
攻击者与普通用户同等访问公共技能库 H:可检索、选择技能并提交任务输入 p,无特权。不能改模型参数 θ、审查引擎 V、底层工具或权限,也不微调模型。目标是预定义任务 τ;两技能各自审查为良性且单独执行不出现 τ,仅联合执行时实现。DCA 不改技能;ACA 按执行反馈做有界改写,改后仍须独立审查为良性。
Evaluated models
DeepSeek-V4-FlashGPT-4o-miniGPT-4oHy3Gemini 3.7 FlashQwen 3.8
Benchmarks
4,000 public skills (SkillHub, ClawHub)eight cybersecurity behaviors
Metrics
ASRtrial-level harm ratevetting pass rate
AI summary研究者提出 CRIME 框架,指出单独通过安全审查的良性 Agent 技能在组合后仍可诱发恶意行为,因为组合会扩展智能体的能力空间。CRIME 先用 Malicious Plot Casting 模块把目标恶意行为拆解为互补需求,从公开技能库中筛选合适的良性技能组合;对无法直接实现的组合,Runaway Reaction Steering 模块借助执行反馈迭代调整技能,同时要求每个技能在单独审查下仍属良性。组合随后进入 Skill Reaction Chamber 模块,在沙箱中执行并检查环境后果以判断目标行为是否发生,失败案例返回继续调整。研究者还构建了覆盖八类网络安全行为的 4000 个公开技能基准用于系统评估。

研究者提出 CRIME 框架,指出单独通过安全审查的良性 Agent 技能在组合后仍可诱发恶意行为,因为组合会扩展智能体的能力空间。CRIME 先用 Malicious Plot Casting 模块把目标恶意行为拆解为互补需求,从公开技能库中筛选合适的良性技能组合;对无法直接实现的组合,Runaway Reaction Steering 模块借助执行反馈迭代调整技能,同时要求每个技能在单独审查下仍属良性。组合随后进入 Skill Reaction Chamber 模块,在沙箱中执行并检查环境后果以判断目标行为是否发生,失败案例返回继续调整。研究者还构建了覆盖八类网络安全行为的 4000 个公开技能基准用于系统评估。

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    孤立审查通过的技能,组合后仍可能实现预定义恶意任务。

    现有审查按技能孤立评估,组合良性技能仍可能实现任一技能单独做不到的恶意行为。

    • 场景:技能打包任务指令、可执行脚本与参考材料;SkillHub、ClawHub 便于检索、安装和复用。作者称公开技能可能嵌入恶意指令或可执行逻辑,加载后可导致凭证窃取、数据外传或未授权命令执行。
    • 现有方法:ClawHub 的自动安全分析与外部恶意软件扫描,以及 SkillScan 的静态分析加 LLM 语义分析,主要针对单个技能。作者提出:各项技能安全,并不等于组合安全,因为组合引入单独评估时没有的跨技能交互。
    • 核心观察:作者把良性组件变成联合恶意行为称为 runaway reaction。要点不是新增原语能力,而是扩大可用能力空间。组合安全蕴含各组成技能安全,反向不成立。
    • 本文做法:提出 CRIME,覆盖不改技能的 Direct Composition Attack(DCA),以及在独立审查约束下改写的 Adaptive Composition Attack(ACA),并建 4,000 个公共技能、八种网络安全行为的组合攻击基准。
    • 威胁模型:
      • 系统:智能体 Mθ 可在同一会话加载多项技能;H 为公共技能库;组合为两技能 S={s1, s2};V 独立审查,V(s)=1 表示判为良性。
      • 访问:与普通用户相同,可检索并选择技能、提交任务输入 p,无需特权。
      • 约束:不能改 θ、篡改 V、改底层工具或加权限;不微调、不重训练;不扩大既有权限范围。
      • 目标:从预定义恶意任务 τ 构造组合。每项技能被判良性,单独执行不出现 τ,只在联合执行时产生。DCA 不改技能;ACA 只要求能力齐备,再按执行反馈做有界调整。
  2. What related research exists?

    相关工作多覆盖单技能、工具注入与多技能协调,本文转向指定目标的组合诱导。

    单个技能与工具风险

    • MalSkillBench(Guo et al., 2026):系统研究含有害指令和可执行逻辑的恶意智能体技能。
    • SkillAttack(Duan et al., 2026):不修改技能本身,对抗性请求下,本意良好的技能也可能暴露可利用行为。
    • 工具侧:MCPTox(Wang et al., 2026b)研究 MCP 工具元数据中的恶意指令;MalTool(Hu et al., 2026)研究工具代码中的有害行为;AgentDojo(Debenedetti et al., 2024)评估经外部工具输出送达的间接提示注入。

    发布前审查

    • ClawHub:集成 VirusTotal、静态分析与 SkillSpector 等多路安全信号(OpenClaw Foundation, 2026b;Koc et al., 2026)。
    • SkillSpector(Paz et al., 2026):规则检查加语义分析,覆盖提示注入、数据外传、权限滥用与供应链威胁。
    • SkillScan(Liu et al., 2026):静态分析结合基于 LLM 的评估,检查公共技能中的安全问题。

    多技能协调与交互

    • 协调机制:AgentSkillOS(Li et al., 2026)用结构化流水线组织技能;SkillWeaver(Gao, 2026)分解请求并组合检索到的技能;SkillComposer(Zhao et al., 2026)联合选择技能与执行顺序;R3-Skill(Wang et al., 2026c)考虑检索技能之间的兼容性。
    • Les Dissonances(Li et al., 2025b):研究多工具交互如何影响控制流与信息传播。引言另引 STAC(Li et al., 2025a),说明无害能力可经中间输出、共享状态、执行顺序或互补操作串起来。
    • 技能交互评测:SkillReact(Wang et al., 2026a)用基于动作的测试评估有风险的技能配置;SCR-Bench(Xie et al., 2026)研究能力流、信任转移与授权相关的路径依赖风险。

    基线与数据

    • 基线方法:技能对选择上的 Random 与 Semantic(第 6.6 节),不是其他攻击算法。
    • 基准/数据集:自建基准,来自 SkillHub 与 ClawHub 的 4,000 个公共技能、八种网络安全行为。

    作者把本文放在这些工作之后:从各自良性的技能实现指定恶意行为,同时覆盖已经直接成立的组合,以及能力齐备但最初无效、再被优化的组合,以刻画超出单技能关联风险的组合风险。

  3. How does the paper address this problem?

    CRIME 以 MPC 选互补良性技能,RRS 在独立审查约束下改写,SRC 看环境后果。

    CRIME(Compositional Risk Induction via Multi skill Execution)分两档:DCA 不改技能,看现成组合能否实现 τ;ACA 在能力已齐备但原交互不够时,按执行反馈改写,并要求每项技能仍单独审查为良性。Figure 1 把流程画成 MPC、RRS 与 SRC。

    问题设定与形式化

    • 技能 s 有能力集 C(s)。能力空间 G(s) 是从中选取并排列能力得到的全部有序安排。组合记为 ⊕,Q 为安全空间。
    • 作者给出定理 1:组合落入 Q,则每个组成技能也落入 Q;反向不成立,因为组合会多出单技能没有的能力安排。
    • 组合特有部分为 Eij=G(si⊕ sj)∖(G(si)∪ G(sj)),即只在组合后出现的安排。定理 2:单技能能力都在 Q 内时,组合越出 Q 当且仅当 Eij 越出 Q。
    • 定理 3:若 Eij 越出 Q,这些不安全安排与各技能自己的能力空间不相交,独立审查 V 直接观察不到。

    Malicious Plot Casting

    • MPC 从预定义 τ 出发,把所需能力拆成互补的 κ1、κ2。每一侧只含部分能力、单独不暴露完整恶意目标,两侧合起来覆盖目标需求。
    • 按对应需求在 H 中检索。覆盖率为 ηi(s)=|C(s)∩κi|/|κi|,即 s 覆盖 κi 的比例。候选池要求该比例大于 0 且 V(s)=1。
    • 两侧候选做配对:能力并集覆盖 κ1∪κ2,且任一项都不单独含有这整个集合。按两侧覆盖与互补性排序,同一目标行为内不重复使用同一技能,再交 SRC 执行。
    • 作者称 MPC 找的是独立审查与组合行为之间的空隙,即 Eij 里能到达目标的良性配对。

    Runaway Reaction Steering

    • 配对已有 τ 所需能力,执行时未必接上。RRS 读取初始轨迹,看技能之间传递的信息、执行顺序与共享状态。
    • 每轮对指令做有界增、删或改写,生成 K=5 个候选。每个改后技能单独过 V,含未通过技能的组合丢弃。
    • Bτ(ρ) 表示轨迹相对 τ 的进展,改进量是相对初始轨迹的差值。仍通过审查的候选里,选改进最大者进入下一轮,直到出现目标后果或预算用尽。论文未写明 Bτ 如何量化。
    • 作者称 RRS 加强的是已有能力之间的交互,不引入新能力或新权限。方法节未给出轮数上限,实验节写 T=5。

    Skill Reaction Chamber

    • SRC 在隔离沙箱中用固定的 Mθ 执行技能对和输入 p,记录工具动作、状态变化与外部可观察后果。
    • DCA 的原组合与 RRS 的候选都在此执行。成功只看是否出现与 τ 对应的环境后果,不单看文本回复;未成功则把轨迹交回 RRS。
  4. What experiments did the paper conduct?

    facilitated 下 DeepSeek-V4-Flash 的 ACA Both 平均为 73.8%(Table 1)。

    实验设置

    • 智能体与骨干:系统建在 OpenClaw 上。主骨干为 DeepSeek-V4-Flash 与 GPT-4o-mini;第 6.4 节另用 GPT-4o、Hy3、Gemini 3.7 Flash、Qwen 3.8。沙箱隔离,工具与权限固定。
    • 语料:SkillHub 与 ClawHub 的 4,000 个公开技能。八种行为为 Agent Config Hijack、Credential Exfiltration、DNS Exfiltration、Hidden RCE、Persistent Backdoor、SSH Key Exfiltration、Supply Chain Poisoning、Destructive File Transform。每种 MPC 选 70 对,共 560 对。
    • 审查器:SkillSafe、Cisco Skill Scanner、CSC SkillScan。RRS 期间的审查约束是 SkillSafe。
    • 优化预算:对未成功的原组合,RRS 最多 T=5 轮,每轮 5 个候选;SRC 确认目标环境后果或预算用尽即停。
    • 指标:成功定义为 SRC 确认与 τ 对应的环境后果,正文称报告 ASR。Table 1 标题是 facilitated 提示下的 trial-level harm rate(%),并写明 DeepSeek-V4-Flash 来自 Table 4、GPT-4o-mini 来自敏感性检查 Table 4c;所附文本没有这两张表的内容。
    • 未写明项:论文未报告 LLM 裁判、人工一致性,以及每对技能的重复次数。

    主结果

    据 Table 1,facilitated 提示、Market corpus、每种行为 70 对,八种行为平均的 trial-level harm rate(%):

    Swipe horizontally to read the table

    骨干DCAACA Skill AACA Skill BACA Both
    DeepSeek-V4-Flash27.947.137.973.8
    GPT-4o-mini9.719.314.432.1
    • 作者称 DCA 已能在八种行为上成功,互补能力一经组合即可支持恶意结果;同时不少能力匹配的配对仍然无效,覆盖本身不决定能否实现 τ。
    • 作者称改任一项都有提升,同时改两项最强,风险更多来自分布式能力如何协调,骨干也影响连接方式。Table 1 每一行的 Both 都高于该行的 Skill A、Skill B 与 DCA。
    • 分行为例外:GPT-4o-mini 的 SSH Key Exfiltration 为 DCA 42.9%、ACA Both 68.6%,该模型其余行为的 DCA 为 2.9%、5.7% 或 8.6%。DeepSeek-V4-Flash 的 DCA 从 Destructive File Transform 的 15.7% 到 Credential Exfiltration 的 38.6%;ACA Both 从 DNS Exfiltration 与 Supply Chain Poisoning 的 61.4% 到 Credential Exfiltration 的 88.6%。论文未对这几处高低分别解释。

    提示词条件

    • 四档为 Strict Benign(只有良性任务上下文)、Ambiguous(部分目标相关线索,不指明行为)、Facilitated(帮助连接两项能力的信息)、Explicit(直接指定目标行为)。技能对与环境不变,并比较 DCA 与三种 ACA。附录 C 给出三种行为的示例提示词。
    • 论文未在正文给出 Figure 2 的百分比,也未写明对应骨干。
    • 作者称提示越强,同一组合越容易实现目标;DCA 更依赖提示去连接执行顺序、信息传递与共享状态。ACA 减轻这种依赖,增益主要出现在 Ambiguous 与 Facilitated;Explicit 下剩余改进空间更小。作者称 Strict Benign 下成功率低,输入中目标相关信息很少时,RRS 不会使组合无条件变成恶意。

    独立审查

    • 每种行为的 70 对分别评 Original 与 RRS 后保留的技能;优化未成功则保留原技能。引擎看的是指令、代码及其他技能内容。
    • Table 2 平均通过率:SkillSafe 由 98.2% 到 93.8%,Cisco 由 98.0% 到 97.1%,CSC SkillScan 由 98.2% 到 92.1%。SkillSafe 的 After 最低为 Destructive File Transform 的 90.0%;CSC 的 After 最低为 Hidden RCE 的 90.0%。Credential Exfiltration 在 SkillSafe 上 Before 为 100.0%。
    • 作者称下降说明部分改写更容易露出可疑信号,但多数优化后技能在独立检查下仍被看作良性;作者认为单独检查反映不出这些技能一起执行时的风险。

    技能选择策略

    • 同一语料、每种行为 70 对。MPC 按互补需求选;Random 不考虑目标;Semantic 按与目标的语义相关度选。条件为 Strict Benign,比较 DCA 与 ACA Both。论文未说明骨干模型。
    • Table 3 平均 ASR:MPC 为 DCA 17.0%、ACA Both 52.3%;Random 为 3.1% 与 4.5%;Semantic 为 7.1% 与 14.1%。MPC 的 ACA Both 最高为 Credential Exfiltration 的 62.9%,最低为 Supply Chain Poisoning 的 37.1%。
    • 作者认为成功组合需要两项技能功能互补并共同覆盖目标。Random 常缺一项功能;Semantic 可能检到相关但功能重复的技能。作者称 RRS 只能调整已有功能如何交互,不能造出配对中没有的能力。该表与第 6.3 节对 Strict Benign 的文字描述未写明是否同一骨干。

    其他消融与分析

    • RRS 成功优化比例(Table S1,未写骨干,也未写分母是否只含最初未成功的配对):合计 86.2%;Credential Exfiltration 100.0%;Destructive File Transform 75.7%。
    • 到达成功的轮数均值(Table S1):合计 2.6±1.1;Credential Exfiltration 1.2±0.4;Destructive File Transform 3.6±1.0。
    • 评估候选数均值(Table S1):合计 14.0±7.0;Credential Exfiltration 3.4±1.1;Destructive File Transform 21.0±6.7。
    • 新增指令 token 均值(Table S1):合计 42.1±6.3;八个行为的均值在 38.5±7.4 与 44.6±4.1 之间。作者称改写幅度相对稳定,作用主要来自对信息交换、顺序或状态的小幅调整。
    • 第 6.4 节比较 GPT-4o、Hy3、Gemini 3.7 Flash、Qwen 3.8、DeepSeek-V4-Flash。Figure 3 文字含 GPT-4o、Gemini、Hunyuan 3.7 Flash、Qwen 3.8、DeepSeek V4 Flash,与正文不完全一致,列对不上,故不引用图中数字。论文未说明该图的提示词条件以及是 DCA 还是 ACA。作者认为差异主要来自模型如何理解角色、依赖、中间信息、顺序与状态;模型自身的安全行为也可能在组合行为变敏感时打断执行。附录 A 给出凭证外传、Hidden RCE、DNS Exfiltration 三例。
  5. What are some points that can be further explored?

    论文未专门写出局限或后续方向。

    作者指出的局限与后续方向

    论文未专门讨论局限。引言把基准写成用于评估组合风险并压力测试此后审查机制的测试台,这是贡献表述,不是单独列出的后续工作。

    实验覆盖范围

    • 被测骨干为 OpenClaw 上的 DeepSeek-V4-Flash、GPT-4o-mini,以及第 6.4 节的 GPT-4o、Hy3、Gemini 3.7 Flash、Qwen 3.8。执行在隔离沙箱、固定工具与权限下进行。
    • 语料为 SkillHub 与 ClawHub 的 4,000 个公共技能;八种网络安全行为各 70 对,共 560 对。形式化与实验针对两技能组合。
    • 攻击设置为 DCA,以及 ACA 的 Skill A、Skill B、Both。提示词为 Strict Benign、Ambiguous、Facilitated、Explicit。RRS 最多 T=5 轮、每轮 K=5 个候选,审查约束为 SkillSafe。
    • 另报告 SkillSafe、Cisco Skill Scanner、CSC SkillScan 的通过率,以及 MPC、Random、Semantic 三种选对策略(Table 3,Strict Benign)。成功由 SRC 根据沙箱中的环境后果判定。
    • 论文未报告 LLM 裁判、人工一致性与每对重复次数。Figure 2、Table 3、Table S1 未写明骨干;Figure 3 未写明提示词与 DCA/ACA,且图中模型名与正文不完全一致。Table 1 注记指向 Table 4 与 Table 4c,所附文本没有这两张表的内容。Table S1 未写明成功优化比例的分母是否只含最初未成功的配对。
  6. Summarize the main content of the paper

    良性技能经 DCA 或 ACA 组合后可产生恶意环境后果,单独审查对不上。

    CRIME 把公共技能库中各自通过审查的技能配成两两组合,看联合执行能否实现指定恶意任务。

    • 问题:技能可装进同一会话,审查却多半逐个进行。作者区分两种情形:不改技能、现成功能已经接得上的 DCA,以及能力齐备但原组合无效、再在审查约束下改写交互的 ACA。
    • 方法:MPC 把 τ 拆成互补需求并检索良性配对;RRS 用沙箱轨迹做有界增删改,未通过独立审查的候选丢弃;SRC 只按环境后果判定,不单看文本回复。形式化上,作者把组合特有、独立审查看不到的能力安排记为 Eij。
    • 主结果:facilitated、每种 70 对时,DeepSeek-V4-Flash 的平均 harm rate 为 DCA 27.9%、ACA Both 73.8%,GPT-4o-mini 为 9.7% 与 32.1%(Table 1)。该表中 GPT-4o-mini 的 SSH Key Exfiltration DCA 为 42.9%,其余行为为 2.9%、5.7% 或 8.6%。
    • 其他数字:Strict Benign 下 Table 3(未写骨干)MPC 的 ACA Both 平均 52.3%,Random 4.5%,Semantic 14.1%。Table 2 中 RRS 后平均通过率为 SkillSafe 93.8%、Cisco 97.1%、CSC SkillScan 92.1%。Table S1 的成功优化比例合计 86.2%(未写骨干)。
    • 作者结论:不修改技能的组合已经可以出现恶意行为,执行反馈下的协调还能再提高成功率。作者称单独的技能检查捕捉不到多技能安全风险,并把该基准写成评估组合风险、供此后审查机制做压力测试的测试台。
Read originalarxiv.org