跳到正文
原文

SkillHarm:面向技能使用生命周期的自动化攻击构建

SkillHarm: Lifecycle-Aware Skill-Based Attacks via Automated Construction

arXiv· arXiv:2606.02540· Yuting Ning, Zhehao Zhang, Yash Kumar Lal, Boyu Gou, Junyi Li, Weitong Ruan, Chentao Ye, Rahul Gupta, Diyi Yang, Yu Su, Huan SunThe Ohio State University; Amazon AGI; Stanford University本站收录· 19 天前· 原文发表入选 攻击精选关注度39

论文速读

评测与基准

据论文 PDF 整理(AI 生成),以原文为准

作者构建 SkillHarm 基准评测智能体技能投毒攻击,8 个模型-harness 配置下 FPP 的 ASR 最高 86.3%、SMP 最高 69.3%。

问题
第三方智能体技能被智能体默认信任并执行,是易受攻击面;现有技能攻击基准只覆盖单次任务执行、风险列表零散,缺少跨会话复用和系统化风险分类的评测。
方法
提出 SkillHarm 基准,定义 FPP(固定载荷)与 SMP(自变异)两种攻击场景和 12 类风险;用 AutoSkillHarm 流水线让编码智能体在自然语言 harness 驱动下自动完成目标选择、攻击设计与质量过滤。
实验与结果
8 个模型-harness 配置下 FPP 的 ASR 最高 86.3%(Codex GPT-5.4),SMP 最高 69.3%;作者称许多失败源于智能体未接触投毒文件,接触后 cASR 上升;技能扫描器与防御性系统提示均不能稳定降低 ASR。
局限与可以继续做的
作者指出:任务基于 SkillsBench,以编程和数据处理为主,未覆盖网页浏览、多智能体协作等域;SMP 仅 12 个任务对且只用 atexit 一种延迟变异机制。DSP 防御只在高 ASR 子集上评测,护栏只在 200 条轨迹子集上评测。
实验设置Sonnet 4.6、Opus 4.7 等 · SkillHarm、SkillsBench · ASR、cASR 等
威胁模型
攻击者是公开发布投毒技能包的技能发布者,控制包内全部文件(SKILL.md、参考文档、可执行脚本等),知道技能宣称的用途;但无安装后访问能力,不能观察受害者执行、在线调整载荷或知道具体下游提示词与系统配置。受害者按标准流程安装技能,智能体在完成相关任务时加载并执行技能内容。
被测模型
Sonnet 4.6Opus 4.7GPT-5.4GPT-5.5Gemini 3 FlashQwen-3.6 27BGLM-5.2Kimi K2.6GPT-5.6 TerraSonnet 5
基准
SkillHarmSkillsBench
指标
ASRcASRARRTask Success RateDetection RateFNRFPR
AI 导读和推荐理由研究者提出 SkillHarm 基准,用于评估智能体在技能使用生命周期中遭遇技能投毒攻击时的安全性,并配套 AutoSkillHarm 自动构建攻击样本。该基准包含 879 个攻击样本,覆盖 71 个技能和 12 类风险,区分固定载荷投毒(FPP)和自变异投毒(SMP)两种场景;在 Claude Code、Codex、Gemini CLI 和 OpenCode 的八种模型组合上测试,Codex 搭配 GPT-5.4 的 FPP 攻击成功率最高 86.3%,SMP 最高 69.3%。条件攻击成功率显示部分失败源于智能体未接触被投毒文件,接触后成功率最高提升 32.1 个百分点,对应 Claude Code 搭配 Opus 4.7 的 SMP。最强扫描器配置仅检出 55.6% 的 FPP 注入和 68.8% 的 SMP 注入,防御性系统提示下多数配置的 ASR 仍高于 70%。

研究者提出 SkillHarm 基准,用于评估智能体在技能使用生命周期中遭遇技能投毒攻击时的安全性,并配套 AutoSkillHarm 自动构建攻击样本。该基准包含 879 个攻击样本,覆盖 71 个技能和 12 类风险,区分固定载荷投毒(FPP)和自变异投毒(SMP)两种场景;在 Claude Code、Codex、Gemini CLI 和 OpenCode 的八种模型组合上测试,Codex 搭配 GPT-5.4 的 FPP 攻击成功率最高 86.3%,SMP 最高 69.3%。条件攻击成功率显示部分失败源于智能体未接触被投毒文件,接触后成功率最高提升 32.1 个百分点,对应 Claude Code 搭配 Opus 4.7 的 SMP。最强扫描器配置仅检出 55.6% 的 FPP 注入和 68.8% 的 SMP 注入,防御性系统提示下多数配置的 ASR 仍高于 70%。

推荐理由论文给出覆盖单次与跨会话复用的智能体技能投毒评测集,并报告多种智能体的攻击成功率与拒答差异,可用于比较技能供应链风险。

相关热点

1 个事件 · 1 条新闻提到

提到这篇论文的新闻

北大与微信安全团队发布通用智能体全生命周期安全综述

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    现有技能攻击基准只测单次执行、风险列表零散,作者提出覆盖技能使用全生命周期的 SkillHarm 基准。

    核心问题:如何系统评测智能体对第三方投毒技能(skill)的脆弱性,覆盖技能跨会话复用的完整生命周期和系统化的风险分类。

    • 问题场景:技能是打包自然语言指令、参考材料和可执行脚本的可复用组件,智能体被期望遵循并执行它们,处于受信任的特权位置;作者称这使第三方技能成为易受攻击面,恶意内容可借智能体对文件、shell、凭据和工具的权限悄悄执行。
    • 现有不足:作者称现有技能攻击基准把技能使用抽象为单次任务执行,在该次运行内判定成败,遗漏了技能跨任务持久化、复用和被修改的生命周期;且风险覆盖多为各基准自定的风险列表,缺乏系统化梳理。
    • 核心观察:技能是持久化的程序性工件,危害可在不同生命周期节点实现——同次执行内直接触发,或先修改持久技能内容、待后续复用时才触发;单次执行评测看不到后一种失效模式。
    • 论文产出:提出 SkillHarm 基准(879 个攻击样本、71 个技能、12 类风险)和自动化构建流水线 AutoSkillHarm,并定义按工作流组件组织的三类风险体系。
    • 威胁模型(§3.1):
      • 目标:通过公开分发的投毒技能包,让受害智能体在正常使用技能时实现有害终态。
      • 知识:知道技能宣称的用途和它支持的任务类别。
      • 能力:控制包内全部文件(SKILL.md、参考文档、脚本、辅助资源);无安装后访问能力,不能观察受害者执行、在线调整载荷,也不知道具体下游提示词、文件或系统配置。
      • 受害系统:用户安装技能后,智能体在完成相关任务时加载技能指令、参考和脚本的标准工作流。
  2. 有哪些相关研究?

    相关工作分技能攻击、自动化攻击构建两类;作者称本文同时覆盖跨会话复用与系统风险分类,区别于全部已有基准。

    智能体提示注入与技能攻击

    • 提示注入攻击面:InjecAgent(Zhan et al., 2024)、AgentDojo(Debenedetti et al., 2024)等研究工具、网页、MCP 服务器、记忆和 OS 环境等攻击面;作者称技能是不同攻击面,因为智能体不仅读技能,还要遵循其指令并执行其脚本。
    • 技能攻击基准:SKILL-INJECT(Schmotz et al., 2026,恶意技能文件)、SkillJect(Jia et al., 2026,轨迹优化注入)、PoisonedSkills(Qu et al., 2026,文档驱动载荷)、BadSkill(Tie et al., 2026,model-in-skill 威胁)、SkillSafetyBench(Jin et al., 2026,投毒技能工件)、SkillAttack(Duan et al., 2026,迭代路径精炼)、SkillTrojan(Feng et al., 2026,后门技能)。作者称这些基准都没有同时覆盖跨会话技能复用和系统化风险组织。
    • 生态实证:Liu et al. (2026a,b) 与 OWASP Foundation (2026) 的实证研究和安全报告;论文脚注引用 Liu et al. (2026b) 称 26.1% 的公开技能至少含一个漏洞。

    自动化攻击构建

    • 模板/种子变异:SkillTrojan、BadSkill 复用少量模板或固定规则,作者称这限制攻击多样性;附录 A 指出 SkillTrojan 的 3,000+ 样本共用同一种加密载荷分片策略,单一防御可能整批化解。
    • 固定 LLM 工作流:PoisonedSkills 用硬编码 schema 和编排逻辑,作者称其在异构设置下脆弱。
    • Victim-in-the-loop 优化:AgentVigil(Wang et al., 2025b)、SkillJect、SkillAttack 等需要反复受害者 rollout,作者称成本高且可能对假设的受害者过拟合,与公开发布场景不符。

    基线与对比设置

    • 对比基准:Table 1 与上述 7 个技能攻击基准对比样本数、技能数、风险类型数、是否有风险体系、是否支持跨会话、是否用确定性评测、构建方式。
    • 防御基线:Skill Scanner(Cisco AI Defense, 2026)、Agent Scan(Snyk, 2026)两个技能扫描器,以及防御性系统提示(DSP)和基于提示的输出护栏。

    作者定位:SkillHarm 沿跨会话生命周期和 12 类工作流风险两个维度扩展评测,并用自然语言 harness 驱动的编码智能体替代硬编码流水线。

  3. 论文如何解决这个问题?

    AutoSkillHarm 用自然语言 harness 驱动编码智能体,经目标选择、攻击设计、质量过滤三阶段自动构建两种场景的攻击样本。

    整体思路:把技能攻击形式化为两种生命周期场景(FPP、SMP)×12 类风险的设计空间,再用 AutoSkillHarm 流水线让编码智能体在自然语言 harness 驱动下自动构建攻击样本,每个样本带确定性攻击成功评测器。

    问题设定与形式化

    • FPP(Fixed-Payload Poisoning):载荷安装时即在包内且固定不变,可出现在指令、参考文档、脚本或新增工件中;任何触达载荷的任务执行在同一会话内实现危害。
    • SMP(Self-Mutating Poisoning):技能含变异钩子而非直接载荷;首个会话表现正常但悄悄修改持久技能内容,危害延迟到后续会话复用被修改的技能时才实现。
    • 风险体系:12 类风险按危害发生的工作流组件分三类(Table 2):数据管道利用(3 类)、系统环境利用(6 类)、智能体自主性利用(3 类)。

    攻击目标选择(§4.1)

    • FPP:目标是注入点 (T, f),即任务 T 与智能体可能读取或执行的技能文件 f;曝光率 rT,f = nT,f/NT,即良性基线轨迹中触达 f 的比例,保留 r ≥ 0.30 的文件,每任务最多 3 个文档和 3 个脚本,得到 142 个注入点(36 个脚本、106 个文档)。
    • SMP:选择复用同一技能的任务对 (TA, TB);三个选择智能体(Codex GPT-5.2、Codex GPT-5.4、Claude Code Opus 4.6)独立按可行性、影响(各 1–10 分)提议,按 score = votes × feasibility × impact 聚合,产出 12 个任务对。
    • 任务来源:基于 SkillsBench 的可运行任务环境、技能包和良性基线轨迹。

    攻击设计(§4.2)

    • 设计流程:主设计器为 Claude Code (Opus 4.7);先探索技能包找攻击向量,把抽象风险实例化为可确定性检查的有害终态,再修改技能文件实现载荷,最后编写确定性评测器给出二元成功信号。
    • 载荷形式:FPP 文档目标 4 种实现(原地改写、路由到新增 .md、新增脚本、新增 PDF),脚本目标 2 种(原地插入代码、import 新增模块);SMP 用 atexit 回调在脚本退出时改写同包文件,并覆盖各框架技能目录。
    • 迭代自精炼:设计器检查注入内容是否自然融入,可调用一个基于 LLM 的检测器;被标记时修改载荷的呈现或位置但保持有害终态不变,直到无新增严重标记。
    • 环境接地:设计器修改任务 Dockerfile 预置攻击前提(如预置目标文件、目录、环境变量、模拟 HTTP 端点)。

    质量过滤与成功判定(§4.3、§5.1)

    • 质量过滤:先在两个代表性受害智能体(Claude Code Sonnet 4.6、Codex GPT-5.4)上端到端执行并记录轨迹;评审智能体(Claude Code Opus 4.7)按目标有效性、评测器忠实性、载荷质量三组检查做轨迹依据的复核,有过构造缺陷的候选被丢弃;整体保留 70%。
    • 成功判定:主指标 ASR 由确定性评测器在环境终态上计算(不涉 LLM);cASR 为以智能体接触目标载荷文件为条件的 ASR,ARR 为明确拒答率,后两者由 GPT-5.4 作 LLM 裁判从轨迹判定。
  4. 论文做了哪些实验?

    8 个模型-harness 配置上,FPP 的 ASR 最高 86.3%、SMP 最高 69.3%;作者称扫描器与防御提示均不能稳定缓解。

    实验设置

    • 被测配置:4 个 agent harness × 8 个模型:Claude Code(Sonnet 4.6、Opus 4.7)、Codex(GPT-5.4、GPT-5.5)、Gemini CLI(Gemini 3 Flash)、OpenCode(Qwen-3.6 27B、GLM-5.2、Kimi K2.6)。
    • 基准:SkillHarm,879 个样本(687 FPP、192 SMP),57 个用户任务、71 个技能、12 类风险(Table 3);SMP 覆盖 12 个任务对、6 个技能。
    • 执行协议:FPP 跑带投毒技能的单任务后检查环境终态;SMP 先跑 TA,把技能包快照带入 TB 环境再跑 TB,在 TB 后判定。每配置单次运行(附录 D.1)。
    • 指标:ASR(确定性评测器)、cASR(接触条件下)、ARR(明确拒答率);接触与拒答由 GPT-5.4 作 LLM 裁判。
    • 裁判可靠性:GPT-5.4 与人工标注在 50 条抽样轨迹上接触判定一致率 97%、拒答 99%,Cohen's κ 分别为 0.91 和 0.96(附录 D.2)。
    • 构建验证:40 个抽样候选上人工与评审智能体的保留/过滤决定一致率 87.5%(附录 B.4)。

    主结果

    据 Table 4(ASR / cASR / ARR,单位 %):

    表格较宽,可左右滑动

    Harness模型FPP ASRFPP cASRFPP ARRSMP ASRSMP cASRSMP ARR
    Claude CodeSonnet 4.652.462.625.351.670.22.1
    Claude CodeOpus 4.727.441.337.89.441.514.1
    CodexGPT-5.486.390.72.869.377.41.0
    CodexGPT-5.581.485.64.665.672.73.1
    Gemini CLIGemini 3 Flash63.881.70.645.861.40.5
    OpenCodeQwen-3.6 27B53.968.45.851.665.00.0
    OpenCodeGLM-5.252.062.93.242.458.83.6
    OpenCodeKimi K2.648.862.020.032.858.00.0
    • 作者解读:Codex 两个配置在两种场景下 ASR 最高,Claude Code (Opus 4.7) 最低;许多表面失败是智能体未接触投毒文件,接触后 cASR 上升,最大为 Opus 4.7 在 SMP 的 +32.1 个百分点。
    • 拒答行为:作者称 Claude 系拒答最多,SMP 中 ARR 下降(Sonnet 4.6 从 25.3% 降至 2.1%,Kimi K2.6 从 20.0% 降至 0.0%),作者认为准备动作与危害结果的时间解耦降低了恶意意图的可见性。
    • 风险与载荷形式:附录 D.3 显示数据管道利用的类别平均 ASR 在三类中最低;作者称脚本承载的载荷 ASR 高于文档承载,因为智能体常不检查内容就执行辅助脚本。

    防御评测

    • 技能扫描器(Table 5):Skill Scanner 以 GPT-5.5 / Opus 4.7 为骨干,对 FPP 注入检出率分别为 21.5% / 55.6%,对 SMP 为 5.2% / 68.8%;Agent Scan 为 7.4%(FPP)和 9.9%(SMP)。作者称情境化注入常能绕过检测。
    • 防御性系统提示(DSP):在按风险分层的高 ASR 子集(每风险类型取平均 ASR 前 30%)上评测;Figure 3 显示 DSP 在部分配置下降低 ASR,但图中几乎所有配置在两种场景下仍在 70% 以上,作者称提示级警告不可靠。
    • 输出护栏(附录 E.2,200 条轨迹子集):GPT-5.6 Terra 的 FNR 为 4%(FPP)/12%(SMP)、FPR 为 42%/40%;Sonnet 5 的 FNR 为 36%/44%、FPR 为 26%/14%。作者称存在检测–干扰权衡。

    任务效用与联合分析

    • 任务成功率(Table 6):多数配置下投毒技能保持相近的任务成功率,例外是 Claude Code (Opus 4.7) 从 61.4% 降至 47.6%(-13.8 个百分点),作者称与其更强的拒答行为一致。
    • 联合分析(Table E.2,六个代表性智能体平均):任务与攻击同时成功占 30.1%(FPP)和 19.6%(SMP);以攻击成功为条件,任务也成功的比例平均为 48.1%(FPP)和 37.9%(SMP)。作者称许多攻击在用户拿到看似正常结果时悄悄实现危害。

    其他消融与分析

    • Harness–模型解耦(Table E.3):GPT-5.4 从 Codex 换到 OpenCode 后 FPP ASR 从 86.3% 降至 76.1%;Opus 4.7 在 OpenCode 下 SMP ASR 为 39.5%,高于 Claude Code 下的 9.4%;作者称脆弱性是模型-harness 整体的性质。
    • 设计器消融(Table E.4):FPP 对设计器选择不敏感(Codex GPT-5.4 与 Claude Code Opus 4.7 设计的攻击平均 ASR 相同);SMP 中 Claude Code (Opus 4.7) 设计的攻击更强(对 Codex GPT-5.4 受害者 55.0% vs 44.4%)。
    • 精炼动态(Table F.1):设计器平均每次设计调用检测器 3.9 次(FPP)/3.7 次(SMP),12%(FPP)和 14%(SMP)的设计在严重标记后做了规避修改;正文称 87% 的攻击在两次尝试内通过检测器。
  5. 有什么可以进一步探索的点?

    作者指出任务域与 SMP 机制覆盖有限;实验覆盖 8 个配置、两种场景,部分防御只在小子集上评测。

    作者指出的局限与后续方向

    • 任务与技能覆盖(Limitations):SkillHarm 基于 SkillsBench,以编程和数据处理工作流为主,横跨八个应用域;网页浏览、多智能体协作、物理世界工具使用等域尚未覆盖。
    • SMP 规模(Limitations):跨会话场景受限于 12 个任务对,因为两个任务必须共享可执行技能内容;作者称这些约束来自底层任务基质而非构建方法,流水线可扩展到更大技能库。
    • SMP 机制(Limitations):SMP 样本只使用一种受控延迟变异机制(atexit 变异)作为持久化机制;作者指出持久化机制与其产生的有害效果相互独立,SMP 仍覆盖全部 12 类风险。
    • 防御方向(§5.3):作者称现有防御保护不足,有效缓解可能需要提示级干预之外的机制,如有效的运行时护栏、运行时访问与权限控制或安全后训练。

    实验覆盖范围

    • 被测对象:4 个 harness(Claude Code、Codex、Gemini CLI、OpenCode)× 8 个模型,共 8 个配置;harness–模型解耦实验另测 OpenCode 下的 Opus 4.7 和 GPT-5.4(附录 E.4)。
    • 基准规模:879 个样本(687 FPP、192 SMP),57 个任务、71 个技能、12 类风险;SMP 覆盖 12 个任务对、6 个技能(Table 3、附录 C)。
    • 防御评测:两个技能扫描器(Skill Scanner 两种骨干、Agent Scan)、DSP(在每风险类型平均 ASR 前 30% 的高 ASR 子集上)、输出护栏(200 条轨迹的平衡子集,附录 E.2)。
    • 运行次数:附录 D.1 写明 ASR 按全样本集单次运行计算;论文未报告多次重复或方差。
    • 人工验证:构建过滤的人工验证为 40 个候选(附录 B.4);LLM 裁判的人工一致性验证为 50 条轨迹(附录 D.2)。
  6. 总结一下论文的主要内容

    SkillHarm 用自动化流水线构建 879 个覆盖两种生命周期场景的技能攻击样本,作者称现有智能体普遍脆弱且防御不足。

    SkillHarm 是一个评测智能体技能投毒攻击的基准,配套自动化构建流水线 AutoSkillHarm。

    • 要解决的问题:第三方技能被智能体默认信任并执行,是易受攻击面;作者称现有基准只测单次任务执行、风险列表零散,无法回答智能体在技能复用和不同攻击结果下是否安全。
    • 方法要点:定义 FPP(固定载荷、单会话直接触发)和 SMP(atexit 钩子自变异、跨会话延迟触发)两种场景,12 类风险按数据管道、系统环境、智能体自主性三类组织;AutoSkillHarm 让编码智能体在自然语言 harness 驱动下完成目标选择(曝光率阈值 0.30)、攻击设计(Claude Code Opus 4.7 主设计器、LLM 检测器辅助自精炼)和质量过滤(保留 70%),每个样本带确定性评测器。
    • 主要结果:8 个模型-harness 配置下,FPP 的 ASR 最高 86.3%(Codex GPT-5.4),SMP 最高 69.3%(同配置,Table 4);以接触投毒文件为条件的 cASR 上升,最多 +32.1 个百分点(Claude Code Opus 4.7,SMP);SMP 中拒答率下降(Sonnet 4.6 从 25.3% 降至 2.1%);最强扫描器配置只检出 55.6%(FPP)和 68.8%(SMP)的注入(Table 5);DSP 子集上几乎所有配置 ASR 仍在 70% 以上(Figure 3)。
    • 作者结论:作者称许多表面上的攻击失败只是智能体未接触投毒文件而非真正抵抗,跨会话的时间解耦进一步抑制拒答,扫描器和防御提示都不能稳定缓解;作者认为技能攻击是智能体安全中独特且研究不足的区域,发布 SkillHarm 以支持防御研究。

相关论文

共同使用 SkillsBench
再看 2 篇
共同使用 SkillsBench
阅读原文arxiv.org