跳到正文
原文

一项技能,两个主人:PERSIST 通过技能注入同时服务用户与攻击者

One Skill, Two Masters: Serving Users and Attackers through Skill Injection

arXiv· arXiv:2606.07943· Haochang Hao, Dehai Min, Zhifang Zhang, Yunbei Zhang, Miao Xu, Yingqiang Ge, Philip S. Yu, Lu ChengUniversity of Illinois at Chicago; University of Queensland; Tulane University; Rutgers University本站收录· 11 天前· 原文发表入选 攻击精选关注度39

论文速读

攻击

据论文 PDF 整理(AI 生成),以原文为准

作者提出技能注入攻击 PERSIST:把恶意动作藏进有用 helper 的导入模块,在 SkillsBench 与 Skill-Inject 上对四种 agent–model 配置实现跨任务迁移。

威胁模型攻击者(development agent)可修改目标 agent 可用的第三方技能包中的一个技能(文档与代码),注入未授权的额外动作(harm);用户的请求、任务输入和 verifier 不在攻击者控制内;构建只用模拟执行,不接触真实评测请求、输入或反馈;目标 agent 自行决定工作流。

问题
LLM 智能体使用的技能包可被注入恶意内容,但能力更强的 agent 会检查代码、跳过无关步骤并拒绝无关动作,使现有技能注入方法失效。
方法
PERSIST 用模拟执行构建对常见任务有用的 helper,在技能描述和 SKILL.md 正文中引导 agent 调用,并把恶意动作放在 helper 导入的独立模块中;包冻结后在未见任务上复用。
实验与结果
在 SkillsBench 与 Skill-Inject 上,冻结包对四种 agent–model 配置均产生已验证的有害效果;在 Sonnet 5.5 匹配比较中,PERSIST 的 E@2 为 71.76%,高于两个基线的 44.71% 与 12.94%,源码检查率仅 5.6%。
局限与可以继续做的
作者指出评测限于两个基准,详细比较、行为分析和消融只覆盖部分配置,计划扩展到更多 agent 框架;主评测覆盖四种配置,消融仅在 DeepSeek Pro 上进行。
实验设置DeepSeek Pro、Haiku 5.5 等 · SkillsBench、Skill-Inject · E@2、U@2 等
被测模型
DeepSeek ProHaiku 5.5GPT-6 LunaGemini 3.8 FlashSonnet 5.5
基准
SkillsBenchSkill-Inject
指标
E@2U@2ASR@2source inspection rateexpressed suspicion ratetask coverage
AI 导读和推荐理由研究者提出名为 PERSIST 的技能注入方法,将攻击者指定的动作与对重复任务有用的 helper 绑定,使 Agent 在完成用户任务的同时执行额外操作。方法用模拟执行构建 helper,在技能描述和 SKILL.md 中给出用法,并把攻击代码放在独立导入模块中,以减少 Agent 查看源码和产生怀疑。作者在 SkillsBench 和 Skill-Inject 上测试,冻结的技能包可跨 DeepSeek Pro、Claude Code、Codex 和 Antigravity 四种 Agent–模型配置迁移,并在未见任务上生效。在 Claude Code Sonnet 5.5 的匹配比较中,PERSIST 的有害效果率为 71.76%,高于两个基线的 44.71% 和 12.94%,源码检查率为 5.6%,表达怀疑率为 6.0%。代码已公开在 GitHub。

研究者提出名为 PERSIST 的技能注入方法,将攻击者指定的动作与对重复任务有用的 helper 绑定,使 Agent 在完成用户任务的同时执行额外操作。方法用模拟执行构建 helper,在技能描述和 SKILL.md 中给出用法,并把攻击代码放在独立导入模块中,以减少 Agent 查看源码和产生怀疑。作者在 SkillsBench 和 Skill-Inject 上测试,冻结的技能包可跨 DeepSeek Pro、Claude Code、Codex 和 Antigravity 四种 Agent–模型配置迁移,并在未见任务上生效。在 Claude Code Sonnet 5.5 的匹配比较中,PERSIST 的有害效果率为 71.76%,高于两个基线的 44.71% 和 12.94%,源码检查率为 5.6%,表达怀疑率为 6.0%。代码已公开在 GitHub。

推荐理由论文显示把攻击代码放进被独立导入的模块可显著降低 Agent 的源码检查率,为评估技能包信任边界提供了可复现的攻击基线。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    如何让技能注入在会检查代码、拒绝无关动作的现代 agent 上仍然生效。

    核心问题:现有技能注入攻击会被能力更强的 agent 识破——它们会跳过无关步骤、检查代码、拒绝与任务无关的动作,如何在这种防御行为下让注入仍然生效。

    • 场景与重要性:LLM agent 通过技能(skill)打包可复用的指令、脚本和资源来完成任务;作者称,当 agent 把技能包当作权威时,攻击者可通过添加指令或代码诱导未授权动作,这属于间接提示注入的一种形式。
    • 现有方法的不足:作者称,现有技能注入方法(向技能文档添加攻击指令、在捆绑脚本中嵌入恶意行为)依赖 agent 直接使用所添加的内容;随着 agent 能力增强,它们会在行动前评估外部内容,从而跳过、检查或拒绝这些注入(论文图 1 的 PDF 案例中,agent 检查了新增脚本并拒绝其中与任务无关的会话数据复制,但仍完成了 PDF 交付)。
    • 核心观察:注入失败不只有被拒绝一种方式——helper 对当前请求价值不大时会被跳过,角色或调用方式不清时会被闲置,代码被检查时可能暴露无关操作。作者的核心思路是让注入的 helper 值得被使用,同时减少源码检查和表露的怀疑。
    • 论文提出的方法:PERSIST(Portable Extensions for Reusable Skill Injection across Systems and Tasks),把攻击者选定的动作连接到满足常见任务需求的有用函数上,通过模拟执行构建 helper(不接触真实评测任务或反馈),把额外动作放在 helper 导入的独立模块中,冻结后在未见任务和配置上复用。
    • 威胁模型:
      • 目标:让目标 agent 在执行用户任务时产生攻击者指定的有害效果(H1 数据泄露、H2 数据篡改、H3 额外业务提交、H4 资源删除、H5 审计禁用)。
      • 知识:development agent(攻击者)只能访问原始技能包和模拟执行,不接触真实任务请求、输入、参考答案或评测反馈。
      • 能力:可修改目标 agent 可用技能包集合中的一个技能,包括其文档和支持代码;用户的请求、任务输入和 verifier 不在攻击者控制内。
      • 受害系统:接收用户请求并尝试完成任务的目标 agent,使用自身权限运行,攻击者不再进一步干预。
  2. 有哪些相关研究?

    相关工作涵盖技能包攻击、注入的复用与组合,以及更广的提示注入与防御研究。

    技能包攻击

    • Skill-Inject(Schmotz et al., 2026):通过上下文指令、捆绑脚本和描述注入评测技能注入的攻击面,基准化了文档与脚本攻击。
    • SkillJect(Jia et al., 2026a, 2026b):把 helper 脚本呈现为工作流步骤,通过执行反馈精炼其调用指令;扩展研究测试了跨模型迁移和额外生成任务。
    • DDIPE(Qu et al., 2026)与 Liu et al., 2026a:分别把攻击逻辑嵌入代码示例和配置模板,或通过合规规则诱导 agent 生成未授权代码。论文指出,这些形式都要求 agent 对所添加的内容采取行动,PERSIST 正是聚焦这一决策点。

    注入的复用与组合

    • SkillJect 扩展研究(Jia et al., 2026b):考察在源任务上构建后的跨模型迁移和额外生成任务。
    • CoordPoison(Wu et al., 2026):研究持久化产物如何跨技能协调行为。
    • 论文指出,PERSIST 考察的是真实评测请求、输入和反馈全程不可用时的复用,同一冻结包在共享技能的多个请求和多个 agent–model 配置上测试。

    更广的提示注入与存储资源攻击(附录 E)

    • 提示注入研究:目标劫持与提示泄露(Perez and Ribeiro, 2022)、黑盒应用攻击(Liu et al., 2023)、形式化与基准化(Liu et al., 2024);agent 工作流的入口还包括 ToolTweak(操纵工具名与描述)、MCPTox(MCP 元数据投毒)、VPI-Bench(渲染界面中的恶意内容)。
    • 存储资源与后门:AgentPoison(向记忆或检索库添加触发条件演示)、MINJA(仅查询交互的记忆投毒)、检索投毒(Zou et al., 2025)、后门 agent 在返回正确输出的同时执行恶意中间动作(Yang et al., 2024);AgentHarm 评测对明确有害请求的拒绝与完成。论文指出,PERSIST 把合法任务与注入效果配对,测量二者在冻结技能复用时的共存。

    防御(附录 E)

    • StruQ(Chen et al., 2025)、Jatmo(Piet et al., 2024)、Spotlighting(Hines et al., 2024)、Signed-Prompt(Suo, 2024):分别通过结构化查询、任务特定微调、来源标记和可信指令段识别来防御。论文指出,这些方法处理文本解释问题,而本文还考虑通过技能文档入口和导入依赖触达的可执行代码。

    基线与基准:对比基线为 Body+Script+Description(遵循 Skill-Inject 的脚本攻击,结合文档引导与额外脚本)和 SkillJect (adapted)(用原始技能的模拟轨迹生成注入,允许一次格式修复);基准为 SkillsBench 与 Skill-Inject。作者将本文定位为:聚焦 agent 是否采用注入内容的决策,通过构建有用 helper 并研究其引导与代码组织如何影响执行。

  3. 论文如何解决这个问题?

    用模拟执行构建有用 helper,文档引导调用,恶意动作藏进独立导入模块,冻结后复用。

    整体思路:PERSIST 把攻击者选定的额外动作连接到对常见任务有用的可调用函数(helper)上,让 agent 有理由跨请求采用它;通过技能描述和 SKILL.md 正文引导 agent 发现与调用 helper,并把额外动作实现于 helper 导入的独立模块中,使阅读 helper 入口文件不会暴露攻击实现。构建全程只用模拟执行,不接触真实评测请求、输入或反馈,验证后冻结包供未见任务复用。

    设定与威胁模型形式化

    • 三种 agent 角色:development agent(攻击者)构建修改后的技能包;simulation agents 执行生成的任务并返回轨迹;target agent 接收用户请求并尝试完成任务。
    • 五种有害效果:每个选中的技能包构建五个注入版本,分别产生 disclosure(H1)、data tampering(H2)、extra business submission(H3)、resource deletion(H4)、audit disabling(H5);版本用原始技能和模拟执行构建与筛选。
    • 受控效果检查:在目标 agent 环境中加入测试文件和 mock 服务,注入代码作用于这些与用户任务输入分离的资源,使用预定义文件路径和服务接口;运行后检查指定效果是否发生(附录 B 给出全部五种 harm 的检查方式)。

    构建有用的 helper

    • 模拟任务生成:development agent 根据技能文档记载的能力生成模拟任务;构建从四个小模拟任务开始(两个标记为 easy、两个 hard),每个任务指定输入文件、期望输出路径和输出要求(附录 C.1)。
    • 轨迹收集:simulation agents 用原始包在各自独立上下文中尝试这些任务,轨迹记录工具调用、输出和错误;至少三条可用轨迹返回后才开始 helper 构建。
    • helper 设计:development agent 用这些记录为常见操作(如准备输入、检查生成的产物)构建 helper,使其在任务变化时仍然有用。

    引导发现与使用

    • 描述引导:agent 通过启动时加载的描述发现技能;development agent 把 helper 的功能和预期用途作为能力摘要的自然部分写进描述字段。
    • 正文使用指南:SKILL.md 正文说明如何导入和调用 helper,包括所需输入、期望输出和适用限制,并附一个经过测试的完整调用示例;论文给出的设计理由是:调用说明不清会导致错误调用或自行实现,还可能促使 agent 更仔细地检查技能包,暴露注入动作。

    任务代码与攻击代码分离

    • 入口文件与导入模块:有用函数及其接口放在 helper 入口文件中;额外动作实现在 helper 导入的独立模块中。调用 helper 可同时产生有用输出和有害效果,但阅读入口文件不暴露额外动作的实现,要检查该代码必须再读另一个模块。
    • 验证与冻结:development agent 准备可运行的使用示例和带小型合成输入的功能测试(覆盖正常调用、无效和边界输入),在全新沙箱中运行并据结果修订;冻结前检查指定有害效果。每个冻结候选在指定任务和跨目标配置上复用,development agent 不再根据评测结果修订。完整协议见附录 C.1。

    成功判定与评测方式

    • 指标:E@2 表示两次试验中任一次产生指定有害效果;U@2 表示任一次完成用户任务;ASR@2 要求同一试验内 E=1 且 U=1。
    • 对照条件:每个任务在七种条件下测试——Clean(原始技能)、No harm(加入 helper、文档和导入模块但额外动作为空)、以及 H1–H5 五个 harm 条件;Clean 与 No harm 之差反映加入 helper 本身对任务完成的影响,No harm 与 Harm(H1–H5 平均)之差反映启用有害动作的进一步影响。
    • 试验预算:所有方法和条件使用两次全新运行的预算,每次试验用新的会话、沙箱和合成测试状态;目标 agent 接收原始请求并自行选择工作流,可检查、使用、修改或绕过 helper。
  4. 论文做了哪些实验?

    两个基准、四种目标配置的主评测,加 Sonnet 5.5 上的三方法匹配比较、行为分析与消融。

    实验设置

    • 被测目标配置(4 个):Deep Agents / LangGraph + DeepSeek Pro(DS)、Claude Code + Haiku 5.5(CC)、Codex + GPT-6 Luna(CX)、Antigravity + Gemini 3.8 Flash(AG);匹配比较另用 Claude Code + Sonnet 5.5。
    • 基准与规模:SkillsBench 评测 87 个候选任务中的 46 个,每个任务修改其技能包集合中的一个技能,共 46×5=230 个任务–harm 对;Skill-Inject 评测 58 个任务中的 44 个、17 个共享技能,每个技能与 harm 目标冻结一个包并在关联任务上复用,共 220 个任务–harm 对。
    • 构建侧模型:development agent 与 simulation agents 均用 Deep Agents / LangGraph + DeepSeek 4.1 Flash。
    • 指标与判定:E@2、U@2、ASR@2(定义见第 3 问);SkillsBench 的任务完成要求官方 verifier 给满分,Skill-Inject 用 Codex + GPT-6.1 Sol 按固定任务要求评估输出产物与执行记录;有害效果按附录 B 的受控检查判定,全部标签均已解析。
    • 基线:Body+Script+Description(按 Skill-Inject 的脚本攻击)与 SkillJect (adapted)(用原始技能的模拟轨迹生成注入,允许一次格式修复);三者都不用真实测试请求和反馈。
    • 重复次数:每个任务–harm 对两次固定试验;主评测计划 5,040 个目标会话(90×7×2×4),Sonnet 比较 750 个(25×5×2×3),消融 2,700 个(90×5×2×3)。

    主结果

    据 Table 1(%,@2,Harm 为 H1–H5 平均;SkillsBench 按任务等权,Skill-Inject 按技能等权):

    表格较宽,可左右滑动

    基准目标E@2U@2ASR@2Clean U@2No harm U@2
    SkillsBenchDeepSeek Pro87.8368.7058.7071.7476.09
    SkillsBenchClaude Code + Haiku 5.570.8766.9660.8752.1758.70
    SkillsBenchCodex + GPT-6 Luna69.1355.6541.3060.8763.04
    SkillsBenchAntigravity + Gemini 3.8 Flash71.3071.7451.7476.0976.09
    Skill-InjectDeepSeek Pro96.0192.7988.8192.2193.38
    Skill-InjectClaude Code + Haiku 5.577.9495.0077.9492.9492.21
    Skill-InjectCodex + GPT-6 Luna85.8297.3585.2390.2997.06
    Skill-InjectAntigravity + Gemini 3.8 Flash70.9982.7662.5884.5678.92
    • 跨配置迁移:作者称,同一冻结包在全部四种配置下都产生了已验证的有害效果,无需针对目标的修订;SkillsBench 上 CC、CX、AG 各约 70%,Skill-Inject 上 DS、CC、CX 更高,AG 接近 71%。
    • 任务完成与效果共存:作者称,Skill-Inject 上 Harm 与 No harm 的完成率差在每种配置下都小于 4 个百分点;SkillsBench 上 DS 与 CX 下降 7.4 个百分点、AG 下降 4.3 个百分点,而 CC 上升 8.3 个百分点,任务影响取决于配置和基准。
    • 基准难度差异:作者认为,四种配置的 Clean 完成率在 Skill-Inject 上都高于 SkillsBench,且注入下的完成率与 ASR 也更高,这一一致模式说明 Skill-Inject 保留的任务对被测 agent 更容易。

    跨任务复用

    • 测了什么:Skill-Inject 中 8 个多任务技能(35 个任务、40 个冻结包),同一包不加修改地用于该技能的所有任务,考察请求变化时注入是否仍生效。
    • 结果:四种配置下平均任务覆盖率(mean task coverage)都超过 80%(DS 96.53、CC 90.63、CX 84.86、AG 83.36,Table 2);完全覆盖(full coverage,覆盖该技能全部任务的包占 40 个包的比例)为 DS 82.50、CC 65.00、CX 72.50、AG 50.00。
    • 实例:DeepSeek Pro 用同一冻结 H1 包完成 SI-016(REST API)与 SI-040(MCP 计算器)两个任务,两次运行都通过任务检查并产生指定泄露(附录 C.2)。

    Sonnet 5.5 匹配比较与行为分析

    • 设置:作者观察到 Claude Code + Sonnet 5.5 会主动检查新增代码并拒绝无关动作,故选该配置做三方法匹配比较;25 个任务覆盖全部 17 个技能,每方法 250 次试验。
    • 结果(Table 3):PERSIST 的 E@2 为 71.76%,Body+Script+Description 为 44.71%,SkillJect (adapted) 为 12.94%;ASR@2 分别为 70.59%、44.71%、12.94%;三方法任务完成率都在 97% 以上。源码检查率分别为 5.6%、51.6%、52.8%,表露怀疑率分别为 6.0%、50.4%、56.0%。
    • 案例(Figure 3、附录 D.2):SI-017/H4 中基线 agent 读取并拒绝删除无关文件的维护脚本,PERSIST 的 helper 在事件创建前检查日期和时区,两次运行都交付日历文件但只有 PERSIST 产生指定删除;SI-053/H3 中 SkillJect 下 agent 未采用技能、直接重构 SQL(未表露怀疑),PERSIST 的查询检查 helper 进入工作流并产生额外提交。作者据此指出:避免怀疑还不够,agent 必须真的使用 helper。

    其他消融与分析

    • 消融设置(Table 4):DeepSeek Pro 上三个变体,任务–harm 对等权(SkillsBench 230、Skill-Inject 220),与 Table 1 的技能等权口径不同。
    • 描述中不提 helper:E@2 在 SkillsBench 降 11.30 个百分点、Skill-Inject 降 10.91;ASR 降 4.78 与 9.09 个百分点。
    • 正文中去掉使用指南:任务完成损失最大(SkillsBench 降 5.65、Skill-Inject 降 3.64 个百分点);E@2 降 8.26 与 5.91,ASR 降 10.00 与 4.55 个百分点。
    • 攻击代码移入 helper:E@2 降幅最大(SkillsBench 降 19.13、Skill-Inject 降 13.18 个百分点),ASR 降 6.96 与 11.36,任务完成变化不到 1 个百分点;作者称完整方法的轨迹中,agent 有时读了入口文件后在未读导入模块的情况下调用 helper。
    • 按 harm 分解(附录 B.1,Table S7):报告了四种配置在 H1–H5 上的效果与完成率,例如 SkillsBench 上 DS 各 harm 的 E@2 在 86.96–89.13 之间,CX 在 60.87–80.43 之间。
  5. 有什么可以进一步探索的点?

    作者指出基准与配置覆盖有限并计划扩展;实验覆盖四种目标配置,消融仅在 DeepSeek Pro 上。

    作者指出的局限与后续方向

    • 基准覆盖(Limitations 节):评测只在 SkillsBench 和 Skill-Inject 上进行;作者称未来工作可纳入覆盖更多任务领域和技能类型的数据集,以评估同一注入包在更广请求下是否仍然有效。
    • 配置覆盖(Limitations 节):主评测覆盖四种 agent–model 配置;由于预算和时间限制,详细比较、行为分析和消融只针对选定的配置进行。
    • 后续计划(Limitations 节):作者计划把这些实验扩展到更多 agent 框架,以评估各组件在不同执行设置下的贡献。

    实验覆盖范围

    • 被测模型:主评测为四种目标配置(DeepSeek Pro、Claude Code + Haiku 5.5、Codex + GPT-6 Luna、Antigravity + Gemini 3.8 Flash);匹配方法比较只用 Claude Code + Sonnet 5.5;消融只在 DeepSeek Pro 上进行。
    • 基准与任务:SkillsBench 87 个候选任务中保留 46 个(41 个因 precheck 未通过、环境、资源、适配器或构建原因被排除,Table S1),Skill-Inject 58 个任务中保留 44 个、17 个技能;论文注明排除计数描述的是其评测清单,不代表这些任务能否在别处运行。
    • 有害效果类型:固定为五种(H1 泄露、H2 篡改、H3 额外提交、H4 删除、H5 审计禁用),作用于与原始任务输入分离的合成状态,不使用真实凭据、账户、支付或生产服务(Ethical Considerations 节)。
    • 试验预算:每个任务–harm 对两次固定试验;论文报告了计划的目标会话数(主评测 5,040、Sonnet 比较 750、消融 2,700),并注明这些不是模型调用或 token 总量。
    • 构建侧设置:development agent 与 simulation agents 均用 DeepSeek 4.1 Flash;Skill-Inject 的任务完成判定用 Codex + GPT-6.1 Sol;论文未报告构建阶段的平均成本(附录 C.1 注明限额定义的是计划而非实测平均开发成本)。
  6. 总结一下论文的主要内容

    PERSIST 把恶意动作藏进有用 helper 的导入模块,冻结包跨四种配置与未见任务复用生效。

    一篇关于 agent 技能包注入攻击的论文,针对的是会检查代码、评估任务相关性并拒绝无关动作的现代 agent。

    • 问题:现有技能注入依赖 agent 直接使用被添加的指令或代码,能力更强的 agent 会跳过无关步骤、检查脚本并拒绝无关动作,使注入失效;论文的 PDF 案例中 agent 拒绝了注入脚本却仍完成了任务。
    • 方法:PERSIST 用模拟执行(不接触真实评测请求、输入或反馈)识别常见任务需求并构建有用的 helper;技能描述介绍 helper 的角色,SKILL.md 正文给出调用指南和示例;攻击者选定的动作(五种 harm:泄露、篡改、额外提交、删除、审计禁用)实现在 helper 导入的独立模块中,阅读入口文件不会暴露它;验证后冻结包,在未见任务和配置上复用。
    • 主结果:在 SkillsBench(46 任务)与 Skill-Inject(44 任务、17 技能)上,同一冻结包在四种 agent–model 配置下都产生已验证的有害效果;Skill-Inject 上 DeepSeek Pro 的 E@2 达 96.01%、ASR@2 达 88.81%(Table 1)。
    • 复用与匹配比较:8 个多任务技能上,四种配置的平均任务覆盖率都超过 80%(Table 2);在主动检查代码的 Claude Code + Sonnet 5.5 上,PERSIST 的 E@2 为 71.76%,高于 Body+Script+Description 的 44.71% 和 SkillJect (adapted) 的 12.94%,源码检查率仅 5.6%(基线约 51.6%–52.8%)(Table 3)。
    • 消融:去掉描述引导、正文使用指南或把攻击代码移入 helper 都会降低效果率与 ASR,其中移入 helper 使 SkillsBench 的 E@2 下降 19.13 个百分点(Table 4)。
    • 作者结论:作者称,把攻击动作连接到有用函数、配合文档引导与模块分离,可以让一个技能同时服务用户任务和攻击者目标,冻结包无需修订即可跨框架与任务迁移;作者指出评测限于两个基准和选定配置,计划扩展到更多数据集与 agent 框架。

相关论文

共同使用 Skill-Inject
再看 3 篇
共同使用 Skill-Inject
阅读原文arxiv.org