一项技能,两个主人:PERSIST 通过技能注入同时服务用户与攻击者
One Skill, Two Masters: Serving Users and Attackers through Skill Injection
作者提出技能注入攻击 PERSIST:把恶意动作藏进有用 helper 的导入模块,在 SkillsBench 与 Skill-Inject 上对四种 agent–model 配置实现跨任务迁移。
攻击者(development agent)可修改目标 agent 可用的第三方技能包中的一个技能(文档与代码),注入未授权的额外动作(harm);用户的请求、任务输入和 verifier 不在攻击者控制内;构建只用模拟执行,不接触真实评测请求、输入或反馈;目标 agent 自行决定工作流。
- LLM 智能体使用的技能包可被注入恶意内容,但能力更强的 agent 会检查代码、跳过无关步骤并拒绝无关动作,使现有技能注入方法失效。
- PERSIST 用模拟执行构建对常见任务有用的 helper,在技能描述和 SKILL.md 正文中引导 agent 调用,并把恶意动作放在 helper 导入的独立模块中;包冻结后在未见任务上复用。
- 在 SkillsBench 与 Skill-Inject 上,冻结包对四种 agent–model 配置均产生已验证的有害效果;在 Sonnet 5.5 匹配比较中,PERSIST 的 E@2 为 71.76%,高于两个基线的 44.71% 与 12.94%,源码检查率仅 5.6%。
- 作者指出评测限于两个基准,详细比较、行为分析和消融只覆盖部分配置,计划扩展到更多 agent 框架;主评测覆盖四种配置,消融仅在 DeepSeek Pro 上进行。
- 被测模型
- DeepSeek ProHaiku 5.5GPT-6 LunaGemini 3.8 FlashSonnet 5.5
- 基准
- SkillsBenchSkill-Inject
- 指标
- E@2U@2ASR@2source inspection rateexpressed suspicion ratetask coverage
研究者提出名为 PERSIST 的技能注入方法,将攻击者指定的动作与对重复任务有用的 helper 绑定,使 Agent 在完成用户任务的同时执行额外操作。方法用模拟执行构建 helper,在技能描述和 SKILL.md 中给出用法,并把攻击代码放在独立导入模块中,以减少 Agent 查看源码和产生怀疑。作者在 SkillsBench 和 Skill-Inject 上测试,冻结的技能包可跨 DeepSeek Pro、Claude Code、Codex 和 Antigravity 四种 Agent–模型配置迁移,并在未见任务上生效。在 Claude Code Sonnet 5.5 的匹配比较中,PERSIST 的有害效果率为 71.76%,高于两个基线的 44.71% 和 12.94%,源码检查率为 5.6%,表达怀疑率为 6.0%。代码已公开在 GitHub。
推荐理由论文显示把攻击代码放进被独立导入的模块可显著降低 Agent 的源码检查率,为评估技能包信任边界提供了可复现的攻击基线。
深度解读
这篇论文试图解决什么问题?
如何让技能注入在会检查代码、拒绝无关动作的现代 agent 上仍然生效。
核心问题:现有技能注入攻击会被能力更强的 agent 识破——它们会跳过无关步骤、检查代码、拒绝与任务无关的动作,如何在这种防御行为下让注入仍然生效。
- 场景与重要性:LLM agent 通过技能(skill)打包可复用的指令、脚本和资源来完成任务;作者称,当 agent 把技能包当作权威时,攻击者可通过添加指令或代码诱导未授权动作,这属于间接提示注入的一种形式。
- 现有方法的不足:作者称,现有技能注入方法(向技能文档添加攻击指令、在捆绑脚本中嵌入恶意行为)依赖 agent 直接使用所添加的内容;随着 agent 能力增强,它们会在行动前评估外部内容,从而跳过、检查或拒绝这些注入(论文图 1 的 PDF 案例中,agent 检查了新增脚本并拒绝其中与任务无关的会话数据复制,但仍完成了 PDF 交付)。
- 核心观察:注入失败不只有被拒绝一种方式——helper 对当前请求价值不大时会被跳过,角色或调用方式不清时会被闲置,代码被检查时可能暴露无关操作。作者的核心思路是让注入的 helper 值得被使用,同时减少源码检查和表露的怀疑。
- 论文提出的方法:PERSIST(Portable Extensions for Reusable Skill Injection across Systems and Tasks),把攻击者选定的动作连接到满足常见任务需求的有用函数上,通过模拟执行构建 helper(不接触真实评测任务或反馈),把额外动作放在 helper 导入的独立模块中,冻结后在未见任务和配置上复用。
- 威胁模型:
- 目标:让目标 agent 在执行用户任务时产生攻击者指定的有害效果(H1 数据泄露、H2 数据篡改、H3 额外业务提交、H4 资源删除、H5 审计禁用)。
- 知识:development agent(攻击者)只能访问原始技能包和模拟执行,不接触真实任务请求、输入、参考答案或评测反馈。
- 能力:可修改目标 agent 可用技能包集合中的一个技能,包括其文档和支持代码;用户的请求、任务输入和 verifier 不在攻击者控制内。
- 受害系统:接收用户请求并尝试完成任务的目标 agent,使用自身权限运行,攻击者不再进一步干预。
有哪些相关研究?
相关工作涵盖技能包攻击、注入的复用与组合,以及更广的提示注入与防御研究。
技能包攻击
- Skill-Inject(Schmotz et al., 2026):通过上下文指令、捆绑脚本和描述注入评测技能注入的攻击面,基准化了文档与脚本攻击。
- SkillJect(Jia et al., 2026a, 2026b):把 helper 脚本呈现为工作流步骤,通过执行反馈精炼其调用指令;扩展研究测试了跨模型迁移和额外生成任务。
- DDIPE(Qu et al., 2026)与 Liu et al., 2026a:分别把攻击逻辑嵌入代码示例和配置模板,或通过合规规则诱导 agent 生成未授权代码。论文指出,这些形式都要求 agent 对所添加的内容采取行动,PERSIST 正是聚焦这一决策点。
注入的复用与组合
- SkillJect 扩展研究(Jia et al., 2026b):考察在源任务上构建后的跨模型迁移和额外生成任务。
- CoordPoison(Wu et al., 2026):研究持久化产物如何跨技能协调行为。
- 论文指出,PERSIST 考察的是真实评测请求、输入和反馈全程不可用时的复用,同一冻结包在共享技能的多个请求和多个 agent–model 配置上测试。
更广的提示注入与存储资源攻击(附录 E)
- 提示注入研究:目标劫持与提示泄露(Perez and Ribeiro, 2022)、黑盒应用攻击(Liu et al., 2023)、形式化与基准化(Liu et al., 2024);agent 工作流的入口还包括 ToolTweak(操纵工具名与描述)、MCPTox(MCP 元数据投毒)、VPI-Bench(渲染界面中的恶意内容)。
- 存储资源与后门:AgentPoison(向记忆或检索库添加触发条件演示)、MINJA(仅查询交互的记忆投毒)、检索投毒(Zou et al., 2025)、后门 agent 在返回正确输出的同时执行恶意中间动作(Yang et al., 2024);AgentHarm 评测对明确有害请求的拒绝与完成。论文指出,PERSIST 把合法任务与注入效果配对,测量二者在冻结技能复用时的共存。
防御(附录 E)
- StruQ(Chen et al., 2025)、Jatmo(Piet et al., 2024)、Spotlighting(Hines et al., 2024)、Signed-Prompt(Suo, 2024):分别通过结构化查询、任务特定微调、来源标记和可信指令段识别来防御。论文指出,这些方法处理文本解释问题,而本文还考虑通过技能文档入口和导入依赖触达的可执行代码。
基线与基准:对比基线为 Body+Script+Description(遵循 Skill-Inject 的脚本攻击,结合文档引导与额外脚本)和 SkillJect (adapted)(用原始技能的模拟轨迹生成注入,允许一次格式修复);基准为 SkillsBench 与 Skill-Inject。作者将本文定位为:聚焦 agent 是否采用注入内容的决策,通过构建有用 helper 并研究其引导与代码组织如何影响执行。
论文如何解决这个问题?
用模拟执行构建有用 helper,文档引导调用,恶意动作藏进独立导入模块,冻结后复用。
整体思路:PERSIST 把攻击者选定的额外动作连接到对常见任务有用的可调用函数(helper)上,让 agent 有理由跨请求采用它;通过技能描述和 SKILL.md 正文引导 agent 发现与调用 helper,并把额外动作实现于 helper 导入的独立模块中,使阅读 helper 入口文件不会暴露攻击实现。构建全程只用模拟执行,不接触真实评测请求、输入或反馈,验证后冻结包供未见任务复用。
设定与威胁模型形式化
- 三种 agent 角色:development agent(攻击者)构建修改后的技能包;simulation agents 执行生成的任务并返回轨迹;target agent 接收用户请求并尝试完成任务。
- 五种有害效果:每个选中的技能包构建五个注入版本,分别产生 disclosure(H1)、data tampering(H2)、extra business submission(H3)、resource deletion(H4)、audit disabling(H5);版本用原始技能和模拟执行构建与筛选。
- 受控效果检查:在目标 agent 环境中加入测试文件和 mock 服务,注入代码作用于这些与用户任务输入分离的资源,使用预定义文件路径和服务接口;运行后检查指定效果是否发生(附录 B 给出全部五种 harm 的检查方式)。
构建有用的 helper
- 模拟任务生成:development agent 根据技能文档记载的能力生成模拟任务;构建从四个小模拟任务开始(两个标记为 easy、两个 hard),每个任务指定输入文件、期望输出路径和输出要求(附录 C.1)。
- 轨迹收集:simulation agents 用原始包在各自独立上下文中尝试这些任务,轨迹记录工具调用、输出和错误;至少三条可用轨迹返回后才开始 helper 构建。
- helper 设计:development agent 用这些记录为常见操作(如准备输入、检查生成的产物)构建 helper,使其在任务变化时仍然有用。
引导发现与使用
- 描述引导:agent 通过启动时加载的描述发现技能;development agent 把 helper 的功能和预期用途作为能力摘要的自然部分写进描述字段。
- 正文使用指南:SKILL.md 正文说明如何导入和调用 helper,包括所需输入、期望输出和适用限制,并附一个经过测试的完整调用示例;论文给出的设计理由是:调用说明不清会导致错误调用或自行实现,还可能促使 agent 更仔细地检查技能包,暴露注入动作。
任务代码与攻击代码分离
- 入口文件与导入模块:有用函数及其接口放在 helper 入口文件中;额外动作实现在 helper 导入的独立模块中。调用 helper 可同时产生有用输出和有害效果,但阅读入口文件不暴露额外动作的实现,要检查该代码必须再读另一个模块。
- 验证与冻结:development agent 准备可运行的使用示例和带小型合成输入的功能测试(覆盖正常调用、无效和边界输入),在全新沙箱中运行并据结果修订;冻结前检查指定有害效果。每个冻结候选在指定任务和跨目标配置上复用,development agent 不再根据评测结果修订。完整协议见附录 C.1。
成功判定与评测方式
- 指标:E@2 表示两次试验中任一次产生指定有害效果;U@2 表示任一次完成用户任务;ASR@2 要求同一试验内 E=1 且 U=1。
- 对照条件:每个任务在七种条件下测试——Clean(原始技能)、No harm(加入 helper、文档和导入模块但额外动作为空)、以及 H1–H5 五个 harm 条件;Clean 与 No harm 之差反映加入 helper 本身对任务完成的影响,No harm 与 Harm(H1–H5 平均)之差反映启用有害动作的进一步影响。
- 试验预算:所有方法和条件使用两次全新运行的预算,每次试验用新的会话、沙箱和合成测试状态;目标 agent 接收原始请求并自行选择工作流,可检查、使用、修改或绕过 helper。
论文做了哪些实验?
两个基准、四种目标配置的主评测,加 Sonnet 5.5 上的三方法匹配比较、行为分析与消融。
实验设置
- 被测目标配置(4 个):Deep Agents / LangGraph + DeepSeek Pro(DS)、Claude Code + Haiku 5.5(CC)、Codex + GPT-6 Luna(CX)、Antigravity + Gemini 3.8 Flash(AG);匹配比较另用 Claude Code + Sonnet 5.5。
- 基准与规模:SkillsBench 评测 87 个候选任务中的 46 个,每个任务修改其技能包集合中的一个技能,共 46×5=230 个任务–harm 对;Skill-Inject 评测 58 个任务中的 44 个、17 个共享技能,每个技能与 harm 目标冻结一个包并在关联任务上复用,共 220 个任务–harm 对。
- 构建侧模型:development agent 与 simulation agents 均用 Deep Agents / LangGraph + DeepSeek 4.1 Flash。
- 指标与判定:E@2、U@2、ASR@2(定义见第 3 问);SkillsBench 的任务完成要求官方 verifier 给满分,Skill-Inject 用 Codex + GPT-6.1 Sol 按固定任务要求评估输出产物与执行记录;有害效果按附录 B 的受控检查判定,全部标签均已解析。
- 基线:Body+Script+Description(按 Skill-Inject 的脚本攻击)与 SkillJect (adapted)(用原始技能的模拟轨迹生成注入,允许一次格式修复);三者都不用真实测试请求和反馈。
- 重复次数:每个任务–harm 对两次固定试验;主评测计划 5,040 个目标会话(90×7×2×4),Sonnet 比较 750 个(25×5×2×3),消融 2,700 个(90×5×2×3)。
主结果
据 Table 1(%,@2,Harm 为 H1–H5 平均;SkillsBench 按任务等权,Skill-Inject 按技能等权):
表格较宽,可左右滑动
基准 目标 E@2 U@2 ASR@2 Clean U@2 No harm U@2 SkillsBench DeepSeek Pro 87.83 68.70 58.70 71.74 76.09 SkillsBench Claude Code + Haiku 5.5 70.87 66.96 60.87 52.17 58.70 SkillsBench Codex + GPT-6 Luna 69.13 55.65 41.30 60.87 63.04 SkillsBench Antigravity + Gemini 3.8 Flash 71.30 71.74 51.74 76.09 76.09 Skill-Inject DeepSeek Pro 96.01 92.79 88.81 92.21 93.38 Skill-Inject Claude Code + Haiku 5.5 77.94 95.00 77.94 92.94 92.21 Skill-Inject Codex + GPT-6 Luna 85.82 97.35 85.23 90.29 97.06 Skill-Inject Antigravity + Gemini 3.8 Flash 70.99 82.76 62.58 84.56 78.92 - 跨配置迁移:作者称,同一冻结包在全部四种配置下都产生了已验证的有害效果,无需针对目标的修订;SkillsBench 上 CC、CX、AG 各约 70%,Skill-Inject 上 DS、CC、CX 更高,AG 接近 71%。
- 任务完成与效果共存:作者称,Skill-Inject 上 Harm 与 No harm 的完成率差在每种配置下都小于 4 个百分点;SkillsBench 上 DS 与 CX 下降 7.4 个百分点、AG 下降 4.3 个百分点,而 CC 上升 8.3 个百分点,任务影响取决于配置和基准。
- 基准难度差异:作者认为,四种配置的 Clean 完成率在 Skill-Inject 上都高于 SkillsBench,且注入下的完成率与 ASR 也更高,这一一致模式说明 Skill-Inject 保留的任务对被测 agent 更容易。
跨任务复用
- 测了什么:Skill-Inject 中 8 个多任务技能(35 个任务、40 个冻结包),同一包不加修改地用于该技能的所有任务,考察请求变化时注入是否仍生效。
- 结果:四种配置下平均任务覆盖率(mean task coverage)都超过 80%(DS 96.53、CC 90.63、CX 84.86、AG 83.36,Table 2);完全覆盖(full coverage,覆盖该技能全部任务的包占 40 个包的比例)为 DS 82.50、CC 65.00、CX 72.50、AG 50.00。
- 实例:DeepSeek Pro 用同一冻结 H1 包完成 SI-016(REST API)与 SI-040(MCP 计算器)两个任务,两次运行都通过任务检查并产生指定泄露(附录 C.2)。
Sonnet 5.5 匹配比较与行为分析
- 设置:作者观察到 Claude Code + Sonnet 5.5 会主动检查新增代码并拒绝无关动作,故选该配置做三方法匹配比较;25 个任务覆盖全部 17 个技能,每方法 250 次试验。
- 结果(Table 3):PERSIST 的 E@2 为 71.76%,Body+Script+Description 为 44.71%,SkillJect (adapted) 为 12.94%;ASR@2 分别为 70.59%、44.71%、12.94%;三方法任务完成率都在 97% 以上。源码检查率分别为 5.6%、51.6%、52.8%,表露怀疑率分别为 6.0%、50.4%、56.0%。
- 案例(Figure 3、附录 D.2):SI-017/H4 中基线 agent 读取并拒绝删除无关文件的维护脚本,PERSIST 的 helper 在事件创建前检查日期和时区,两次运行都交付日历文件但只有 PERSIST 产生指定删除;SI-053/H3 中 SkillJect 下 agent 未采用技能、直接重构 SQL(未表露怀疑),PERSIST 的查询检查 helper 进入工作流并产生额外提交。作者据此指出:避免怀疑还不够,agent 必须真的使用 helper。
其他消融与分析
- 消融设置(Table 4):DeepSeek Pro 上三个变体,任务–harm 对等权(SkillsBench 230、Skill-Inject 220),与 Table 1 的技能等权口径不同。
- 描述中不提 helper:E@2 在 SkillsBench 降 11.30 个百分点、Skill-Inject 降 10.91;ASR 降 4.78 与 9.09 个百分点。
- 正文中去掉使用指南:任务完成损失最大(SkillsBench 降 5.65、Skill-Inject 降 3.64 个百分点);E@2 降 8.26 与 5.91,ASR 降 10.00 与 4.55 个百分点。
- 攻击代码移入 helper:E@2 降幅最大(SkillsBench 降 19.13、Skill-Inject 降 13.18 个百分点),ASR 降 6.96 与 11.36,任务完成变化不到 1 个百分点;作者称完整方法的轨迹中,agent 有时读了入口文件后在未读导入模块的情况下调用 helper。
- 按 harm 分解(附录 B.1,Table S7):报告了四种配置在 H1–H5 上的效果与完成率,例如 SkillsBench 上 DS 各 harm 的 E@2 在 86.96–89.13 之间,CX 在 60.87–80.43 之间。
有什么可以进一步探索的点?
作者指出基准与配置覆盖有限并计划扩展;实验覆盖四种目标配置,消融仅在 DeepSeek Pro 上。
作者指出的局限与后续方向
- 基准覆盖(Limitations 节):评测只在 SkillsBench 和 Skill-Inject 上进行;作者称未来工作可纳入覆盖更多任务领域和技能类型的数据集,以评估同一注入包在更广请求下是否仍然有效。
- 配置覆盖(Limitations 节):主评测覆盖四种 agent–model 配置;由于预算和时间限制,详细比较、行为分析和消融只针对选定的配置进行。
- 后续计划(Limitations 节):作者计划把这些实验扩展到更多 agent 框架,以评估各组件在不同执行设置下的贡献。
实验覆盖范围
- 被测模型:主评测为四种目标配置(DeepSeek Pro、Claude Code + Haiku 5.5、Codex + GPT-6 Luna、Antigravity + Gemini 3.8 Flash);匹配方法比较只用 Claude Code + Sonnet 5.5;消融只在 DeepSeek Pro 上进行。
- 基准与任务:SkillsBench 87 个候选任务中保留 46 个(41 个因 precheck 未通过、环境、资源、适配器或构建原因被排除,Table S1),Skill-Inject 58 个任务中保留 44 个、17 个技能;论文注明排除计数描述的是其评测清单,不代表这些任务能否在别处运行。
- 有害效果类型:固定为五种(H1 泄露、H2 篡改、H3 额外提交、H4 删除、H5 审计禁用),作用于与原始任务输入分离的合成状态,不使用真实凭据、账户、支付或生产服务(Ethical Considerations 节)。
- 试验预算:每个任务–harm 对两次固定试验;论文报告了计划的目标会话数(主评测 5,040、Sonnet 比较 750、消融 2,700),并注明这些不是模型调用或 token 总量。
- 构建侧设置:development agent 与 simulation agents 均用 DeepSeek 4.1 Flash;Skill-Inject 的任务完成判定用 Codex + GPT-6.1 Sol;论文未报告构建阶段的平均成本(附录 C.1 注明限额定义的是计划而非实测平均开发成本)。
总结一下论文的主要内容
PERSIST 把恶意动作藏进有用 helper 的导入模块,冻结包跨四种配置与未见任务复用生效。
一篇关于 agent 技能包注入攻击的论文,针对的是会检查代码、评估任务相关性并拒绝无关动作的现代 agent。
- 问题:现有技能注入依赖 agent 直接使用被添加的指令或代码,能力更强的 agent 会跳过无关步骤、检查脚本并拒绝无关动作,使注入失效;论文的 PDF 案例中 agent 拒绝了注入脚本却仍完成了任务。
- 方法:PERSIST 用模拟执行(不接触真实评测请求、输入或反馈)识别常见任务需求并构建有用的 helper;技能描述介绍 helper 的角色,SKILL.md 正文给出调用指南和示例;攻击者选定的动作(五种 harm:泄露、篡改、额外提交、删除、审计禁用)实现在 helper 导入的独立模块中,阅读入口文件不会暴露它;验证后冻结包,在未见任务和配置上复用。
- 主结果:在 SkillsBench(46 任务)与 Skill-Inject(44 任务、17 技能)上,同一冻结包在四种 agent–model 配置下都产生已验证的有害效果;Skill-Inject 上 DeepSeek Pro 的 E@2 达 96.01%、ASR@2 达 88.81%(Table 1)。
- 复用与匹配比较:8 个多任务技能上,四种配置的平均任务覆盖率都超过 80%(Table 2);在主动检查代码的 Claude Code + Sonnet 5.5 上,PERSIST 的 E@2 为 71.76%,高于 Body+Script+Description 的 44.71% 和 SkillJect (adapted) 的 12.94%,源码检查率仅 5.6%(基线约 51.6%–52.8%)(Table 3)。
- 消融:去掉描述引导、正文使用指南或把攻击代码移入 helper 都会降低效果率与 ASR,其中移入 helper 使 SkillsBench 的 E@2 下降 19.13 个百分点(Table 4)。
- 作者结论:作者称,把攻击动作连接到有用函数、配合文档引导与模块分离,可以让一个技能同时服务用户任务和攻击者目标,冻结包无需修订即可跨框架与任务迁移;作者指出评测限于两个基准和选定配置,计划扩展到更多数据集与 agent 框架。
相关论文
- AgentSpy: Making AI Agent Behavior Observable分析/可解释性arXiv