SkillPoison：用成功经验投毒自进化 Agent 的技能形成

现有的基于形成的技能攻击（Formation-based Skill Attacks）难以在不显式暴露恶意行为的情况下，将目标行为转化为自进化智能体中持久且可复用的技能。

• 场景与重要性：自进化智能体通过从执行经验中提炼出持久、可复用的技能实现持续改进，技能形成后可被检索用于指导下游任务的规划与执行（Section 1）。若技能被对抗性操纵，其影响将在后续下游执行中持续存在，因此保障技能形成机制的安全性至关重要（Section 1）。
• 现有方法的不足：现有基于形成的技能攻击主要将投毒视为经验层面的行为注入，直接在轨迹中编码恶意行为或触发条件，这容易在轨迹分析阶段因与任务约束冲突而被拦截；同时，导致当前任务失败的恶意轨迹无法为技能固化提供正向成功经验支持，难以积累为持久技能（Section 1、Section 2.2）。
• 核心观察与思路：技能投毒可以通过已验证的成功经验来实现（Section 1、Section 2.3）。通过利用局部有效的行为并在多经验间强化其与任务成功的关联，可以促使原生技能学习流水线保留该行为，并使其脱离原始有效上下文发生过度泛化（Section 2.3）。
• 威胁模型：
  • 受害系统：从已验证成功轨迹集合中提取并固化持久技能的自进化智能体框架，其原生流水线包含轨迹分析器和技能提取器（Section 3.1）。
  • 攻击者目标：使被攻击生成的技能保留目标行为，并在该行为的合法有效上下文之外应用它（Section 3.1 式 (1)）。
  • 攻击者能力：攻击者可在攻击预算内选择用于技能形成的成功经验子集，并通过接口附加辅助注释；不能修改底层执行、输出或验证结果，也不能直接修改技能流水线或生成的技能（Section 3.1）。
  • 攻击者知识：论文设定攻击者无需访问内部演化逻辑或直接修改技能库，仅通过常规技能形成接口提供带注释的成功经验（Section 3.1、附录 B.2）。
• 论文提出方案：提出了 SkillPoison 框架，包含分层任务选择、局部证据驱动的成功归因以及全局跨经验归纳强化三个阶段，通过局部有效的成功经验诱导技能过度泛化（Section 3）。

针对自进化智能体与技能系统的研究主要聚焦于经验到技能学习、技能工件供应链风险以及经验驱动的记忆与技能投毒。

• 经验到技能学习（Experience-to-skill learning）：
  • 技能生命周期与自演化机制：Lin et al. (2026)、Yan et al. (2026)、Zhang et al. (2026a) 研究技能的创建、记忆、管理、评估与开放世界适应；Zhang et al. (2026b)、Liu et al. (2026a)、Alzubi et al. (2026) 研究通过合并、失败驱动的精炼及反馈实现技能迭代改进；Bai et al. (2026)、Zhang et al. (2026c)、Huang et al. (2026b)、Wang et al. (2026c)、Wei et al. (2026) 研究终身维护与类型化技能图或协同演化优化。作者指出，当局部有效的行为模式被反复固化为可复用技能时，若原始适用条件被削弱或省略，可能在原生形成过程中出现不当泛化风险。
• 技能工件与供应链攻击（Skill Artifact and Supply-Chain Attacks）：
  • 工件篡改与注册中心操作：Liu et al. (2026c)、Chen et al. (2026c) 指出可安装技能包可能引入提示注入、凭据泄露等风险；Saha et al. (2026)、Yang et al. (2026b) 研究通过恶意 SKILL.md 或表面良性的技能文件植入恶意指令；Lv et al. (2026)、Etteib et al. (2026)、Yang et al. (2026a) 探索了部署前后的结构、语义与运行时审计检测机制。作者指出，现有工作主要考虑恶意指令已直接嵌入技能工件或通过分发渠道引入的威胁，而本文研究的是无需编写、编辑或替换技能工件即可通过原生经验形成过程引发有害指导的攻击面。
• 经验驱动的技能投毒（Experience-Driven Skill Poisoning）：
  • 间接记忆投毒与自演化投毒：Zou et al. (2026)、Dash et al. (2026)、Huang et al. (2026a) 研究将对抗信息写入持久记忆；Wu et al. (2026)（EVOMAL）和 Liu et al. (2026e) 研究自演化机制如何传播恶意能力或通过执行反馈塑造技能。作者指出，这些工作显示交互信号可通过更新机制转化为持久状态；而本文研究的是在仅有形成权限的设定下，通过组织局部有效的成功经验使技能抽象保留目标行为但遗漏原始适用边界。
• 基线方法与基准：对比了良性形成基线 w/o Attack；适配到技能设定下的智能体记忆攻击 MemoryGraft (Srivastava & He, 2025)、ExpeL (Zhao et al., 2024)、OEP (Wang et al., 2026b)、Agent Workflow Memory (Wang et al., 2024b)；以及经验到技能攻击 PoisonedEvolution (Chen et al., 2026a) 和 SkillJack (Ying et al., 2026)。评测基准为 HANS、PAWS 以及 DS1000。
• 本文定位：作者指出，现有攻击依赖向个别轨迹显式注入恶意指令或失败经验，容易被轨迹分析拦截且难以积累为持久技能；本文则提出仅依赖局部有效且验证成功的经验，通过因果归因与跨任务强化诱导技能保留与过度泛化。

SkillPoison 框架利用目标行为在局部成立的已验证成功经验，结合因果归因元数据与跨类别组织，诱导原生技能提取流水线保留该行为并发生过度泛化。

整体思路与形式化

论文将自进化智能体从成功轨迹集合中提取技能的过程形式化为轨迹分析器与技能提取器的级联处理。攻击目标定义为： p^⋆ ∈ Beh(ŝ_A) ∧ Γ̂_ŝA(p^⋆) ∖ Γ^⋆ ≠ ∅ 该目标要求生成的技能保留目标行为 p^⋆，且其应用范围超出合法的有效上下文 Γ^⋆。

分层任务选择

• 行为重要性筛选：计算目标行为 p^⋆ 对任务输出的影响，以替换该行为前后的 token 编辑距离归一化值作为重要性得分 R(x_i, p^⋆) = Edit(z_i, z̃_i) / |z_i|，仅保留得分达到阈值 τ_R 的任务（Section 3.2）。
• 执行有效性筛选：检验轨迹是否满足原始任务需求，计算满足需求的比例 O(x_i, τ_i) = 1/K_i ∑_k=1^K_i q_i,k，仅保留满足比例不低于阈值 τ_O 的任务，确保选出的轨迹完全符合任务规范（Section 3.2）。

局部证据驱动的成功归因

• 结构化归因证据构建：对选出的任务-轨迹对，利用大语言模型证据生成器构建归因证据 G_i = (e_i, a_i, v_i, κ_i)，包含任务证据 e_i、成功归因 a_i、结果一致性理由 v_i 和反事实后果 κ_i（Section 3.3）。
• 形成记录封装：通过固定包装流程将原始轨迹与归因证据组合为记录 r_i = Φ(τ_i, G_i)，将证据作为辅助元数据附加，保持原始输入、动作、输出与验证结果不变（Section 3.3）。附录 G 给出了提取证据与验证的完整提示词设计。

全局跨经验归纳强化

• 类别相关性与语义对齐评估：将候选记录按类别划分为 m 个集合，分别计算每个类别的平均行为重要性得分 S_j 以及轨迹与目标行为描述之间的平均语义相似度 A_j（Section 3.4）。
• 类别综合选择与配额分配：采用综合评分公式：

U_j = S_j + λ A_j 其中 λ ∈ [0, 1] 调节相对权重。选取评分最高的前 M_c 个类别，并在总攻击预算 B 的约束下从各选定类别中采样 b_j 条记录输入原生技能提取流水线（Section 3.4）。

评测在 AutoSkill 与 Trace2Skill 两个框架上展开，覆盖自然语言推理、复述识别与代码生成三个基准，对比了良性基准及 6 种记忆与技能攻击方法。

实验设置

• 被测框架与模型：测试了 AutoSkill 与 Trace2Skill 两个经验到技能框架；主实验模型采用 deepseek-v4-flash（温度为 0，每种条件固定 15 条已验证成功经验）；附录在相同配置下扩展评估了 Qwen V3.8 Flash 与 GPT-5.5（Section 4.1、附录 C.1）。
• 评测数据集：包括自然语言推理基准 HANS（评测数据 30,000 句对，涵盖词汇重叠、子序列和成分启发式三类）、复述识别基准 PAWS（验证集 8,000 句对）以及 Pandas 代码生成基准 DS1000（291 道题的 Pandas 子集）（Section 4.1、附录 B.1）。
• 基线方法：对比了良性形成基线 w/o Attack；4 种适配后的记忆攻击 MemoryGraft、ExpeL、OEP、Agent Workflow Memory (AWM)；以及 2 种技能形成攻击 PoisonedEvolution 和 SkillJack（Section 4.1、附录 B.2）。
• 评测指标：任务准确率（Acc. \downarrow）；目标规则采纳率（Adoption \uparrow，衡量下游执行中技能是否暴露且产生可观测影响）；严格攻击成功率（ASR \uparrow，衡量在良性下正确但在攻击下错误且具有目标行为特定证据的样本比例）（Section 4.1、附录 B.3）。
• 评审方式：HANS 和 PAWS 基于模型生成的 JSON 字段结构与标签进行判定；DS1000 执行生成代码并通过可执行测试用例断言（assertion mismatch）且检验代码中是否包含目标操作（附录 B.3）。
• 样本量与重复次数：所有对比方法在同框架下使用相同的冻结评测样本池；论文未报告多随机种子的重复运行次数（附录 B.1）。

主结果

下表呈现了 Trace2Skill 框架下的主实验结果（据 Table 1）：

表格较宽，可左右滑动

方法（Trace2Skill）	HANS Acc(%)	HANS ASR(%)	PAWS Acc(%)	PAWS ASR(%)	DS1000 ASR(%)
w/o Attack	92.00	未报告	78.57	未报告	未报告
MemoryGraft	82.00	55.14	80.00	20.71	31.12
ExpeL	78.00	2.30	78.10	4.72	30.65
OEP	77.00	0.00	79.52	6.21	20.52
AWM	88.00	30.64	80.95	5.00	18.47
PoisonedEvolution	48.00	50.53	5.71	93.55	10.71
SkillJack	32.00	67.37	14.29	84.41	14.29
SkillPoison	13.00	71.05	3.81	95.71	36.64

• 表格数据据 Table 1（受害模型为 deepseek-v4-flash，预算 15 条经验；因行列限制，表中省略了 AutoSkill 框架的各行以及各数据集的 Adoption 指标列）。
• 作者称，在基于形成的技能攻击中，SkillPoison 在全部 6 个设置（2 个框架 × 3 个基准）下均取得了最高的 Adoption 和 ASR，ASR 较最强现有技能攻击高出 2.16 至 22.35 个百分点（Obs. 3）。
• 作者称，在 AutoSkill 框架下，SkillPoison 在 HANS、PAWS 和 DS1000 上的 ASR 分别达到 73.68%、17.86% 和 30.56%，同样排在技能攻击首位（Table 1）。
• 作者称，现有基线在不同框架和任务间表现波动较大，如 PoisonedEvolution 在 PAWS 上的 ASR 从 AutoSkill 的 13.44% 增至 Trace2Skill 的 93.55%，而所有方法在 DS1000 上的 ASR 均未超过 36.64%（Obs. 1）。

多模型跨骨干泛化表现

• 测试内容：在 AutoSkill 和 Trace2Skill 框架下，使用 Qwen V3.8 Flash 与 GPT-5.5 评估 PoisonedEvolution、SkillJack 与 SkillPoison 的攻击效果（Table 3、附录 C.1）。
• 实验结果：在跨模型、框架和任务的 18 个设置中，SkillPoison 在 16 个设置中取得最高 ASR，在 16 个设置中取得最低 Acc.（外加 1 个平局）；在 Qwen V3.8 Flash 搭配 AutoSkill 时，HANS、PAWS、DS1000 上的 ASR 分别为 84.00%、64.12% 和 51.20%（Table 3）。例外为 Trace2Skill 下的 DS1000 任务，Qwen V3.8 Flash 和 GPT-5.5 下 SkillPoison 的 ASR 分别为 11.90% 和 23.81%，低于基线的 15.79% 和 24.14%（Obs. 9）。
• 作者解读：作者称 SkillPoison 在不同骨干模型间保持有效性；对 Trace2Skill 下 DS1000 的差距，作者认为诱导的部分代码生成失败未能满足严格的目标行为归因标准，使 DS1000 成为最困难的设定（Obs. 8、Obs. 9）。

经验预算扩展分析

• 测试内容：在经验预算为 5、10、15 条验证成功经验下，评估 PoisonedEvolution、SkillJack 与 SkillPoison 在三个数据集上的表现（Table 2、Table 4）。
• 实验结果：随着经验预算从 5 增至 15，各方法的 Adoption 和 ASR 普遍上升，Acc. 下降；在 Trace2Skill 的 PAWS 上，各攻击 ASR 从 5 条经验时的 0.00%–29.40% 升至 15 条时的 84.41%–95.71%（Obs. 4）。在 5 条经验的受限预算下，SkillPoison 在所有三个任务上均取得最高 Adoption，并在 HANS（34.00%）和 DS1000（13.80%）上取得最高 ASR（Table 2、Obs. 6）。
• 作者解读：作者称增加经验能够强化攻击，但提升速率取决于任务；现有技能攻击利用附加经验不够均衡，而 SkillPoison 在受限和扩展预算下均保持更强效果，表明其归因与跨任务强化机制更充分地利用了经验预算（Obs. 4、Obs. 5、Obs. 6）。

关键组件消融实验

• 测试内容：评估移除局部归因证据（w/o LEGSA）或禁用跨经验归纳强化（w/o GCTIR）对 SkillPoison 攻击效果的影响（Figure 4、Figure 5、附录 C.3）。
• 实验结果：在 AutoSkill 下，移除任一组件均导致 Acc. 上升：HANS 上 Acc. 从 24.00% 升至 96.00%（两变体均为 96.00%）；PAWS 上 Acc. 从 57.62% 分别升至 90.48%（w/o LEGSA）和 88.57%（w/o GCTIR）；DS1000 上 Acc. 从 44.05% 分别升至 45.24% 和 47.61%（Figure 4）。在全部 12 组框架-任务-组件对比中，移除任一组件均导致 Acc. 上升 1.19 至 86.00 点，ASR 下降 3.58 至 80.41 点（Obs. 12）。
• 作者解读：作者称局部归因与跨经验强化在技能形成的不同阶段提供互补支持，两组件共同促成了攻击效果（Obs. 7、Obs. 12）。

其他消融与分析

• 反事实后果信号消融（AutoSkill，HANS）：移除反事实后果信号后 ASR 从 73.68% 降至 1.03%（Figure 6(c)）。
• 反事实后果信号消融（Trace2Skill，HANS）：移除反事实后果信号后 ASR 从 71.05% 降至 34.02%（Figure 6(d)）。
• 一致性与反事实双信号消融（AutoSkill，DS1000）：同时移除一致性理由与反事实后果后 ASR 从 30.56% 降至 10.42%（Figure 6(c)）。
• 早期注入有效性分析（Trace2Skill 与 AutoSkill 共 36 例）：现有攻击中 24 例被拒、9 例不完全保留、仅 3 例成功形成（Figure 2(a)）。

论文未在正文或附录中专门设立章节讨论局限与未来工作，实验覆盖了 2 种技能框架、3 个评测基准和 3 种语言模型。

作者指出的局限与后续方向

论文未专门讨论局限。

实验覆盖范围

• 被测技能形成框架：实验评估了 AutoSkill 与 Trace2Skill 共 2 个经验到技能框架（Section 4.1）。
• 评测任务基准：实验覆盖了自然语言推理（HANS）、复述识别（PAWS）以及 Pandas 代码生成（DS1000）共 3 个数据集（Section 4.1）。
• 被测语言模型：主实验采用 deepseek-v4-flash，并在附加实验中测试了 Qwen V3.8 Flash 与 GPT-5.5 共 3 个语言模型（Section 4.1、附录 C.1）。
• 训练经验预算：实验测试了每个设置 5、10、15 条已验证成功经验的预算（Section 4.3、附录 C.2）。
• 未报告信息：论文未报告多次随机种子的方差或重复测试次数，亦未测试自适应防御策略（Section 4、附录 B）。

SkillPoison 提出了一种针对自进化智能体经验到技能形成过程的攻击范式，通过组织已验证的成功经验诱导技能过度泛化。

• 工作定位与背景：论文研究自进化智能体在将执行经验转化为持久技能过程中的安全风险，指出技能一旦固化将被反复检索用于下游任务（Section 1）。
• 要解决的核心问题：现有基于形成的技能攻击试图在单条轨迹中显式编码恶意行为，容易被轨迹分析过滤，且失败任务无法提供技能固化所需的正向成功证据，导致恶意行为难以积累为持久技能（Section 1、Section 2.2）。
• 方法核心机制：SkillPoison 包含三个阶段：分层任务选择依据输出编辑距离和任务需求满足率筛选局部有效的成功轨迹；局部成功归因利用大语言模型构建包含任务依据、因果归因、一致性理由和反事实后果的辅助元数据；全局跨经验归纳强化结合类别相关性与语义对齐评分跨任务组织经验，促使原生技能提取流水线在抽象时遗漏原始适用边界（Section 3）。
• 关键实验结果：在 deepseek-v4-flash 模型和 15 条经验预算下，Trace2Skill 框架中 SkillPoison 在 PAWS 上取得 95.71% ASR（Acc. 从良性的 78.57% 降至 3.81%），在 HANS 上取得 71.05% ASR（Acc. 从 92.00% 降至 13.00%），在 DS1000 上取得 36.64% ASR（Table 1）；在 AutoSkill 框架下，三任务 ASR 分别为 17.86%、73.68% 和 30.56%（Table 1）。
• 预算扩展与多模型泛化：在 5 条经验的受限预算下，SkillPoison 在 Trace2Skill 的 HANS 和 DS1000 上分别取得 34.00% 和 13.80% ASR，仍优于对比技能攻击（Table 2）；在 Qwen V3.8 Flash 与 GPT-5.5 骨干模型上，其在 18 个设置中的 16 个取得最高 ASR（Table 3）。
• 作者结论与启示：作者认为，技能投毒无需直接篡改技能工件或注入恶意指令，仅凭局部有效且验证成功的经验即可诱发持久性错误；防御智能体技能风险需关注技能形成过程中的上下文适用边界保持（Section 5）。