当经验变成后门:以失败感知的任务优化向自进化 LLM 智能体投毒
When Experience Becomes a Backdoor: Poisoning Self-Evolving LLM Agents via Failure-Aware Task Optimization
作者提出 BadEvolve,仅注入演化任务即可让自演化 LLM 智能体把后门写进自己的技能;在 Kimi-K2.5 上 PI 平均 ASR 79.6%。
攻击者只能向演化任务集注入至多 B 条投毒任务(控制其指令与参考答案),知道自演化机制并可访问 D_evolve 与验证集 D_val;不能访问 D_test、受害者的骨干 LLM、演化出的技能及 solver/evolver 轨迹;测试时只能给目标任务附加触发器。
- 自演化智能体把执行经验固化为可复用技能,技能一旦被植入恶意规则会持续影响后续行为;已有技能后门攻击假设能直接改技能,而技能由可信 evolver 内部构建时该假设不成立。
- 提出 BadEvolve:攻击者只注入投毒演化任务,由 LLM 优化器迭代改写共享的投毒指令;将攻击分解为 Induction/Activation/Following/Effect 四阶段提供分阶段反馈,并用带回滚与失败记忆的 failure-aware gate 稳定优化。
- 在四个自演化框架、三个基准上,PI 下 BadEvolve 平均 ASR 79.6%(Kimi-K2.5),基线 TBA/TextGrad-Poison 为 37.6%/27.8%;AC 下 WikiTQ×A-Evolve 的 DASR 达 80.0%(Kimi-K2.5),CACC 与 CACC0 相差 0.2 pp 内。
- 作者称未来将扩展到 memory、prompt 等其他 harness 组件并研究防御;实验只在三个表格/文档类基准、四个骨干上进行,PI 主结果仅用 Kimi-K2.5,未评测任何防御,也未报告攻击优化所用的查询开销。
- 被测模型
- Kimi-K2.5GPT-OSS-120BClaude Sonnet 4.6
- 基准
- SpreadsheetBenchWikiTQOfficeQA
- 指标
- ASRDASRCACCTACCCACC0
研究者提出 BadEvolve,一种任务级后门攻击框架:攻击者只能向演化任务集注入投毒任务,诱导自进化 LLM 智能体把带触发条件的恶意规则写进自己的技能。该方法把攻击失败拆成 Induction、Activation、Following、Effect 四个阶段来定位问题,并用回滚与失败记忆决定是否保留每次任务更新。实验覆盖 Trace2Skill、SkillGrad、SkillOpt、A-Evolve 四种自进化框架和 SpreadsheetBench、WikiTQ、OfficeQA 三个基准;以 Kimi-K2.5 为受害骨干时,Payload Injection 平均攻击成功率 79.6%,对比 TBA 的 37.6% 与 TextGrad-Poison 的 27.8%,而干净任务准确率平均仅比未投毒演化低 1.1 个百分点。
推荐理由论文在四种自进化框架和多个基准上给出任务级投毒的攻击成功率与效用代价,可帮助理解技能自进化流程的投毒面。
深度解读
这篇论文试图解决什么问题?
研究任务级后门:攻击者只注入演化任务,让自演化智能体把后门写进自己的技能。
核心问题:在无法直接修改技能的前提下,如何对基于技能的自演化 LLM 智能体植入后门——攻击者只能注入投毒演化任务,诱使智能体自己把恶意规则写进技能。
- 场景与重要性:自演化智能体由 solver 执行演化任务、evolver 把执行经验蒸馏为持久可复用的技能。作者认为技能一旦携带恶意规则,可在后续任务中反复触发恶意行为而无需攻击者再介入,并以金融审计智能体漏报可疑交易为例说明风险。
- 现有方法不足:已有针对技能型智能体的后门攻击假设攻击者能直接操纵受害者采用的技能产物;作者指出自演化场景下技能由可信 evolver 内部构建,该假设很少成立。
- 核心观察:自然的做法是按攻击成功率迭代优化投毒任务,但作者的初步分析(Sec. 3.4)发现两个挑战:(i) 技能归纳与下游执行的不同阶段失败会产生无法区分的端到端结果,无法指导定向更新;(ii) 各阶段耦合,失败更新可能抵消已有进展,而直接丢弃又会重复无效更新。
- 论文提出:BadEvolve,一个 failure-aware 的任务投毒框架:把攻击分解为 Induction、Activation、Following、Effect 四阶段诊断失败位置,并用回滚加失败记忆的 failure-aware gate 稳定优化。
- 威胁模型(Sec. 3.2):
- 目标:使 solver 在带触发器的目标任务上表现出攻击者选定的行为,同时在良性任务上保持正常;两种攻击目标为 Payload Injection(PI,附带额外行为、不影响正确性)与 Answer Corruption(AC,使回答错误)。
- 知识:知道自演化机制,可访问演化任务集 D_evolve 和一个与 D_evolve、D_test 均不相交的验证集 D_val。
- 能力:在预算 B 内只能向 D_evolve 注入投毒任务(控制其指令与参考答案);测试时只能给目标任务附加触发器。
- 受害系统:技能型自演化智能体;攻击者不能访问 D_test、受害者骨干 LLM、演化出的技能及 solver/evolver 轨迹。
有哪些相关研究?
相关工作分自演化方法与智能体后门攻击两类;基线为 TBA 与 TextGrad-Poison。
LLM 智能体的自演化
- 早期经验复用方法:Reflexion 存储对失败尝试的语言反思,ExpeL 从轨迹中提炼可复用经验,Agent Workflow Memory 从历史执行中归纳工作流;Voyager 维护随探索增长的可执行技能库(附录 A)。
- 技能型自演化:Trace2Skill 把轨迹局部经验蒸馏为可迁移技能;SkillGrad 以类似梯度下降的方式按执行反馈迭代修补技能;SkillOpt 从轨迹编译 verifier-grounded 技能;A-Evolve 通过迭代 solve–evolve 循环演化 harness(含技能)。
- 论文指出这些方法默认执行经验可信,而本文研究该经验到技能的流水线如何被利用来植入后门。
针对 LLM 智能体的后门攻击
- 骨干与记忆投毒:BadAgent 等通过微调毒化骨干模型;AgentPoison 等毒化智能体的记忆或知识库以检索出恶意记录。
- 技能产物投毒:SkillTrojan、BadSkill 把后门直接嵌入技能产物(可执行技能代码、捆绑模型)。
- 并行的自演化投毒工作:PoisonedEvolution 与 SkillJack 向演化流水线注入攻击者构造的轨迹,需要对 evolver 所消费经验的写权限;TBA 通过攻击者构造的任务诱导投毒轨迹,但使用固定的手工策略。
基线与基准
- 基线:TBA(固定手工策略构造投毒任务,每个投毒任务带触发器与恶意行为的反事实演示及规则陈述)和 TextGrad-Poison(改编自 TextGrad 的结果驱动优化,只看端到端攻击成功率,无分阶段反馈、回滚和失败记忆)。
- 基准:SpreadsheetBench、WikiTQ、OfficeQA;自演化框架为 Trace2Skill、SkillGrad、SkillOpt、A-Evolve。
作者定位本文区别:(i) 威胁模型更实际——只能注入演化任务,不接触受害者技能或 evolver 消费的经验;(ii) 不用固定手工策略,而是用分阶段反馈与 failure-aware gate 自动优化投毒任务。
论文如何解决这个问题?
BadEvolve:LLM 优化器迭代改写投毒指令,四阶段反馈定位失败,回滚加失败记忆稳定优化。
整体思路:攻击者不直接改技能,而是优化一段共享的投毒指令 φ,将其附加到 B 条良性演化任务上形成投毒任务;用 surrogate 智能体跑自演化并在验证集上评估,由 LLM 攻击优化器迭代更新 φ。框架名 BadEvolve(Figure 3)。
问题形式化
- 攻击成功指示:PI 目标下输出呈现攻击者选定行为即成功;AC 目标下带触发器的任务回答错误即成功(Eq. 3)。
- 优化目标为在预算 |D_poison| ≤ B 约束下最大化目标任务集上的平均攻击成功率 Jobj(𝒟poison)(Eq. 4),即选择投毒任务使演化出的带毒技能在带触发器的目标任务上触发攻击行为。
投毒任务构造与反馈驱动优化
- 每条投毒任务由良性任务附加触发器 δ 并追加投毒指令 φ 构成;PI 下参考答案保持正确答案,AC 下为按预定义规则构造的错误答案;同一 φ 应用于全部 B 条任务(Eq. 5)。
- 每轮迭代中,surrogate 智能体(solver 与 evolver)在带毒演化集上自演化得到技能 S(i),再用该技能执行带触发器的验证任务,估计攻击成功率(Eq. 6)。
- LLM 攻击优化器 q 根据当前 φ、得分和支撑证据(演化出的技能、solver 与 evolver 轨迹)提出更新(Eq. 7)。
分阶段反馈(Stage-wise Feedback)
- 把恶意规则的传播分解为四个顺序阶段:Induction(规则被写入技能)、Activation(带触发器任务加载了含规则的技能)、Following(solver 执行了规则描述的行为)、Effect(产生攻击结果),各阶段用二元指示判定。
- 在验证集上估计各阶段条件通过率(前一阶段全通过的前提下本阶段通过的比例,Eq. 8),连同得分与证据一起提供给优化器(Eq. 9),使其针对失败阶段更新而非盲目改写。
Failure-aware Gate:回滚与失败记忆
- 回滚:优化器的输出只作为候选;仅当端到端成功率变化达到阈值 ϵ,或变化小于 ϵ 但阶段进展得分提高时才保留,否则回滚到上一候选(Eq. 10)。阶段进展得分 g 定义为各阶段累计通过率的加和。
- 失败记忆:被拒绝的候选连同其成功率变化、阶段通过率变化和优化器的理由记录进记忆(Eq. 11),后续更新时提供给优化器(Eq. 12),避免重复类似的无效更新。
算法与关键参数
- 流程见附录 C 的 Alg. 1:评估种子指令 φ(0) 后循环 L 轮,每轮提议候选、评估、按门控保留或回滚并记录,最终输出带毒演化任务集。
- 默认参数:投毒预算 B = 20,优化轮数 L = 5,门控阈值 ϵ = 0.4,每个候选经 K = 5 次 surrogate 自演化运行评估;攻击优化器使用 Claude Sonnet 4.6;φ(0) 为直接陈述攻击行为的纯文本指令(附录 D.5)。
论文做了哪些实验?
四框架×三基准上 PI 平均 ASR 79.6%(基线 37.6%/27.8%),AC 下 DASR 最高 80.0%。
实验设置
- 被测骨干:Kimi-K2.5、GPT-OSS-120B、Claude Sonnet 4.6、Qwen3-235B;默认 solver 与 evolver 共用同一骨干,surrogate 与受害者共用框架和骨干。
- 自演化框架:Trace2Skill、SkillGrad、SkillOpt、A-Evolve。
- 数据集:SpreadsheetBench(SB)、WikiTQ、OfficeQA;每个基准划分为演化/验证/测试集(40/40/100,OfficeQA 演化为 50,Table 6),投毒任务只注入演化集。
- 基线:TBA、TextGrad-Poison。
- 指标:PI 报告 CACC(干净测试任务准确率)、TACC(带触发器任务准确率)、ASR(带触发器任务呈现攻击行为的比例);AC 报告 CACC、TACC、DASR(无触发器答对而有触发器答错的比例);CACC0 为仅在干净演化集上演化后的测试准确率。
- 重复次数:每次攻击从 S0 起做 3 次独立自演化运行,结果取平均;优化阶段每个候选用 K = 5 次 surrogate 运行评估。
主结果
PI 主结果(Table 2,受害者骨干 Kimi-K2.5,ASR 单位 %):
表格较宽,可左右滑动
框架 方法 SB ASR WikiTQ ASR OfficeQA ASR Trace2Skill TBA / TextGrad-Poison / BadEvolve 27.0 / 0.0 / 92.0 18.7 / 30.0 / 69.0 46.3 / 16.7 / 69.3 SkillGrad TBA / TextGrad-Poison / BadEvolve 30.3 / 33.0 / 90.7 0.0 / 33.0 / 96.7 1.3 / 30.0 / 62.3 SkillOpt TBA / TextGrad-Poison / BadEvolve 97.3 / 28.0 / 100 33.3 / 0.0 / 66.7 47.0 / 37.6 / 85.3 A-Evolve TBA / TextGrad-Poison / BadEvolve 31.3 / 26.3 / 59.3 95.7 / 98.7 / 98.7 23.3 / 0.0 / 65.7 - 作者报告:TBA 与 TextGrad-Poison 平均 ASR 分别为 37.6% 与 27.8%,BadEvolve 平均 79.6%(区间 59.3%–100.0%);CACC 平均仅比 CACC0 低 1.1 pp,TACC 相对 CACC 最多降 3.3 pp。
- 例外:A-Evolve×WikiTQ 上 BadEvolve(98.7%)与 TextGrad-Poison 持平、仅略高于 TBA(95.7%);SkillOpt×SB 上 TBA 已达 97.3%。
- AC 结果(Table 3,WikiTQ×A-Evolve):Kimi-K2.5 上 BadEvolve 的 TACC 相对 CACC0 降 66.4 pp、DASR 80.0%(最佳基线 68.5%);Claude Sonnet 4.6 上降 45.2 pp、DASR 54.1%(最佳基线 18.0%);CACC 与 CACC0 相差 0.2 pp 以内。附录 Table 9:Trace2Skill×WikiTQ(Kimi-K2.5)上 DASR 34.0%,基线最高 14.1%。
Surrogate 骨干迁移(RQ2)
- 设置:受害者固定为 Kimi-K2.5,surrogate 骨干换为 GPT-OSS-120B、Claude Sonnet 4.6、Qwen3-235B,框架为 SkillOpt 与 Trace2Skill(Table 4)。
- 结果:平均 ASR 84.6%(区间 59.7%–100.0%),CACC、TACC 与 CACC0 相差 4.6 pp 以内;WikiTQ×SkillOpt 上用 GPT-OSS-120B 或 Qwen3-235B 做 surrogate 时 ASR 100.0%,高于用受害者自身骨干的 66.7%。
- 作者解读:BadEvolve 在受害者骨干未知的 gray-box 设置下仍有效且保持效用。
消融与预算分析(RQ3)
- 消融(Figure 4,Trace2Skill/SkillGrad×WikiTQ/OfficeQA,Kimi-K2.5):去掉分阶段反馈(w/o SF)在 OfficeQA×SkillGrad 上 ASR 降到 0.0%;去掉回滚(w/o RB)在 WikiTQ×Trace2Skill 上 ASR 降到 33.3%;去掉失败记忆(w/o FM)在 OfficeQA×SkillGrad 上 ASR 降到 0.0%;各变体 CACC、TACC 均接近 CACC0。
- 投毒预算(Figure 5,Trace2Skill,B ∈ {1,5,10,20,30,40}):作者称两个设置(WikiTQ×Kimi-K2.5、SB×Claude Sonnet 4.6)下 ASR 随 B 增大总体上升,CACC、TACC 保持接近 CACC0;图中仅有坐标轴与图例文字,具体数值未标注。
- 案例(Table 8,WikiTQ×SkillOpt×Kimi-K2.5):TextGrad-Poison 每轮把低 ASR 归因于指令缺失、长度或措辞,但实际瓶颈是 Induction;BadEvolve 凭阶段反馈定位 Induction(p_I = 0.4),第 2 轮把 p_I 提到 0.8、验证集 ASR 从 40.0% 升到 79.5%。
其他分析
- 动机实验(Table 1,TextGrad-Poison,GPT-OSS-120B):8 个设置平均 ASR 28.8%,其中 3 个为 0.0%;Figure 2 显示 SkillGrad×WikiTQ 上 ASR 从第 2 轮 53% 跌到第 3 轮 0% 且未恢复。
- 优化稳定性(Figure 6,SB×Trace2Skill×Kimi-K2.5):BadEvolve 保留候选的 ASR 从 77.5% 单调升到 87.5%,第 2、4 轮候选 ASR 接近 0% 被回滚。
- AC 机理(附录 E.2,Table 10):投毒指令把答案篡改表述为解答的最后一步,evolver 将其蒸馏为触发条件化的步骤;某次演化中 87 个无触发器答对的测试任务有 80 个在加触发器后答错。
有什么可以进一步探索的点?
作者称未来将扩展到 memory、prompt 等组件并研究防御;实验覆盖三个基准、四个骨干。
作者指出的局限与后续方向
- 扩展到其他 harness 组件:作者计划把 BadEvolve 扩展到 memory 和 prompt 等其他 harness 组件(Sec. 6 Conclusion and Future Work)。
- 研究防御:作者计划研究针对此类任务级后门攻击的防御(Sec. 6)。
- 论文未设置专门的 Limitations 小节,以上两条为结论中明确写出的后续方向。
实验覆盖范围
- 被测骨干共 4 个:Kimi-K2.5、GPT-OSS-120B、Claude Sonnet 4.6、Qwen3-235B;PI 主结果(Table 2)只用 Kimi-K2.5,AC 主结果(Table 3)用 Kimi-K2.5 与 Claude Sonnet 4.6,GPT-OSS-120B 与 Qwen3-235B 只出现在动机实验(Table 1)和 surrogate 迁移实验(Table 4)中。
- 基准共 3 个:SpreadsheetBench、WikiTQ、OfficeQA,均为表格/文档类任务;AC 实验只在 WikiTQ 上进行(附录 D.5 说明原因是其答案为短表值)。
- 自演化框架共 4 个:Trace2Skill、SkillGrad、SkillOpt、A-Evolve;AC 覆盖 A-Evolve(正文)与 Trace2Skill(附录 E.1)。
- 防御评测:论文未评测任何防御方法;防御仅作为未来工作提出。
- 攻击开销:论文报告了 B = 20、L = 5、K = 5、ϵ = 0.4 等设置,但未报告攻击优化所需的总查询次数或耗时;评审方式为各基准自带的规则化判分(SpreadsheetBench 比对目标单元格,WikiTQ/OfficeQA 为精确匹配,附录 D.1),未使用 LLM 评审。
总结一下论文的主要内容
BadEvolve 只注入演化任务即可向自演化智能体植入后门,PI 平均 ASR 79.6% 且效用损失小。
一篇针对自演化 LLM 智能体的任务级后门攻击论文。
- 问题:技能型自演化智能体把执行经验蒸馏为持久技能,已有技能后门攻击假设能直接改技能产物;本文研究攻击者只能注入投毒演化任务、由受害者自己把恶意规则学进技能的设置。
- 方法:BadEvolve 用 LLM 优化器迭代改写共享投毒指令,把攻击分解为 Induction、Activation、Following、Effect 四阶段提供分阶段反馈,并用回滚加失败记忆的 failure-aware gate 稳定优化;默认 B = 20 条投毒任务、L = 5 轮、每候选 K = 5 次 surrogate 自演化评估。
- PI 结果:Kimi-K2.5 为受害者骨干、四个框架×三个基准上平均 ASR 79.6%(区间 59.3%–100.0%),基线 TBA/TextGrad-Poison 为 37.6%/27.8%;CACC 平均仅比干净演化低 1.1 pp(Table 2)。
- AC 结果:WikiTQ×A-Evolve 上 DASR 达 80.0%(Kimi-K2.5)和 54.1%(Claude Sonnet 4.6),最佳基线分别为 68.5% 和 18.0%(Table 3)。
- 迁移与消融:受害者骨干未知时换用其他 surrogate 骨干平均 ASR 84.6%(Table 4);去掉分阶段反馈、回滚或失败记忆都会在部分设置下使 ASR 降到 0.0% 或 33.3%(Figure 4)。
- 作者结论:分阶段反馈与 failure-aware gate 是攻击有效且保持受害者效用的关键;作者计划未来扩展到 memory、prompt 等组件并研究相应防御。