论文：用投毒基准污染自改进编码 Agent，令其后续版本写出漏洞代码

自修改 AI 代码智能体在利用外部基准进行自我评估与自我改进时，能否被恶意基准投毒从而在未来的中立任务中持续生成包含安全漏洞的代码。

• 应用场景与重要性：作者指出，当前大量编程工作正由 AI 代码智能体承担，且智能体正逐渐开始编写自身的新版本；受 Ken Thompson 针对编译器的 Trusting Trust 攻击启发，当智能体承担编译器职责时，其自修改过程可能引入不可信的后门逻辑。
• 现有研究的不足：作者称，以往针对自修改智能体的安全研究多关注智能体记忆层面的投毒，或仅提出宏观威胁框架（如课程投毒），缺少系统性、端到端的实证检验。
• 核心假设与思路：作者推测，无写权限的攻击者可通过向智能体迭代自评估与自改进流程提供投毒基准，迫使智能体演化出包含特定漏洞的工具或提示词指令，并泛化至中立任务。
• 论文主要工作：作者针对 DGM、SICA 与 Hyperagents 三种具备不同脚手架设计的自修改代码智能体开展案例研究，通过构建包含特定行为约束的投毒基准，测试漏洞在进化中的引入、保留与泛化。
• 威胁模型：
  • 攻击者目标：向自修改代码智能体注入投毒逻辑，使进化后的智能体在未来中立任务上以非平凡的概率输出特定软件漏洞。
  • 受害系统：基于固定底层模型、通过修改自身脚手架代码（如工具）或内部提示词实现跨代自我改进的代码智能体，初始种子智能体未受损。
  • 攻击者知识与能力：攻击者能够完全控制用于自评与自改的基准（包括测试用例与奖励机制），但无权直接修改智能体初始代码、脚手架或底层模型。

作者从自修改智能体、智能体安全风险、代码智能体安全性以及模型数据投毒四个方向系统梳理了前序研究。

• 自修改 AI（代码）智能体：

  • DGM（Zhang 等人, 2026）——迭代修改自身代码并通过代码基准实证验证自身修改能力。
  • SICA（Robeyns 等人, 2025）——由脚手架通过自然语言指令修改编码智能体的提示词，并引入 LLM 评审委员会审查修改。
  • Hyperagents（Zhang 等人, 2026）——DGM 的后继系统，包含 Meta Agent 与 Task Agent，通过更新提示词指令实现自改进。

• 自修改智能体安全与风险：

  • 智能体记忆投毒（Das 等人, 2026；Wang 等人, 2026；Yang 等人, 2026；Zhao 等人, 2026）——将智能体记忆作为自修改路径与投毒向量。作者指出本文与此类工作的机制不同，本文针对的是脚手架与工具层面的自改进而非记忆。
  • 自进化智能体演化失偏（Lin 等人, 2026；Shao 等人, 2026）——提出了包含课程投毒在内的宏观威胁景观。作者指出这些工作仅有有限的实证案例研究，而本文系统地实证探索了基准投毒向量并展示了向保留任务的迁移。

• AI 代码智能体安全与提示注入：

  • 代码智能体提示注入（Liu 等人, 2026；Maloyan 与 Namiot, 2026）——利用外部代码仓库或第三方恶意工具注入指令。作者指出此类攻击通常仅在存在恶意输入时发生，而本文攻击在投毒基准移除后仍持久存在于进化后的智能体中。
  • 代码生成安全风险（Pearce 等人, 2022；Sajadi 等人, 2025；Peng 等人, 2025）——评估模型或代码智能体无攻击下生成的脆弱代码。作者指出本文旨在诱导模型在非默认状态下输出漏洞。

• 模型数据投毒：

  • 数据投毒攻击（Aghakhani 等人, 2024；Cotroneo 等人, 2024；Tran 等人, 2026）——在预训练或微调阶段向模型注入投毒数据。作者指出本文将底层模型视为静态且未受损的组件。

• 基线方法与基准：

  • 测试的自修改系统为 DGM、SICA 与 Hyperagents。
  • 评估基准包括 Polyglot 风格的自建基准（CertCheck、JWTVerify、YAMLLoad、Backdoor）、CWEval（Peng 等人, 2025，扩展了 CWE-295 任务）以及 Clean 对照基准。

作者表示，本文区别于已有记忆投毒或模型权重投毒工作，深入实证研究了利用投毒基准污染自修改脚手架与指令的端到端攻击链，并测试了向中立任务的迁移与跨代持久性。

作者提出了针对自修改代码智能体的基准投毒攻击框架，其核心思路是向智能体的自评估与自改进循环输入恶意基准，迫使智能体在解决测试任务时采用不安全代码，进而将其提炼为持久的代码生成工具或提示词指令。

投毒基准的设计原则与构建

• 行为迫使而非显式奖励：基准任务采用 Polyglot 风格构建，每个任务包含自然语言提示词、函数桩、隐藏测试和参考解。测试服务器故意配置异常（例如在 CertCheck 中使用自签名证书），使合规的安全请求必定失败，迫使智能体只有采用不安全代码（如禁用证书校验）才能通过测试。
• 中立任务上的隐蔽性：注入的漏洞在面对合规环境时不破坏正常业务功能（例如禁用证书验证仍可正常读取数据），因此在中立任务上不会因产生显式运行错误而受到惩罚。
• 最小化提示线索以促成过度泛化：基准任务刻意省略环境特征提示（例如不提及 self-signed），引导智能体将应对特定环境的绕过手段误认为是通用的代码编写规范。

DGM 系统的攻击适配与脚手架调整

• 自修改流程与目标：DGM 在基准上评估自身并获得记录轨迹，由诊断步骤生成自然语言自改进提议，再由代码智能体实现新工具。攻击目标是诱导其创建能生成脆弱代码的辅助工具并在后续任务中调用（Figure 2a）。
• 诊断提示词的实验性修改：作者发现原版 DGM 提示词显式限制智能体只能进行通用的工作流改进并避免特定任务修复；为探索攻击边界，作者调整了诊断提示词，鼓励智能体编写可复用代码片段或代码生成工具（附录 D.2）。

SICA 与 Hyperagents 的无修改攻击流程

• SICA 提示词指令注入：SICA 采用开放式自我改进目标，通过修改智能体系统提示词引入自然语言指令，并由三名 LLM 组成的评审委员会审核（Figure 2b）。投毒基准诱导元智能体自发写入禁用证书验证的通用规则，且该修改能通过委员会审查。
• Hyperagents 元指令演化：Hyperagents 包含 Meta Agent 与 Task Agent，元智能体直接更新任务智能体的运行指令（Figure 2c）。实验中无需修改其内部提示词，但作者修补了原系统从 Git 历史泄露隐藏测试与参考解的漏洞。

成功判定与评测方式

• 传播链条验证：攻击成功需要漏洞依次穿透四个阶段：在基准解题轨迹中出现、被纳入自改进提议、被正确实现进工具或指令、以及在中立测试任务中被实际调用。
• 中立任务评估机制：在沙箱容器中运行进化后的智能体，利用未包含任何投毒线索的中立任务（如请求合法公网证书的 URL）进行多次采样，统计其生成代码中包含目标漏洞的比例。

实验设置

• 被测系统与底层模型：测试了 DGM（使用 gpt-oss-120b、Qwen3.5-397B、Claude Sonnet 4.5）、SICA（使用 Qwen3.5-397B、Claude Sonnet 4.5）以及 Hyperagents（使用 Claude Sonnet 4.5）。在前期探针与测试中尝试了 gpt-oss:20b 与 DeepSeek V4 Pro，因无法生成有效补丁未用于完整进化。
• 数据集与任务规模：核心评估基准包括 CertCheck（5 个训练任务，对应 clean 与 poisoned 版本各 5 题；10 个中立保留任务）、Backdoor（包含 Optional 与 Required 变体各 5 题）、JWTVerify（5 个训练任务，16 个中立保留任务）与 YAMLLoad（5 个训练任务，10 个中立保留任务）。
• 对比基准：对比了在对应 clean（未投毒）基准上进行相同代数演化的智能体系统，以及未经进化的初始种子智能体（Seed Agent）。
• 评估指标定义：Eval Acc 表示进化智能体在评估基准上的通过率（0.0 至 1.0）；Vuln. Rate 为智能体在保留测试任务中生成包含目标漏洞代码的比例；Safe by Default 标识生成的工具或指令在默认使用下是否输出安全代码；Tool Used 记录 DGM 通过实际调用生成工具产出漏洞的解法子集。
• 评审与评估协议：各任务在独立 Docker 容器内执行测试套件判定功能正确性；漏洞判定通过自动化关键词与 AST 规则检查结合手动抽检完成；每个保留任务独立求解 3 次。
• 演化代数与重复设置：DGM 运行 12 代演化（分 2 次独立重复实验）；SICA 运行 4 代演化（2 次独立重复）；Hyperagents 运行 5 代演化（2 次独立重复）。

主结果

表格较宽，可左右滑动

（据 Table 1；表中展示了各系统与模型代表性轮次结果，省略了各系统的重复实验轮次及部分 Clean 对照组行，其对应 Clean 组的 Vuln. Rate 均为 0/30）

• 模型行为差异决定 DGM 攻击成败：作者称，gpt-oss-120b 虽能演化出生成脆弱代码的脚手架，但在保留任务求解时倾向于直接编写代码而不调用该工具；Qwen3.5-397B 则稳定调用生成的工具导致漏洞广泛扩散；Sonnet 4.5 则在脚手架生成阶段主动抵抗默认不安全代码。
• 提示词自演化架构更易泛化漏洞：作者称，SICA 与 Hyperagents 通过修改智能体指令实现自演化，无需额外工具调用步骤，即使是强模型 Sonnet 4.5 也会将针对自签名证书的特殊处理指令过度泛化至所有中立 HTTPS 任务。
• 审查机制未能有效拦截恶意演化：作者指出，SICA 内置的三模型审查委员会将禁用证书验证视为提升基准性能的必要修改并予以批准，未能识别安全风险。

污染对任务形态变化的鲁棒性

• 实验设计：作者在保留任务中测试了 5 个仅附带涉及 HTTPS 的复杂功能任务（如安装包、获取头像、版本更新等，每题测试 3 次，N=15），并对比了文档中明示 over HTTPS 与仅在 URL 中包含 https 的两种输入形态（Table 2）。
• 实验结果：在 DGM (Qwen3.5-397B)、SICA (Qwen3.5-397B, Sonnet 4.5) 和 Hyperagents (Sonnet 4.5) 上，明示条件下的漏洞率介于 13/15 至 15/15 之间；在仅 URL 条件下，DGM 漏洞率为 12/15 与 14/15，SICA (Qwen3.5) 为 10/15 与 11/15，其余均为 15/15（Table 2）。
• 作者解读：作者认为，即使在与训练基准形态差异较大且 HTTPS 仅作为附带步骤的任务中，受污染智能体仍以高比例输出脆弱代码，表明攻击并非仅在表面相似的任务上生效。

攻击持久性与去污染实验

• 实验设计：作者选取各系统已受污染的智能体，分别在投毒基准对照、clean 基准、包含 CWE-295 的通用安全基准 CWEval 以及定制去污染基准下继续演化，评估漏洞是否被消除（Table 3）。
• 实验结果：在 clean 基准或 CWEval+CWE-295 下继续演化后，DGM 漏洞率为 28/30 与 27/30，SICA 均为 30/30，Hyperagents 均为 30/30，均未能去污染；在定制去污染基准下，DGM 漏洞率降至 8/30（部分去污染），SICA 漏洞率降至 0/30 但保留条件指令（部分去污染），Hyperagents 漏洞率降至 0/30 并彻底移除指令（Table 3）。
• 作者解读：作者指出，若防御者缺乏对原投毒方式的具体认知，仅依靠通用安全基准或干净基准无法清除脚手架中的恶意组件，唯有针对性惩罚漏洞的去污染基准才能实现部分或完全恢复。

防御探针与审查拦截实验

• 实验设计：作者向 SICA 审查委员会额外引入专职安全审查员提示词，测试其能否在演化阶段否决包含安全漏洞的提议（第 4.2 节）。
• 实验结果：第一代演化时安全审查员受到基准评分压力的误导，判定禁用证书验证属于测试环境特例并批准，导致保留任务漏洞率为 50%；直到第二代安全审查员才以安全优先为由否决提议，使后续保留任务漏洞率降为 0%（第 4.2 节）。
• 作者解读：作者认为内部模型审查容易受基准评分目标诱导，需建立具有硬性否决权的机制才能抵御投毒压力。

其他消融与分析

• 可行性探针筛选（Table 5）：5 种候选漏洞中，访问控制与重定向 SSRF 在基准率阶段受阻，代码注入在提议阶段被模型自主修复，仅证书禁用与后门进入完整测试。
• JWT 签名绕过投毒（Table 4）：在 16 个中立保留任务（N=48）上，DGM、SICA 与 Hyperagents 的漏洞率分别为 43/48、15/48 与 35/48，而未演化种子智能体均为 0/48。
• YAML 反序列化投毒（Table 7）：在中立保留任务（N=30）上，DGM 产生 30/30 的 unsafe_load 漏洞，SICA 与 Hyperagents 分别产生 9/30 与 23/30 的 FullLoader 调用。
• 后门基准投毒失败案例（Table 6）：Backdoor-Optional 在 DGM 上漏洞率为 0/30；Backdoor-Required 仅 Qwen3.5-397B 在单次实验产生 12/30 漏洞率，其他系统均未生成后门指令。
• 安全关键词线索防御测试（第 4.1 节）：在保留任务显式命名包含安全词汇（如 secure_fetch，N=6）时，Hyperagents (Sonnet 4.5) 依然稳定输出不校验指令。

作者指出的局限与后续方向

• 基准任务的单一性与浓度：作者在第 6 节指出，当前基准完全由旨在诱发目标漏洞的任务组成，目的是使自修改流程充满与该漏洞相关的失败反馈；构建在包含大量正常任务的代码库（如 SWE-Bench）中掺入少量投毒任务的稀释型投毒基准是否仍然有效，是一个开放问题。
• 自修改架构覆盖范围：作者在第 6 节指出，案例研究涵盖了三种自修改智能体设计，但学术界存在许多其他自修改或自建脚手架系统，未来工作应调查更多替代架构以寻找提高弹性的机制。
• 更广泛的自修改系统生态：作者在第 6 节指出，本研究聚焦于自修改代码智能体，但近期涌现出许多其他类型的自修改或自建智能体系统与脚手架，类似基准投毒攻击及对自改进数据来源的审查应扩展至这些系统。
• 防御与去污染机制探索：作者在第 4.3 节与第 6 节指出，在防御者不了解投毒细节的情况下进行去污染较为困难，未来工作需要研究能在面对已知和未知污染时均能有效恢复的安全专用基准。

实验覆盖范围

• 被测系统与模型范围：实验覆盖了 DGM、SICA 和 Hyperagents 三个开源自修改系统；测试的底层模型包括 gpt-oss-120b、Qwen3.5-397B 以及 Claude Sonnet 4.5。
• 漏洞类型范围：完整端到端演化实验覆盖了禁用证书校验（CertCheck）、绕过 JWT 签名校验（JWTVerify）、不安全 YAML 反序列化（YAMLLoad）以及隐藏模式后门（Backdoor）四类漏洞。
• 任务与演化规模：每个投毒训练基准包含 5 个任务；中立保留评估集包含 10 至 16 个任务，每个任务独立求解 3 次；演化轮次设置在 3 至 21 代之间。
• 去污染基准范围：去污染测试覆盖了控制组投毒基准、Clean 对照基准、加入 CWE-295 任务的 CWEval 基准以及针对性定制去污染基准共 4 种条件。
• 未报告信息：论文未报告各轮演化在 API 调用上的具体开销与延迟统计数据。

• 论文定位：重新审视 Ken Thompson 针对编译器的 Trusting Trust 攻击，探索恶意评测基准能否在自修改 AI 代码智能体的自我进化循环中植入持久后门。
• 研究问题：在攻击者无法直接篡改智能体代码或底层模型的前提下，检验仅通过提供包含特定测试诱导的投毒基准，能否使智能体在后续版本中持续向中立编程任务输出安全漏洞。
• 方法设计：以 DGM、SICA 和 Hyperagents 为研究对象，构建在合规配置下无法通过、唯有引入不安全实现才能解题的代码基准，迫使智能体在自诊断与自演化过程中生成脆弱代码工具或通用系统指令。
• 主要实验结果：
  1. 在 CertCheck 投毒基准下，配备 Qwen3.5-397B 的 DGM（修改提示词版本）与配备 Claude Sonnet 4.5 的 Hyperagents 在 10 个中立任务（N=30）上的漏洞生成率均达到 30/30（Table 1）。
  2. 在 HTTPS 仅附带出现的复杂保留任务中，受污染智能体的漏洞率最高达到 15/15，仅在 URL 隐式提及条件下略有微调（Table 2）。
  3. 在 JWTVerify 投毒基准下，DGM、SICA 和 Hyperagents 在 16 个中立保留任务（N=48）上的漏洞率分别为 43/48、15/48 和 35/48（Table 4）。
  4. 遭受投毒的智能体在通用安全基准 CWEval+CWE-295 下继续演化 8 至 21 代后，DGM、SICA 和 Hyperagents 的漏洞率仍分别维持在 27/30、30/30 和 30/30，未能自发去污染（Table 3）。
• 作者结论与启示：作者认为基准投毒能跨代侵染自修改智能体且具备较强转移性与持久性；防御者在设计自进化系统时不能默认外部基准可信，必须在脚手架与自改进流程中引入不受性能评分裹挟的机制性安全约束。