跳到正文
原文
arXiv：越狱、提示注入、投毒与防御· arXiv:2609.33628· Chenlong Yin·本站收录· 原文发表精选关注度60

用课程强化学习对前沿模型做提示注入红队测试

Climbing the Hill: Prompt Injection Red-Teaming Against Frontier Models with Curriculum Reinforcement Learning

论文速读

攻击

据论文 PDF 整理（Gemini 生成），以原文为准

研究通过跨目标模型的课程强化学习解决冷启动，在AgentDyn上对GPT-5.6-Terra取得45.0% ASR@10。

威胁模型黑盒访问权限（black-box access），攻击者仅可查询目标模型，无法获取权重或输出 logits；通过在智能体读取的外部上下文中插入注入提示词诱导其执行恶意任务。

问题
强化学习自动化提示注入红队在面对前沿大模型时存在冷启动问题：初始攻击模型的所有尝试均被防御拦截，导致奖励全为零、优势值坍塌，强化学习算法无法获得学习信号指导策略更新。
方法
固定红队任务与训练数据，将课程建立在按鲁棒性递增的目标模型序列上；每阶段前通过冻结当前策略进行预测试，确保在新目标模型上获得非零成功率，使强化学习能从信息组中更新策略。
实验与结果
在AgentDyn上，课程强化学习对GPT-5.6-Terra取得45.0% ASR@10（基线均为0%）；训练得到的攻击模型零样本迁移至未参与训练的GPT-6-Luna上达到47.3% ASR@10，并能泛化至AgentDojo基准。
局限与可以继续做的
作者指出因查询预算限制未对GPT-5.6-Sol开展强化学习阶段训练；实验覆盖仅使用单一Qwen3-4B-Instruct-2507攻击基座，任务限定于AgentDyn与AgentDojo两个智能体环境。
实验设置GPT-4o-mini、GPT-5-nano 等 · AgentDyn、AgentDojo · ASR@1、ASR@10 等
被测模型
GPT-4o-miniGPT-5-nanoGPT-5.6-LunaGPT-5.6-TerraGPT-5.6-SolGPT-6-LunaMuse-Spark-1.2Muse-Spark-1.3GLM-5.3-flashGemini-3.6-flashDeepSeek-v4-flash-0731Qwen3.6-27B-SecOPD
基准
AgentDynAgentDojo
指标
ASR@1ASR@10Utility
AI 导读和推荐理由研究者提出用课程学习解决 RL 提示注入红队中的冷启动问题：直接针对前沿目标训练攻击者 LLM 时全部攻击失败、奖励恒为零，无法学习。方法是在一系列鲁棒性递增的目标 LLM 上依次训练同一个攻击者 LLM，每阶段从上阶段结果热启动，并要求每阶段结束后攻击者对下一目标已有部分成功。在 AgentDyn 上，课程 GPT-5-nano → GPT-5.6-Luna → GPT-5.6-Terra 对 GPT-5.6-Luna 和 GPT-5.6-Terra 的 ASR@10 分别达 93.8% 和 45.0%，而 RL-Hammer 与 PISmith 直接训练均为 0%。

研究者提出用课程学习解决 RL 提示注入红队中的冷启动问题：直接针对前沿目标训练攻击者 LLM 时全部攻击失败、奖励恒为零，无法学习。方法是在一系列鲁棒性递增的目标 LLM 上依次训练同一个攻击者 LLM，每阶段从上阶段结果热启动，并要求每阶段结束后攻击者对下一目标已有部分成功。在 AgentDyn 上，课程 GPT-5-nano → GPT-5.6-Luna → GPT-5.6-Terra 对 GPT-5.6-Luna 和 GPT-5.6-Terra 的 ASR@10 分别达 93.8% 和 45.0%，而 RL-Hammer 与 PISmith 直接训练均为 0%。

推荐理由论文给出课程式 RL 训练攻击者 LLM 的完整方法，并公开了跨目标与跨基准的迁移数据，可供红队与防御方参考。

深度解读

6个问题，点开问题读完整回答

  1. 这篇论文试图解决什么问题？

    解决强化学习红队在攻击前沿大模型时面临的全零奖励冷启动挑战。

    强化学习自动化提示注入红队在面对防御能力较强的前沿大模型时面临冷启动问题。

    • 应用场景与风险背景：大语言模型（LLM）被广泛应用于构建可调用外部工具与执行操作的自主智能体。智能体在执行任务过程中需要读取网页或工具输出等外部内容，容易遭受间接提示注入攻击，攻击者可通过在外部内容中嵌入恶意指令劫持智能体行为。
    • 现有强化学习方法的不足：现有的强化学习红队方法（如 PISmith 和 RL-Hammer）主要通过奖励稀疏性机制学习攻击策略。但在面对更强的前沿目标模型（如 GPT-5.6-Luna 和 GPT-5.6-Terra）时，初始攻击模型产生的所有注入样本均被拦截，获得全零奖励，导致策略梯度中组内优势值全部归零，强化学习算法无法获得任何有效学习信号。
    • 核心观察与假设：作者认为任务难度主要取决于目标模型的鲁棒性，因此可通过固定红队任务、让攻击模型依序在逐渐增强的目标模型上训练来构建课程。同时作者观察到，简单地从弱模型直接跨越到前沿模型仍会导致冷启动，关键在于每个中间阶段结束后攻击模型必须能在下一阶段目标上取得局部成功。
    • 提出的解决方案：研究提出了针对前沿大模型的跨目标模型课程强化学习（Curriculum Reinforcement Learning over Targets）红队框架，通过逐步以更具鲁棒性的模型作为训练跳板，并在每阶段进入前进行低成本的非零成功率预检验，使攻击模型稳步获取学习信号。
    • 威胁模型：
      • 攻击者目标：生成注入提示词嵌入外部上下文中，诱导目标智能体执行攻击者指定的恶意任务。
      • 攻击者知识：黑盒访问权限（black-box access），攻击者可以向目标模型发送查询输入，但无法访问其模型权重或输出 logits。
      • 攻击者能力：攻击者可在智能体读取的外部上下文（如网页或工具输出环境字段）中插入文本形式的注入提示词。
      • 受害系统：基于前沿大语言模型构建的自主智能体系统（如 AgentDyn 和 AgentDojo 评测环境）。

  2. 有哪些相关研究？

    梳理了静态、搜索与强化学习红队工作，提出跨目标模型的课程机制。

    论文从静态攻击、基于搜索的攻击、基于强化学习的攻击以及强化学习中的课程学习四个方面梳理了相关研究。

    静态提示注入攻击（Static Attacks）

    • Perez & Ribeiro (2022)、Greshake 等人 (2023)、Liu 等人 (2024)、Debenedetti 等人 (2024)、Geng 等人 (2026) 依赖预定义的模板（如忽略上下文、伪造补全）。作者指出这类方法属于非自适应攻击，容易被防御机制过滤。

    基于搜索的提示注入攻击（Search-based Attacks）

    • TAP（Mehrotra 等人，2024）将注入提示词的迭代精炼组织为树搜索，PAIR（Chao 等人，2023）将其建模为多轮对话，另有 Geng 等人 (2026) 与 Wang 等人 (2026) 利用辅助模型进行搜索优化。作者指出这些方法需要在推理时针对每个样本进行实例级优化，会产生大量的计算开销。

    基于强化学习的提示注入攻击（RL-based Attacks）

    • RL-Hammer（Wen 等人，2025）通过在无防御辅助模型和有防御目标模型上联合训练来缓解稀疏奖励；PISmith（Yin 等人，2026）引入自适应熵正则化和动态优势加权从稀疏成功中学习；Chen 等人 (2026) 与 Nasr 等人 (2026) 亦探索了强化学习红队。作者指出当目标是前沿模型时，攻击模型完全找不到成功样本，导致这些方法在全零奖励下失效。
    • GPT-Red（OpenAI，2026）是 OpenAI 内部采用自我博弈强化学习训练的模型。作者指出该模型及其训练配方均未公开。

    强化学习中的课程学习（Curriculum Learning in RL）

    • 课程学习的经典理论源于 Bengio 等人 (2009)、Narvekar 等人 (2020)、Graves 等人 (2017) 等，在模型后训练中亦有广泛应用（如 Parashar 等人 2025 年提出的 E2H、CLPO 等），通常将推理任务按由易到难排序。

    对比基线与基准

    • 实验对比的基线方法包括静态攻击（Static attack）、基础攻击模型（Base attacker，未微调的 Qwen3-4B-Instruct-2507）、直接训练的 PISmith 以及联合训练的 RL-Hammer。
    • 使用的基准为智能体提示注入基准 AgentDyn 和 AgentDojo。

    本文的定位区别

    • 论文将自身定位为针对前沿模型的黑盒提示注入红队方法；与传统对任务样本排序的课程学习不同，本文保持红队任务固定，将课程建立在按鲁棒性递增的目标模型序列上。

  3. 论文如何解决这个问题？

    通过冻结策略预测试和跨目标模型渐进训练，确保每阶段具备非零奖励信号。

    论文提出通过跨目标模型的课程强化学习（Curriculum Reinforcement Learning over Targets）解决冷启动问题，使用按鲁棒性递增的目标模型序列作为阶梯引导策略训练。

    问题形式化与冷启动机理

    • 优化目标：令目标大模型为 M，训练样本集为 Dtr，每个样本包含用户指令、外部上下文和注入任务。攻击模型输出注入提示词，整体优化目标为单次尝试攻击成功率： maxϕ JM(ϕ) = 𝔼z ∼ 𝒟tr 𝔼p ∼ πϕ(·|z) [rM(z, p)] 其中二元奖励在智能体响应满足注入目标时为 1，否则为 0。
    • 信息组坍塌定义：采用组相对策略优化类算法时，为每个样本采样 K 个注入候选并计算组内优势。一组提示词被称为信息组（informative group）当且仅当其至少包含一个成功样本和一个失败样本。采样到信息组的概率由下式给出： ΛK(πϕ, M) = 𝔼z ∼ 𝒟tr [1 − (1 − sM(z; ϕ))K − sM(z; ϕ)K] 其中表示单次成功概率。当目标为前沿模型时，初始成功概率趋近于 0，信息组概率坍塌为 0，使优势值全部归零而无法更新。

    跨目标模型的课程设计与递进条件

    • 目标课程定义：设最终目标为 M⋆，中间目标模型集合为 M。目标课程定义为有序目标序列 C = (Mc1, Mc2, ..., McL)，其中 McL = M⋆。
    • 阶段更新递推：攻击模型在各阶段依次迭代更新，第 ℓ 阶段以第 ℓ-1 阶段的策略作为初始权重，在目标模型上运行相同的强化学习算法（实验中为 PISmith）。除目标模型改变外，攻击基座模型、算法、提示词模板及训练集保持完全不变。
    • 课程设计的指导原则：为避免冷启动，要求每一阶段初始状态下采样到信息组的概率不低于阈值 τ > 0。作者指出仅按弱到强排序并不保证满足该条件。

    阶段训练前的实用筛选测试

    • 预测试代理机制：在执行第 ℓ 阶段完整训练前，冻结前一阶段策略，在训练集上直接测试其针对目标模型的攻击成功率（称为 pre-stage ASR）。
    • 算法决策流程：如 Algorithm 1 所示，算法优先从候选模型集中挑选当前冻结策略具有非零 pre-stage ASR 的最鲁棒模型作为下一阶段跳板；若不存在满足非零成功率的候选模型，则判定无法通过热启动进入下一阶段。

    攻击提示词模板设计与行为演变

    • 固定提示词模板：附录 B 给出统一的输入提示词模板，包含当前用户任务、注入目标及注入位置占位符，要求模型生成包装在特定标签内的注入文本。该模板对所有阶段、模型和基准保持一致。
    • 策略演变规律：作者通过附录 D 的案例研究指出，攻击模型随着课程推进发生了行为转变：早期在弱模型上训练的模型倾向于使用强行覆盖或取消用户任务的语句；而在经过强模型阶段训练后，模型转变为保留用户任务并将其改写为包含注入步骤的全新工作流，从而规避前沿模型的安全对齐机制。

  4. 论文做了哪些实验？

    对GPT-5.6-Terra实现45.0% ASR@10，且展示了跨模型与跨基准迁移能力。

    论文在 AgentDyn 与 AgentDojo 两个智能体基准上进行了多阶段课程训练、跨模型迁移、跨基准迁移及不同推理强度的实验。

    实验设置

    • 被测目标模型：GPT-4o-mini、GPT-5-nano、GPT-5.6-Luna、GPT-5.6-Terra、GPT-5.6-Sol、GPT-6-Luna、Muse-Spark-1.2、Muse-Spark-1.3、GLM-5.3-flash、Gemini-3.6-flash、DeepSeek-v4-flash-0731、Qwen3.6-27B-SecOPD，以及辅助模型 Llama-3.1-8B-Instruct。
    • 攻击基座模型与算法：攻击模型统一使用 Qwen3-4B-Instruct-2507，各阶段强化学习算法统一使用 PISmith。
    • 评测数据集与规模：主评测基准 AgentDyn 包含 60 个任务与 560 个测试用例，涵盖 Shopping、GitHub、DailyLife 三个领域；训练仅在 GitHub 子集的 180 个任务上进行。跨基准验证使用 AgentDojo（包含 97 个任务、629 个测试用例，涵盖 Workspace、Banking、Travel、Slack 四个套件）。
    • 基线方法：直接在目标模型上训练的 PISmith、联合弱模型与目标模型训练的 RL-Hammer、静态攻击（Static attack）以及未经微调的 Base attacker。
    • 指标与评测采样：每个测试用例采样 10 个注入提示词。指标包括 ASR@1（单个提示词攻击成功率）和 ASR@10（10 次尝试中至少一次成功的比例）。目标模型默认设置为中等推理强度（mid reasoning effort）。

    主结果

    下表展示了 AgentDyn 完整基准上不同训练配置对 GPT-5.6-Luna 与 GPT-5.6-Terra 的攻击成功率（据 Table 1）：

    表格较宽，可左右滑动

    训练配置 / 目标模型GitHub (ASR@1 / @10)DailyLife (ASR@1 / @10)Shopping (ASR@1 / @10)Overall (ASR@1 / @10)
    评测目标：GPT-5.6-Luna
    PISmith（直接训练）0.0% / 0.0%0.0% / 0.0%0.0% / 0.0%0.0% / 0.0%
    RL-Hammer（联合训练）0.0% / 0.0%0.0% / 0.0%0.0% / 0.0%0.0% / 0.0%
    GPT-4o-mini → GPT-5.6-Luna0.5% / 1.7%0.5% / 1.5%0.3% / 1.1%0.4% / 1.4%
    GPT-5-nano → GPT-5.6-Luna75.7% / 92.8%74.4% / 90.0%47.8% / 79.4%66.3% / 87.5%
    5-nano → 5.6-Luna → 5.6-Terra80.3% / 96.1%75.9% / 97.0%51.8% / 87.8%69.6% / 93.8%
    评测目标：GPT-5.6-Terra
    PISmith（直接训练）0.0% / 0.0%0.0% / 0.0%0.0% / 0.0%0.0% / 0.0%
    RL-Hammer（联合训练）0.0% / 0.0%0.0% / 0.0%0.0% / 0.0%0.0% / 0.0%
    GPT-5-nano → GPT-5.6-Terra1.2% / 2.2%0.7% / 1.0%0.8% / 1.7%0.9% / 1.6%
    5-nano → 5.6-Luna → 5.6-Terra29.2% / 58.3%17.9% / 45.0%7.9% / 31.7%18.3% / 45.0%
    • 直接训练与联合基线失效：PISmith 和 RL-Hammer 在两个目标模型上均取得 0.0% 的 ASR@1 和 ASR@10，作者指出这是由于冷启动导致策略无法获取奖励。
    • 跨度过大导致课程失败：若以 GPT-4o-mini 作为第一阶段目标，后续在 GPT-5.6-Luna 上最终仅取得 1.4% ASR@10；若跳过 GPT-5.6-Luna 直接从 GPT-5-nano 训练 GPT-5.6-Terra，ASR@10 仅为 1.6%。
    • 三阶段课程显著提高成功率：采用完整三阶段课程后，在 GPT-5.6-Luna 上实现 93.8% ASR@10，在更鲁棒的 GPT-5.6-Terra 上达到 45.0% ASR@10。

    跨模型零样本迁移与持续强化学习

    • 未见目标模型迁移实验：将针对 GPT-5.6-Terra 训练完成的攻击模型零样本迁移至 6 个未见模型（据 Table 2），在 GPT-6-Luna 上取得 21.4% ASR@1 与 47.3% ASR@10；在 DeepSeek-v4-flash-0731 上达到 71.4% ASR@1 与 95.4% ASR@10；在采用安全对齐防御的 Qwen3.6-27B-SecOPD 上达到 49.0% ASR@1 与 87.1% ASR@10。
    • 基于迁移策略的持续强化学习：以 GPT-5.6-Terra 攻击模型作为初始权重，在 Muse-Spark-1.2 上继续进行强化学习（据 Table 3），其对 Muse-Spark-1.2 的 ASR@1/ASR@10 从 14.2%/35.5% 提升至 61.9%/82.3%；在未经额外训练的情况下直接测试新发布的 Muse-Spark-1.3，ASR@1/ASR@10 从 6.7%/22.0% 提升至 45.4%/73.9%。

    跨基准迁移评测

    • 在 AgentDojo 上的泛化验证：仅在 AgentDyn GitHub 子集上训练的攻击模型在未重新训练的情况下直接在 AgentDojo 四个套件上测试（据 Table 4）。GPT-5.6-Luna 攻击模型总体取得 41.7% ASR@1 与 72.5% ASR@10；GPT-5.6-Terra 攻击模型总体取得 10.4% ASR@1 与 29.9% ASR@10，其中 Slack 套件达到 57.1% ASR@1 与 91.4% ASR@10。基线在此环境下均为 0.0%。

    其他消融与分析

    • 阶段前预测试成功率检验：在 GitHub 训练集上，GPT-5-nano 攻击模型对 GPT-5.6-Terra 的 pre-stage ASR@1 与 ASR@10 均为 0.0%（1800 次尝试无成功）；而经过 GPT-5.6-Luna 阶段训练后，对 GPT-5.6-Terra 的 pre-stage ASR@1 为 1.9%、ASR@10 为 6.1%（据 Table 5）。
    • 最强模型 GPT-5.6-Sol 零样本迁移：GPT-5.6-Terra 攻击模型零样本迁移至 GPT-5.6-Sol，全数据集上 ASR@1 为 2.9%、ASR@10 为 7.3%，GitHub 子集上 ASR@10 为 16.7%，受害智能体完成正常任务效用保持为 75.0%（据 Table 6）。
    • 目标模型推理强度分析：在 AgentDyn 上随着 GPT-5.6-Terra 推理强度由 low、mid 提升至 high，攻击模型的总体 ASR@10 从 48.4% 降至 45.0% 再降至 43.6%（据 Table 7）；在 AgentDojo 上总体 ASR@10 从 31.9% 降至 29.9% 再降至 26.1%（据 Table 8）。

  5. 有什么可以进一步探索的点？

    作者指出预算限制未训练Sol模型且建课成本高；实验受限于单一攻击基座。

    本节归纳作者明确陈述的局限性与研究边界，以及实验实际覆盖范围。

    作者指出的局限与后续方向

    • 算力与查询预算限制未完整训练最强模型：作者在附录 C.2 指出，由于 GPT-5.6-Sol 是 GPT-5.6 系列中最鲁棒且查询开销显著高于 GPT-5.6-Terra 的模型，受预算限制未能对其开展强化学习阶段训练，仅报告了直接迁移结果，作者计划将针对 GPT-5.6-Sol 的强化学习阶段留待未来在更大查询预算下进行。
    • 构建新课程的成本挑战：作者在正文第 4 节指出，为每一个目标模型构建新的课程开销较高，且在实际应用中攻击者可能无法获知应用程序具体使用的底层模型。
    • 用于防御增强的对抗训练潜力：作者在第 5 节结论中指出，该红队方法未来可用于帮助训练更鲁棒的模型，例如作为自适应攻击方法服务于对抗训练。

    实验覆盖范围

    • 被测目标模型与辅助模型范围：实验测试了 GPT-4o-mini、GPT-5-nano、GPT-5.6-Luna、GPT-5.6-Terra、GPT-5.6-Sol、GPT-6-Luna、Muse-Spark-1.2、Muse-Spark-1.3、GLM-5.3-flash、Gemini-3.6-flash、DeepSeek-v4-flash-0731、Qwen3.6-27B-SecOPD 共 12 个目标模型，以及作为 RL-Hammer 辅助模型的 Llama-3.1-8B-Instruct。
    • 攻击策略基座模型：所有训练阶段与迁移测试均采用 Qwen3-4B-Instruct-2507 作为唯一的攻击模型基座，论文未报告其他攻击模型架构或更大参数量模型的效果。
    • 实验基准环境与训练数据：强化学习训练仅在 AgentDyn 基准的 GitHub 子集（180 个任务）上进行，评估覆盖 AgentDyn 全集（560 个测试用例）及 AgentDojo 全集（629 个测试用例）。
    • 黑盒查询设定与采样次数：所有攻击均在黑盒访问设定下进行，测试阶段每个用例固定采样 10 个注入提示词（ASR@1 与 ASR@10）。
    • 未报告的指标细节：论文在强化学习训练过程中未报告各个阶段具体的查询调用总次数与训练运行耗时，且未报告人工评估一致性数据。

  6. 总结一下论文的主要内容

    提出跨目标模型课程强化学习，攻破前沿模型冷启动瓶颈并实现跨模型迁移。

    该研究针对强化学习自动化提示注入红队在攻击前沿大模型时的冷启动问题，提出了一种基于目标模型鲁棒性递进的课程强化学习方法。

    • 核心定位与问题：现有强化学习红队算法在直接面对防御完善的前沿大模型时，因攻击尝试全部失败而遭遇全零奖励，导致组内优势值归零、优化信号中断；而直接从弱模型跳跃至前沿模型通常同样无法建立有效过渡。
    • 方法设计：研究固定红队任务与训练数据，将课程建立在按鲁棒性递增的目标模型序列上（如 GPT-5-nano → GPT-5.6-Luna → GPT-5.6-Terra）。各阶段使用 PISmith 算法进行热启动微调，并在推进至下一阶段前对冻结策略进行低成本的非零成功率预检验，确保策略能在新目标上采样到包含成败差异的信息组。
    • 主要实验结果：
      • 在 AgentDyn 基准上，三阶段课程训练使攻击模型对 GPT-5.6-Luna 达到 93.8% ASR@10，对 GPT-5.6-Terra 达到 45.0% ASR@10，而 PISmith 与 RL-Hammer 直接训练均为 0.0%（据 Table 1）。
      • 若移除中间阶段 GPT-5.6-Luna，对 GPT-5.6-Terra 的 ASR@10 降至 1.6%；若首阶段使用 GPT-4o-mini，对 GPT-5.6-Luna 的 ASR@10 仅为 1.4%（据 Table 1）。
      • 训练完成的攻击模型展现出跨模型迁移能力，在未见目标 GPT-6-Luna 上实现 47.3% ASR@10，在 Qwen3.6-27B-SecOPD 防御模型上达到 87.1% ASR@10（据 Table 2）；并可作为热启动初始权重，使 Muse-Spark-1.2 的 ASR@10 提升至 82.3%（据 Table 3）。
      • 仅在 AgentDyn GitHub 子集训练的策略成功迁移至 AgentDojo 基准，对 GPT-5.6-Luna 和 GPT-5.6-Terra 分别取得 72.5% 和 29.9% 的 ASR@10（据 Table 4）。
    • 作者结论与启示：作者认为当前前沿大模型及对齐防御在面对自适应提示注入攻击时仍显脆弱，尚未达到安全部署的要求；通过精心设计的目标模型课程能够诱导攻击模型习得可转移的注入伪装策略，该方法也可作为自适应攻击机制服务于未来的对抗训练。
阅读原文arxiv.org