PISmith：基于强化学习的提示注入防御红队测试框架

核心问题：现有提示注入防御在自适应攻击下的鲁棒性未被系统评估，作者认为这可能造成虚假的安全感。

• 问题场景：LLM 应用（尤其是与外部工具交互的自主智能体）易受提示注入攻击——攻击者把恶意指令嵌入输入上下文（如网页、文档）操纵输出。已有许多防御（预防式和过滤式），但作者援引 Nasr et al. (2025)、Shi et al. (2025a) 称，报告接近零 ASR 的防御在自适应攻击者面前可能被大幅甚至完全攻破。
• 现有红队方法的不足：作者称静态攻击（模板类）不具备自适应性；搜索式攻击（TAP、PAIR）需逐实例优化、推理时计算开销大；RL 式的 RL-Hammer 靠在无防御和有防御目标上联合训练缓解奖励稀疏，但增加训练成本，且作者实验显示其在困难基准上仍次优。
• 核心观察：直接把标准 GRPO 用于攻击强防御会因奖励稀疏出现两个失效模式——策略对少数成功样本过拟合导致熵坍缩、探索终止；稀有成功在梯度中被大量失败稀释，难以被有效学习（Figure 1）。
• 论文提出：PISmith，一个基于 RL 的红队框架，引入自适应熵正则和动态优势加权两个机制；并在 13 个基准、8 种防御、7 个基线及 InjecAgent、AgentDojo 两个智能体基准上系统评测。
• 威胁模型：
  • 目标：让带防御的目标 LLM 的输出完成注入任务 g（如嵌入钓鱼链接、内容推广、拒绝访问、模拟基础设施故障，附录 C）。
  • 知识：black-box——攻击者只能查询被防御的 LLM 并观察其输出。
  • 能力：向数据上下文 xctx 中插入注入提示词 p；用 on-policy RL 训练攻击 LLM πϕ 生成 p。
  • 受害系统：配备提示注入防御的目标 LLM（如 Meta-SecAlign-8B、带 instruction hierarchy 的 GPT-4o-mini、GPT-5-nano）及工具型智能体。

LLM 的强化学习

• PPO（Schulman et al., 2017）是基于人类反馈对齐 LLM 的基础方法，但依赖学习得到的价值模型，资源消耗大。
• GRPO（Shao et al., 2024）用组内相对奖励计算优势、去掉价值模型，在数学推理和代码生成上表现好，是本文方法的底座。
• 附录 A.2 讨论了熵感知 GRPO 变体：DAPO（Yu et al., 2025）的 Clip-Higher 与 Dynamic Sampling、AEPO（Wang et al., 2025a）的固定熵目标等；作者认为它们面向推理任务、与提示注入红队的奖励稀疏形态不同——Dynamic Sampling 在强防御下会丢弃几乎整个训练批次，固定熵目标无法匹配红队"先探索后利用"的需求。

提示注入攻击（论文分三类）

• 静态攻击（Willison, 2022; Perez & Ribeiro, 2022; Liu et al., 2024 等）：依赖预定义模板（如 context ignoring、fake completion），本质上非自适应；Liu et al. (2024) 的 Combined Attack 组合多种静态策略。
• 搜索式攻击：TAP（Mehrotra et al., 2024）把优化组织为树搜索，PAIR（Chao et al., 2025）组织为多轮对话，PIArena（Geng et al., 2026）的 Strategy 用策略库改写注入提示词；作者指出这类方法逐实例独立优化、推理时计算开销大。
• RL 式攻击：RL-Hammer（Wen et al., 2025）用 GRPO 微调攻击 LLM，靠在弱（无防御）和强（有防御）目标上联合训练缓解奖励稀疏；作者认为这增加训练成本、未根本解决稀疏奖励下的 RL 难题。Nasr et al. (2025) 展示了攻击者可用 RL 等通用优化技术绕过防御，作者指出其 RL 攻击组件的技术细节和代码未完全公开。

提示注入防御（论文分两类）

• 过滤式：PromptGuard（Meta, 2024）微调 DeBERTa 分类注入；DataSentinel（Liu et al., 2025a）把检测建模为 minimax 博弈；另有 Attention Tracker、PIGuard、PIShield 等。
• 预防式：Instruction Hierarchy（Wallace et al., 2024）训练模型优先特权指令；SecAlign/Meta-SecAlign（Chen et al., 2025b;c）用 DPO 做偏好优化；另有 PromptArmor、DataFilter、PISanitizer、SecInfer 等。附录 A.4 还讨论了基于安全策略的防御（CaMeL、Progent、DRIFT 等），作者指出其主要面向工具调用接口明确的智能体场景、难泛化到 QA 等任务。

基线与基准：攻击基线为 Direct、Combined（静态），TAP、PAIR、Strategy（搜索式），Vanilla GRPO、RL-Hammer（RL 式）；被评防御为 Meta-SecAlign-8B 及 Sandwich、Instructional、PromptArmor、DataFilter、PIGuard、PromptGuard、DataSentinel；基准为 PIArena 的 13 个数据集及 InjecAgent、AgentDojo、AgentDyn。

作者定位：PISmith 用自适应熵正则和动态优势加权直接处理奖励稀疏，不需要像 RL-Hammer 那样在多目标上训练，作者称这是对现有 RL 红队方法局限的针对性改进。

整体思路：把注入攻击形式化为策略优化问题，用 GRPO 变体在黑盒下训练攻击 LLM PISmith，针对强防御导致的奖励稀疏设计两个按当前平均奖励 r̄ 调节的机制。

问题形式化

• 训练样本由目标任务 (xinst, xctx) 和注入任务 g 组成；攻击者把注入提示词 p 插入数据上下文 xctx。
• 优化目标（Eq. 1）：max_πϕ 1/(|D|)∑_{(xinst,xctx,g)∈ D} 𝔼_{p∼πϕ(·|xinst,xctx,g)}  r(M_θ(x_inst, x_ctx⊕ p), g)，其中 r 为二元奖励：目标 LLM 的响应完成注入任务 g 则为 1，否则为 0。
• 标准 GRPO：每个样本采样 K 个 rollout，优势按组内均值和标准差归一化（Eq. 2），用带裁剪的代理损失加对参考策略的 KL 惩罚更新（Eq. 3）。

标准 GRPO 的两个失效模式（§3.2）

• 熵坍缩：奖励极稀疏时，GRPO 强化少数偶然成功中的特定模式，策略熵持续下降、rollout 趋同，探索在找到有效策略前终止，梯度随之消失。
• 成功信号被稀释：即使维持探索，稀有成功在梯度中被大量失败淹没；失败只说明某种措辞无效，成功才暴露防御弱点。
• 附录 B 论证标准 GRPO 的 KL 项为何不够：KL 分解为 −H(πϕ) + H(πϕ, πref)，其中交叉熵项把策略锚定在不懂攻击的参考策略上，阻碍发现新注入策略，因此作者用纯熵奖励替换 KL 项。

自适应熵正则（§3.3.1）

• 只保留熵项并加上限：L_entropy = −β(r̄) · H(π_ϕ) 当 H(π_ϕ) < H_cap，否则为 0（Eq. 4）；Hcap = 0.5，防止早期熵项主导优化、生成退化为无语义序列。
• β 随当前平均奖励 r̄ 自适应（Eq. 5）：r̄ 低于阈值 τ 时取 βmax 附近的强探索，r̄ 升到 τ 以上后线性衰减到 βbase，转向利用已发现的策略。

动态优势加权（§3.3.2）

• 对成功 rollout（ri = 1）的优势乘以 γ(r̄)，失败不变（Eq. 6）。
• γ(r̄) 在 r̄ < τ 时为 1 + (γmax − 1)·(τ − r̄)/τ，r̄ ≥ τ 时为 1（Eq. 7）；γmax = 5.0。r̄ 低时放大稀有成功的梯度贡献，r̄ 升高后恢复标准 GRPO。

完整目标与关键参数

• 总损失（Eq. 8）为带裁剪的代理损失（用加权优势 Ãi）加 Lentropy；作者称两机制互补：熵正则保证产生稀有成功，优势加权保证从中学习，r̄ 升高后两者同时放松、平滑回到标准 GRPO。
• 关键参数（附录 D.1）：攻击基座 Qwen3-4B-Instruct-2507；Hcap = 0.5，βmax = 0.01，βbase = 0.001，γmax = 5.0，τ = 0.5；GRPO 组大小 K = 15，学习率 1×10⁻⁵，裁剪阈值 ϵc = 0.2，训练 10 epoch。
• 训练数据：非智能体基准只用 Dolly Closed QA 前 100 条；InjecAgent 沿用 RL-Hammer 的数据划分；AgentDojo 用 workspace 域前 7 个（共 14 个）注入任务配全部用户任务。
• 成功判定：GPT-4o-mini 作为 LLM-as-judge，输入注入任务和目标响应，输出 YES/NO（附录 D.2 给出评审提示词）；附录 D.3 给出三类基准的攻击 LLM 训练提示词模板。

实验设置

• 被攻击目标：Meta-SecAlign-8B（RQ1、消融）；Qwen3-4B-Instruct-2507 作为后端配 7 种防御（RQ2）；InjecAgent 上为 Meta-SecAlign-8B、GPT-4o-mini、GPT-4.1-nano、GPT-5-nano；AgentDojo 上为三个闭源模型（排除 Meta-SecAlign-8B，因其智能体任务效用太低）。
• 基准：PIArena 的 13 个数据集（QA 4 个、RAG 3 个、长上下文 6 个），共 200×4 + 100×9 = 1,700 个评测用例（附录 D.4）；智能体基准 InjecAgent、AgentDojo，扩展实验用 AgentDyn 的 GitHub 子集。
• 攻击方：PISmith 基座为 Qwen3-4B-Instruct-2507，仅在 100 条 Dolly Closed QA 上训练；RL 基线（Vanilla GRPO、RL-Hammer）共享同一基座、训练数据和评测协议；RL-Hammer 额外用 Llama-3.1-8B-Instruct 作无防御联合训练目标；搜索式基线（TAP、PAIR、Strategy）逐实例优化，攻击 LLM 同为 Qwen3-4B-Instruct-2507。
• 指标：每实例生成 N = 10 个候选注入提示词；ASR@10（至少一个成功）、ASR@1（单次成功率，10 次平均）；Utility 为无攻击时的任务完成准确率。
• 评审：GPT-4o-mini 作 LLM-as-judge 输出 YES/NO；人工验证见附录 H。

主结果

Table 1（对 Meta-SecAlign-8B，静态/搜索式报 ASR@1，RL 式报 ASR@10/ASR@1，节选平均行与代表性行）：

表格较宽，可左右滑动

基准	Direct	Combined	TAP	PAIR	Strategy	Vanilla GRPO	RL-Hammer	PISmith
SQuAD v2	0.01	0.01	0.09	0.10	0.09	0.01/0.01	0.94/0.64	1.0/0.94
Dolly Closed QA	0.03	0.06	0.18	0.30	0.30	0.26/0.10	0.95/0.78	1.0/0.94
HotpotQA RAG	0.02	0.04	0.14	0.15	0.09	0.22/0.10	0.89/0.59	1.0/0.91
HotpotQA Long	0	0	0	0	0.02	0/0	0.04/0.01	0.99/0.61
Qasper	0.01	0.01	0.07	0.1	0.24	0.05/0.02	0.21/0.10	0.99/0.69
LCC	0.06	0.11	0.23	0.37	0.29	0.31/0.18	0.74/0.48	0.99/0.89
平均（13 基准）	0.04	0.07	0.11	0.16	0.21	0.13/0.05	0.70/0.48	1.0/0.87

（完整 13 行含 Dolly Info、Dolly Sum、NQ、MSMARCO、GovReport、MultiNews、Passage Retr.，PISmith 各行为 0.99–1.0/0.61–0.97。）

• 作者称静态攻击对所有基准 ASR 都很低，搜索式优于静态但平均 ASR@1 仅 0.11–0.21。
• 作者称 PISmith 虽只在 100 条 Dolly Closed QA 上训练，仍泛化到 12 个未见基准；在 HotpotQA-Long 这类限制输出格式的难任务上相对 RL-Hammer 提升最大。
• 附录 D.4 的查询开销：PISmith 总查询 32,000（训练 15,000 + 推理 17,000），RL-Hammer 47,000，TAP 82,110、PAIR 74,460、Strategy 194,140。

效用–鲁棒性权衡（RQ2，Table 7、Figure 2）

• 后端为 Qwen3-4B-Instruct-2507，13 基准平均：No Defense 的 Utility 0.74、PISmith ASR@1 0.92；Sandwich、Instructional、PromptArmor 的 Utility 0.73–0.74，ASR@1 0.91–0.92；DataFilter Utility 0.63（−0.11）、ASR@1 0.49；PIGuard 0.72（−0.02）、0.82；PromptGuard 0.66（−0.08）、0.89；DataSentinel 0.55（−0.19）、0.52。
• 作者称没有防御落在 Figure 2 的右下区域（高效用、低 ASR）：保效用的防御更易被 PISmith 攻破，ASR 较低的防御效用损失大；作者给出的解释是更激进的防御会无差别拦截恶意和正常上下文。

智能体场景（RQ3，Tables 2、3、5）

• InjecAgent：PISmith 对四个目标 ASR@10/ASR@1 分别为 Meta-SecAlign-8B 1.0/0.99、GPT-4o-mini 1.0/0.99、GPT-4.1-nano 1.0/1.0、GPT-5-nano 1.0/0.95；GPT-5-nano 上静态攻击（Direct 0.00、Enhanced 0.00）完全失败，RL-Hammer 为 0.96/0.86。
• AgentDojo（workspace 子集训练）：PISmith 对 GPT-4o-mini 0.78/0.62、GPT-4.1-nano 0.81/0.64、GPT-5-nano 0.38/0.24；6 个模板基线最高为 Imp. Instr. 的 0.23（GPT-4o-mini）。
• 扩展训练数据（Table 5）：加入 AgentDyn GitHub 子集重训后，GPT-5-nano 上 AgentDojo 升至 0.75/0.52，在 AgentDyn 上为 0.88/0.60（Direct 基线 0.01）；作者称攻击性能未被更强目标根本限制，而是随训练覆盖扩展。

其他消融与分析

• 组件消融（Figure 3，Meta-SecAlign-8B，13 基准平均 ASR@1）：Vanilla GRPO 0.05，w/o Entropy 0.09，w/o Boost 0.57，完整 PISmith 0.87。
• 训练数据多样性（Table 4，目标 Meta-SecAlign-8B）：训练集从 100 条 Dolly 扩到 300 条（Dolly、HotpotQA-RAG、HotpotQA-Long 各 100），平均 ASR@1 从 0.87 升至 0.99，ASR@10 保持 1.00。
• 超参数敏感性（Table 19，同消融设置）：γmax 取 1.0/2.0/5.0/10.0 时 ASR@1 为 0.57/0.67/0.87/0.20；Hcap 取 0.2/0.5/1.0 为 0.75/0.87/0.78；τ 取 0.2/0.5/0.8 为 0.78/0.87/0.81。
• 通用熵感知 GRPO 变体对比（Table 20，移植到同一攻击管线，目标 Meta-SecAlign-8B）：Vanilla GRPO 0.05/0.13，EPO 0.64/0.50，DAPO 0.28/0.14，PISmith 1.00/0.87（ASR@10/ASR@1；表中 Vanilla GRPO 两列数值与 Table 1 的 0.13/0.05 排列相反，按原文照抄）。
• 评审人工验证（附录 H）：200 个随机样本（覆盖 4 类注入任务、3 类任务族），两名标注者一致率 100%，人工共识与 GPT-4o-mini 评审一致 196/200（98%）；4 例分歧均为评审接受了人工认为部分完成的响应，作者据此给出评审假阳性率上界 2%。

作者指出的局限与后续方向

• 扩展到更强的攻击模型（附录 A.1）：作者称 PISmith 默认用 Qwen3-4B-Instruct-2507，预期换用更强的通用 LLM（文中举 DeepSeek V4 Pro、GLM-5.2）会进一步提升攻击性能，并把这一缩放趋势的系统性研究留给未来工作。
• 从红队到防御（附录 A.1、§5）：作者称 PISmith 可在防御训练中充当自适应攻击者，与目标模型协同训练（援引 OpenAI GPT-Red 的并行工作），而不仅是事后评测固定防御。
• 开发兼顾鲁棒与效用的防御（§5）：作者称当前 LLM 及其提示注入防御仍不足以支撑安全的实际部署，需要更有韧性且保效用的防御。
• 论文没有专门的 Limitations 小节，以上为结论和附录中明确写出的后续方向。

实验覆盖范围

• 被攻击目标模型为 Meta-SecAlign-8B、Qwen3-4B-Instruct-2507（后端）、GPT-4o-mini、GPT-4.1-nano、GPT-5-nano，共 5 个（§4.2–4.4）。
• 攻击 LLM 固定为 Qwen3-4B-Instruct-2507；非智能体基准训练数据仅 100 条 Dolly Closed QA，AgentDojo 仅用 workspace 域前 7 个注入任务（附录 D.1）。
• 被评防御共 8 种：Meta-SecAlign-8B 及 Sandwich、Instructional、PromptArmor、DataFilter、PIGuard、PromptGuard、DataSentinel；附录 A.4 讨论的基于安全策略的防御（CaMeL、Progent、DRIFT 等）未在实验中出现。
• 攻击成功判定统一由 GPT-4o-mini 评审；人工验证为 200 个样本、两名标注者（附录 H）。
• 论文未报告训练随机种子、多次重复训练的方差，也未报告对 PISmith 的自适应防御（即防御方针对 PISmith 再训练后的效果）实验。

一篇提示注入红队攻击论文：作者认为现有防御对自适应攻击的鲁棒性缺乏系统评估，提出基于 RL 的红队框架 PISmith。

• 问题：静态模板攻击非自适应，搜索式攻击逐实例优化开销大，RL 式的 RL-Hammer 靠多目标联合训练缓解奖励稀疏但作者称其仍次优；直接把标准 GRPO 用于攻击强防御会因奖励稀疏出现熵坍缩和成功信号稀释（Figure 1）。
• 方法：在 black-box 设置下用 GRPO 变体训练攻击 LLM（Qwen3-4B-Instruct-2507），两个机制都按当前平均奖励 r̄ 调节：带熵上限的自适应熵正则维持探索，动态优势加权按稀缺程度放大成功 rollout 的梯度；r̄ 升高后恢复标准 GRPO。
• 主结果：对 Meta-SecAlign-8B，PISmith 在 13 个基准上平均 ASR@10/ASR@1 为 1.0/0.87，RL-Hammer 为 0.70/0.48，搜索式基线平均 ASR@1 最高 0.21（Table 1）；训练仅用 100 条 Dolly Closed QA。
• 效用–鲁棒性：7 种防御（后端 Qwen3-4B-Instruct-2507）中，保效用的（Sandwich 等，Utility 0.73–0.74）ASR@1 达 0.91–0.92，ASR 较低的 DataSentinel（0.52）Utility 降到 0.55；作者称无防御能兼顾两者（Table 7、Figure 2）。
• 智能体场景：InjecAgent 上对 GPT-5-nano 达 1.0/0.95（静态攻击为 0）；AgentDojo 上对 GPT-4o-mini 为 0.78/0.62，GPT-5-nano 上 0.38/0.24，加入 AgentDyn GitHub 子集重训后升至 0.75/0.52（Tables 2、3、5）。消融显示去掉熵正则或优势加权后平均 ASR@1 分别降至 0.09 和 0.57（Figure 3）。
• 作者结论：现有防御在自适应攻击下仍脆弱，亟需兼顾鲁棒与效用的防御；作者计划将 PISmith 扩展到更强攻击基座、并用于防御协同训练（附录 A.1）。评审为 GPT-4o-mini，与人工共识一致率 98%（附录 H）。