PIArena：一个用于提示注入评测的统一平台

核心问题：缺少统一的提示注入（prompt injection）评测平台，使防御之间难以可靠比较、难以判断其在多样攻击与基准下的真实鲁棒性。

• 场景与重要性：提示注入可出现在网页、社媒帖子、共享文档、代码库、协作平台消息等不可信上下文中；OWASP 将其列为 LLM 应用的头号安全风险（作者引述）。
• 现有不足：作者称许多防御（如 Liu et al., 2025b；Zhu et al., 2025；Chen et al., 2024/2025a；Meta, 2024；Li et al., 2025；Wang et al., 2025）在原基准上报告有效，后续被他人在其他基准上发现效果有限；现有基准多为静态攻击、缺统一 API 与即插即用工具、不可扩展（Table 1）。
• 核心观察：静态模板攻击不能反映攻击者根据防御反馈迭代演化攻击的真实场景；注入任务与目标任务对齐时，攻击退化为虚假信息，指令级防御可能失效。
• 论文提出：统一可扩展平台 PIArena（含 13 个数据集、四类现实注入任务、统一接口），以及一个根据防御反馈自适应优化注入提示的策略攻击（strategy-based attack）。
• 威胁模型（Section 2）：
  • 攻击者目标：在上下文任意位置插入含注入指令 Is 的注入提示，使后端 LLM 执行注入任务而非目标任务（如注入广告、钓鱼链接）。
  • 攻击者知识与能力：向上下文中注入文本；作者提出的策略攻击只需对防御的 black-box 访问。
  • 防御方目标：干净上下文保持高 utility（低误报），并缓解注入影响；分 detection-based（识别并拦截）与 prevention-based（保证仍执行目标任务）两类。
  • 受害系统：以后端 LLM 执行目标任务（如问答、RAG、智能体）的应用。

提示注入攻击

• 启发式攻击（Willison, 2022；Perez and Ribeiro, 2022；Liu et al., 2024b 等）：用预定义静态策略或模板构造注入提示，如 context ignoring、fake completion；Combined Attack 整合多种启发式策略，作者称其为启发式中效果最强。
• 白盒优化攻击（GCG (Zou et al., 2023)、Neural Exec (Pasquini et al., 2024) 等）：利用目标 LLM 梯度迭代优化注入提示；作者指出其实践中常拿不到梯度。
• 黑盒优化与策略攻击（AutoDAN、GPTFuzzer、TAP、PAIR、RL-Hammer、PISmith 等）：只需 API 访问；作者称这些方法多面向越狱，策略以字符级扰动或语义混淆为主，而本文策略面向提示注入的载荷拆分、权威升级与认知劫持（Appendix C）。

提示注入防御

• 检测类：DataSentinel（minimax 博弈微调检测 LLM）、PromptGuard（微调 DeBERTa）、AttentionTracker（分析中间层注意力）、PIShield（用 hidden states 等内在特征）。
• 预防类：SecAlign（DPO 微调）、Instruction Hierarchy（训练 GPT-4o-mini 区分指令来源优先级）、DataFilter、PromptArmor、PISanitizer（利用注意力定位并清洗注入内容）等。

基准

• 通用任务基准：Open-Prompt-Injection（7 个经典 NLP 任务）、SEP（日常问题、上下文无关注入任务）等。
• 智能体基准：InjecAgent、AgentDojo、AgentDyn、WASP、ASB；作者指出它们配置复杂，原文多未评测防御。
• 本文基线与基准：防御基线为 PISanitizer、SecAlign++、DataFilter、PromptArmor、DataSentinel、PromptGuard、AttentionTracker、PIGuard；攻击基线为 Combined、Direct、GCG、PAIR、TAP；基准含 SQuAD v2、Dolly、NQ、MS-MARCO、HotpotQA、LongBench 子集及 OPI、SEP、InjecAgent、AgentDojo、AgentDyn、WASP。

作者将本文定位为：以统一 API、即插即用工具和自适应攻击弥补现有基准在防御评测、可复现性与可扩展性上的缺口（Table 1）。

整体思路：构建统一可扩展平台 PIArena，把基准、攻击、防御、评测器抽象为四个即插即用模块；同时提出 Generic Strategy-based Attack，用策略库做语义"热启动"，再按防御反馈迭代改写注入提示。

问题形式化

• 后端 LLM g 对目标指令 It 与上下文 C 生成响应 R = g(I_t ⊕ C)，⊕ 为字符串拼接；攻击者注入提示得到受污染上下文 C'，目标是让 g 执行注入指令 Is。
• 统一数据格式：每个样本含 target_inst、context、injected_task、target_task_answer、injected_task_answer、category（Figure 3）。

基准与注入任务构建

• 目标任务：问答（SQuAD v2、Dolly）、信息抽取与摘要（Dolly）、RAG（NQ、HotpotQA、MS-MARCO）、长上下文（LongBench 的 HotpotQA、Qasper、GovReport、MultiNews、PassageRetrieval、LCC）。
• 注入任务：四类现实攻击目标——phishing injection、content promotion、access denial、infrastructure failure；攻击时每类各占 25%。
• 生成方式：用 GPT-5 按目标指令、上下文和攻击目标生成上下文相关的注入任务，轮换攻击目标并加入已生成样本避免重复（Appendix F）。

统一评测接口

• 攻击接口：输入数据样本，生成注入提示并插入上下文指定位置（开头、中间或结尾）。
• 防御接口：检测类先判定上下文是否被污染，判为恶意则返回预定义拒答；预防类（清洗、鲁棒微调）按各自协议输出安全响应。
• 评测器：Utility 用任务相关指标（短上下文用 LLM-as-a-judge，长上下文用 F1、ROUGE-L 等 LongBench 指标）；ASR 用 LLM-as-a-judge 判定响应是否完成注入任务；judge 模型为 Qwen3-4B-Instruct（Appendix E）。

策略自适应攻击（Algorithm 1）

• 动机：作者称黑盒提示优化存在冷启动问题——从原始注入指令出发奖励稀疏，优化退化为高成本暴力搜索。
• 阶段一（候选生成）：Attacker LLM（Qwen3-4B-Instruct）用 10 种改写策略（如 "Author's Note"、"System Update" 一类伪装，完整策略提示见 Appendix G.4）把基础注入提示改写为候选集，逐个探测，成功即返回。
• 阶段二（反馈引导改写）：对每个策略的种子提示迭代至多 K 轮，按反馈分三种情形：被检测/清洗则改写以提高隐蔽性；被忽略则改写以增强强制性；其余情形由 Attacker LLM 分析失败原因并改写。
• 作者称策略改写提供语义"热启动"，查询效率更高且保证攻击多样性；论文未在正文给出 N、K 的具体取值。

实验设置

• 被测后端 LLM（10 个）：开源 Qwen3-4B-Instruct（默认）、Qwen3-30B-Instruct、Llama-3.3-70B-Instruct、gpt-oss-120b；闭源 GPT-4o、GPT-4o-mini、GPT-5、Claude-Sonnet-4.5、Gemini-3-Pro、Gemini-3-Flash。主表（Table 2）默认用 Qwen3-4B-Instruct。
• 数据集：13 个自建数据集共 1,700 样本（短上下文每集 200、长上下文每集 100，Table 8）；另在 InjecAgent、AgentDojo、AgentDyn、WASP、OPI、SEP 上评测。
• 防御（8 种，默认设置与开源实现）：预防类 PISanitizer、SecAlign++、DataFilter、PromptArmor；检测类 DataSentinel、PromptGuard、AttentionTracker、PIGuard。
• 攻击：Combined、Direct、Strategy（本文，Attacker LLM 为 Qwen3-4B-Instruct）；附录另测 GCG（白盒）与 PAIR、TAP。
• 指标与评审：Utility 与 ASR；ASR 与短上下文 utility 用 LLM-as-a-judge（judge 为 Qwen3-4B-Instruct）；WASP 的 ASR 用 GPT-4o 作 judge；检测类防御在攻击下不报 utility（拒答使 utility 无意义）。
• 评审准确性：作者人工抽查 100 个随机样本，报告 judge 准确率 98%。

主结果

下表为 Table 2 中 13 个数据集 Average 行（后端 Qwen3-4B-Instruct；检测类攻击下 utility 为 N/A）：

表格较宽，可左右滑动

防御	No Attack Utility	Combined ASR	Direct ASR	Strategy ASR
No Defense	0.74	0.72	0.56	0.99
PISanitizer	0.74	0.04	0.11	0.86
SecAlign++	0.58	0.07	0.04	0.21
DataFilter	0.63	0.22	0.37	0.58
PromptArmor	0.74	0.58	0.50	0.92
DataSentinel	0.55	0.12	0.26	0.45
PromptGuard	0.66	0.25	0.30	0.92
Attn.Tracker	0.15	0.0	0.0	0.01
PIGuard	0.72	0.22	0.27	0.79

• 作者称现有防御泛化有限：PISanitizer 对 Combined 鲁棒但 Direct 下 ASR 升至 11%；SecAlign++ 的 ASR 低但牺牲 utility（No Attack 平均 utility 从 74% 降到 58%）。
• 作者称策略攻击绕过几乎所有防御：无防御 ASR 99%，对 PISanitizer 86%；AttentionTracker 的 ASR 低（1%）但平均 utility 仅 15%。
• No Attack 时部分数据集 ASR 非零，作者解释为目标任务与注入任务重叠导致 judge 误判，并称该影响很小。

不同后端 LLM（Table 3，SQuAD v2，Direct 攻击）

• 闭源模型仍有高 ASR：GPT-4o 0.92、Gemini-3-Flash 0.88、Gemini-3-Pro 0.83、GPT-4o-mini 0.76、GPT-5 0.70；开源模型 0.61–0.86。
• 例外：Claude-Sonnet-4.5 的 ASR 为 0.31，低于其他模型（utility 0.97）；作者未解释原因。
• 作者称 GPT-4o-mini 经专门抗注入训练、GPT-5 部署多层防御栈，仍分别有 76% 与 70% ASR，认为专门训练难以应对现实多样的注入。

注入任务与目标任务对齐（Table 4，NQ，知识损坏攻击）

• 测了什么：按 PoisonedRAG 设置在 NQ 上做知识损坏，注入提示可不含显式指令、退化为虚假信息。
• 结果：无防御 ASR 0.81；所有被测防御 ASR 仍高——PISanitizer 0.67、SecAlign++ 0.58、DataFilter 0.78、PromptArmor 0.82、DataSentinel 0.44、PromptGuard 0.74、PIGuard 0.81；仅 AttentionTracker 0.01（其 No Attack utility 为 0.0）。
• 作者解读：此时防御退化为核对信息正确性，指令级防御无法验证内容真伪，作者认为这构成根本性挑战。

迁移到其他基准（Table 5、6）

• 智能体基准：InjecAgent 用 Llama-3.1-8B-Instruct 与 "ENHANCED" 攻击；AgentDojo、AgentDyn 用 GPT-4o 与其默认 "important message" 攻击；WASP 取 84 个测试用例做单网页静态评测。无防御 ASR 0.29–0.42；作者称现有防御要么损 utility 要么 ASR 降得不够（如 AgentDojo 上 SecAlign++ ASR 0.0 但 utility 从 0.52 降到 0.19）。
• 通用基准（OPI、SEP，后端 Qwen3-4B-Instruct）：现有防御已能表现较好（如 SEP 上 PISanitizer ASR 0.03、DataFilter 0.01），作者称这凸显需要 PIArena 的更全面评测。

其他消融与分析

• GCG（Table 7，MultiNews，白盒）：DataFilter ASR 0.04、DataSentinel 0.0、PIGuard 0.02，但 SecAlign++ 0.86、PromptArmor 0.60、PromptGuard 0.56；作者称本文黑盒策略攻击 ASR 高于该白盒攻击。
• PAIR/TAP 对比（Table 10，表注写 SQuAD v2，正文写 Dolly Closed QA）：Strategy 攻击在无防御、PISanitizer、PromptArmor、PromptGuard、PIGuard 上 ASR 均高于 PAIR 与 TAP（如对 PISanitizer 0.85 对 0.05）。
• 攻击成本（Appendix G.2，Dolly Closed QA）：多数防御平均 1.015–1.930 轮收敛，SecAlign++ 为 4.555 轮；平均每样本约 8 秒（vLLM 与批量推理）。

作者指出的局限与后续方向

• 基准真实性（Limitations 节）：作者承认自建基准可能无法完全反映真实场景，但认为现有防御在这些受控基准上已表现吃力，可作为迈向更复杂真实设置前的第一步。
• 跨基准评测（Appendix D）：作者建议未来防御把跨基准、跨注入任务类别、跨攻击类型与上下文长度的综合评测作为标准做法。
• 自适应威胁模型（Appendix D）：作者建议防御在开发与评测中纳入根据防御反馈迭代改进攻击的自适应威胁模型。
• 内容级验证（Appendix D 与 Section 5.4）：作者认为任务对齐场景下指令级防御存在根本局限，未来需转向内容级验证（如与可信外部来源交叉核对）与系统级防护。

实验覆盖范围

• 被测后端 LLM 共 10 个（4 开源、6 闭源）；跨模型结果（Table 3）仅在 SQuAD v2、Direct 攻击下报告。
• 防御评测覆盖 8 种（预防类 4、检测类 4），均用默认设置与开源实现。
• 主结果（Table 2）后端模型为 Qwen3-4B-Instruct；样本量为短上下文数据集每集 200、长上下文每集 100，共 1,700；论文未报告重复实验次数。
• 攻击覆盖 Combined、Direct、Strategy，附录另测 GCG（MultiNews）与 PAIR、TAP（单个数据集）；策略攻击的 Attacker LLM 为 Qwen3-4B-Instruct，论文未报告换用其他 Attacker LLM 的结果。
• LLM 评审用 Qwen3-4B-Instruct（WASP 的 ASR 用 GPT-4o）；作者报告人工抽查 100 个样本、judge 准确率 98%，未报告人工标注者间一致性。

一篇提示注入评测平台论文：作者构建统一可扩展平台 PIArena，并提出根据防御反馈自适应改写注入提示的策略攻击，用以系统评测现有攻防。

• 要解决的问题：作者称社区缺少统一评测平台，许多防御在原基准报告有效、换基准后失效，真实鲁棒性难以比较。
• 方法要点：四模块（benchmark、attack、defense、evaluator）即插即用架构；13 个数据集共 1,700 样本，覆盖问答、RAG、长上下文等任务；用 GPT-5 生成四类上下文相关注入任务；策略攻击以 10 种改写策略做"热启动"，再按检测/忽略/失败三类反馈迭代改写，只需 black-box 访问。
• 主要结果（Table 2，后端 Qwen3-4B-Instruct，13 数据集平均）：策略攻击无防御 ASR 99%，对 PISanitizer 86%、SecAlign++ 21%（utility 降至 45%）；SecAlign++ 在 No Attack 下把平均 utility 从 74% 降到 58%。
• 跨模型（Table 3，SQuAD v2，Direct）：GPT-5 ASR 70%、GPT-4o-mini 76%、GPT-4o 92%；Claude-Sonnet-4.5 为 31%，是例外。
• 任务对齐场景（Table 4，NQ 知识损坏）：无防御 ASR 81%，所有被测防御失效（0.44–0.82，AttentionTracker 除外但其 utility 为 0）。
• 作者结论：防御提示注入仍是根本性挑战；作者希望 PIArena 支持系统评测，帮助识别防御弱点，并计划通过社区贡献持续扩展平台。