SoK：PIAtlas 拆解无界的提示注入攻击空间

1. 01这篇论文试图解决什么问题？

   无界提示注入缺少按构造划分的地图；作者用六类机制整理攻击并对照基准覆盖。

   提示注入缺少按构造机制划分、并能对照基准覆盖的地图。

   • 场景：作者认为，应用与智能体的能力来自上下文中任意 token 都可能影响下一步，不可信数据因而会被当成高权威指令。作者援引公开说法，认为实用意义上该问题只能遏制，不能求解。
   • 搜索困难：作者写，k=50 且词表规模为 10^5 时，攻击者可控序列的数量级为 10^250。均匀抽样大多落在无效区域，只在已知攻击附近扰动又离不开原区域。
   • 现有不足：作者称二十多个公开数据集词汇互不兼容，常按投递、目标或生成方法组织；先前分类的主轴也不一致。早期接近构造的工作或枚举技巧，或只派生少数类别，且早于智能体时期。
   • 观察：作者认为有效注入遵循相对少数的构造策略；同策略可由释义到达，不同策略之间有局部搜索很少跨越的空隙。作者猜想，在与构造对齐的表示下，成功注入位于按构造索引的低维子流形之并。
   • 做法：作者提出 PIAtlas，六类各对应一种颠覆机制，并发布合并二十个公开数据集的 PICorpus。投递、目标与搜索方法不进入该轴。
   • 威胁模型：Section II-D 假定 black-box 对手。
     • 目标：把对抗文本 x 引入上下文，以覆盖运行时系统策略；固定二分类器 JUDGE(R, O) 判定响应是否在违规下满足 O。
     • 知识：知道系统提示模板属于 chatbot、assistant 还是 agent，不知道确切文本。
     • 能力：DPI 中对手是终端用户，控制中等权威用户消息；IPI 中外部方控制随后被摄入的无权威数据段。x 可用任何手工或自动方式生成。
     • 轴外：直接或间接放置属于投递。目标类别和搜索方法（包括黑盒或白盒优化）不由 PIAtlas 分类。

   收起这一问

2. 02有哪些相关研究？

   作者称既有分类多不按构造切分，接近构造的方案也未按同一机制边界划分。

   论文在引言和 Section VIII 里讨论的，主要是分类方案、标准，以及本文用来对照的语料与表示。

   其他切分轴与早期划分

   • 多轴分类与标准：作者列举的主轴包括威胁模型、载荷生成、投递、杀伤链阶段、主导机制、信念/意图/许可、CIA 影响和训练失败根因。NIST AI 100-2、MITRE ATLAS 与 OWASP 的 LLM 及智能体列表也各切一轴；作者称除直接/间接之分外，共同点很少。
   • 目标与提示块：Perez 与 Ribeiro（2022）把攻击分成目标劫持和提示泄露，并用可复用提示块组攻击。作者将其算作构造相邻，但该方案按目标组织。
   • 防御家族：引言把指令层级与偏好优化、提示级隔离、推理时检测，以及不依赖模型行为的控制流与数据流设计，写成缓解而非修复。作者称最强的设计保证仍把模型层的指令—数据混淆留着。

   接近构造的方案

   • HackAPrompt（2023）：从文献和竞赛枚举 29 项技术。作者称它不是从模型导出的，早于智能体时期，没有社会工程类，也不是严格划分。
   • 成分与早期类别：HouYi（2023）与 Open-Prompt-Injection（2024）是导出的、可组合的；作者称后者只点名本文的 F1 与 F2，HouYi 只另加语言切换和格式要求。Rossi 等（2024）的构造族预示了若干类，但混入投递轴。Gandalf 的类别覆盖五类，但只服务一个目标。
   • 语言层与绕过机制：Rao 等（2024）、Attack Atlas（2024）、Giarrusso 等（2026）和 MLCommons（2026）更接近本文的轴。作者称这四套都不覆盖智能体，且前三套允许类别重叠。HiddenLayer APE 与 Iyer 等（2026）覆盖直接和间接注入，但把投递放进轴内。

   本文的对照

   • 交叉对照：作者把 44 套方案的类别放到构造轴上。作者称构造在每套里都出现，但没有两套以同一方式切开它；1,488 个类别中 779 个至少对应一类，709 个在其他轴，尚无类别需要第七类。
   • 语料：对照记录来自 20 个公开数据集，合并为 PICorpus，不是另一套攻击算法基线。
   • 表示对照：嵌入实验对照无构造指令的 F2LLM、Qwen3-Embedding-8B，以及按基准分组。

   作者称，就其所知，PIAtlas 是第一个从单一构造轴导出、按机制互斥、覆盖直接与间接注入以及独立与智能体 LLM，并把多标签组合当作攻击属性的分类；最接近的方案至少缺其中一条。

   收起这一问

3. 03论文如何解决这个问题？

   PIAtlas由模型读文本的六个部分派生六类，一类一种机制，攻击可多标签组合。

   PIAtlas 不先罗列攻击再归组，而是问：请求固定时，攻击者还能改注入文本的哪些部分，从而改变模型在行动前的某一次决定。

   问题设定

   上下文为 C=⟨s, u, d⟩，含系统提示、用户消息和数据段。注入变换 T(C, x) 把 x 嵌入用户消息（直接）或某个数据段（间接）。请求决定目标 O，载荷是陈述该请求的词；此外 x 还有投递和构造。构造由六个部分定义：可读性、表面来源、指令本身、服从理由、情境、响应形式。请求与投递相同且六部分一致，则构造相同。放置只作元数据。

   对手目标是 sup_{x∈ V^k}Pr_{R∼LLM(T(C,x))}[JUDGE(R,O)=True] 即在长度 k 的序列上，最大化随机响应被判定为达成 O 的概率。成功注入集合由阈值 τ 定义。作者把六类写成攻击空间的启发式近似，覆盖是可证伪假设，不是封闭保证。

   六类

   六个决定是行为的简化描述，不是架构模型。每类只改一个部分。

   • F1 指令操纵：改指令本身，对应后训练的指令遵循和较弱的指令—数据分离。不伪装、不隐藏、不给理由、不换情境、不约束响应的指令只带 F1。
   • F2 结构伪造：改表面来源，利用对对话格式的信任，包括伪造角色标签、控制 token、把文本标成可信数据或给模型的通知、伪造轮次和工具结果。
   • F3 混淆：保留意义、改变可检查的形式。作者将其对应到检测和对抗训练多覆盖普通文本、模型仍能读改写文本这一差距。
   • F4 社会工程：用散文给出服从理由。技术借用人类说服策略。
   • F5 情景框架：改判断合规时的世界或角色，包括人格、模拟、虚构、假设、游戏，或声称模型自身模式已变。
   • F6 输出强制：约束响应形式，如规定开头、格式、长度，或禁止拒绝、澄清与推理。

   Table IV 为每类列出作者认为针对它的防御杠杆。这是分类上的对应，本文没有评测这些防御。硬边界按“词改变了哪一部分”：标签、token、格式或伪造工具输出中的权威是 F2，散文中的同一主张是 F4；给模型的人格是 F5，人类自称角色是 F4；禁止拒绝是 F6，用论证劝阻拒绝是 F4。只靠渲染对人类隐藏、模型仍收到普通文本的做法算投递，不是 F3。

   层级、签名与修订

   当前层级为 6 类、34 个技术、131 个子技术。技术须在文本中可见，只改该类部分，作用于模型而非人类读者或检测器，且不被同类其他技术覆盖。子技术是公开来源中的表面形式，用于说明而非穷尽。

   检验不猜测意图。相对裸命令这一默认值，偏离该类部分即通过。记录得到它通过的每一类；其他检验都不通过时仍得 F1。顺序是先解码隐藏文本（F3），再查 F2、F6、F5、F4，最后赋 F1。类标的是最短跨度。一次攻击常有多个跨度，所以多标签是数据属性，不是边界缺陷。只有混淆可与另一类共享同一跨度。

   增加一类须同时满足四条：机制未被覆盖、不能改写成现有类的技术、至少三个独立公开来源或披露事件中复发、且有不同的防御杠杆。若模型把两类读成同一次决定，或一类的全部技术可并入另一类而不改机制，则合并。多轮渐强、多示例启动、图像或音频中的文字、梯度优化出的字符串，作者分别放入现有类或轴外的投递与搜索方法。

   语料与标注

   作者调查 2022 年 1 月至 2026 年 5 月的公开数据集，保留可下载、MIT 许可、以某种形式标注攻击、且聚焦注入或可筛出注入的集合，得到 20 个。记录统一格式，去掉字节级精确重复，并在文本允许时分开模板与载荷。单位是单条攻击指令。基准贡献模板，竞赛贡献提交流；成功标签、投递和原标签只作元数据。越狱边界按数据集应用：没有可覆盖的 s 或 u，就不算注入。

   标注选择覆盖而非数量：LLMail-Inject 以外的全部策展模板，加 Phase-1 LLMail-Inject 模板的随机样本。Claude Opus 5.5 做闭集标注，返回出现的每个技术并引用原文。附录 D 给设置，附录 G 列技术、子技术与示例。Section VI 再问同样构造是否在句向量空间靠近，编码器是待搜索的设计，不是目标模型的潜空间。

   收起这一问

4. 04论文做了哪些实验？

   作者称策展攻击多只叠加少数类；LLMail-Inject样本更常使用基准较少出现的F2、F3、F4。

   实验设置

   • 标注范围：8,663 条。策展分区是 LLMail-Inject 以外全部 4,663 个模板，来自 13 个基准；自适应分区是 Phase-1 LLMail-Inject 模板的随机样本 4,000 条。Phase 2 排除。
   • 标注器：Claude Opus 5.5（medium effort），每条单独调用，闭集 34 个技术，并引用依据词。标签多标签。
   • 人工核对：第一作者在不知生产标签与来源时标注分层样本 300 条。没有第二名标注者。另有 64 条的两次运行，用于稳定性。
   • 嵌入：F2LLM-v2-14B，分无指令与固定构造指令两种；对照编码器为 Qwen3-Embedding-8B。对象是 4,663 条去载荷模板。质心法固定 k=33。指标为 NMI、ARI、AMI，另报轮廓系数。
   • 其他读法：13 起 2024–2026 公开事件映射到类；44 套既有方案共 1,488 个类别做交叉对照。PICorpus 不被当作排行榜。
   • 未报告项：论文未报告对防御的端到端拦截率，也未报告类引导红队的具体 ASR。

   主结果

   下表百分数来自 Table VI。一条模板可带多类。Cov. 计的是取整前达到 5% 或以上的类。F1 在表中各行均为 92 至 100，故未单列。

   表格较宽，可左右滑动

   来源（Table VI）	n	F2	F3	F4	Cov.
   ASB	2,000	40	0	0	2/6
   InjecAgent	105	20	0	0	2/6
   AgentDojo	36	94	8	89	4/6
   BrowseSafe	1,079	33	5	82	5/6
   PIArena	495	42	15	40	5/6
   CyberSecEval 2/3	154	13	18	27	6/6
   全部策展	4,663	35	5	29	6/6
   LLMail-Inject 样本	4,000	76	69	67	5/6

   • 未列入的来源：TaskTracker、SEP、AgentDyn、Greshake 等、Open-Prompt-Injection、PromptInject、Agent-SafetyBench。后两个与 Open-Prompt-Injection 的 Cov. 也是 2/6。Agent-SafetyBench 的 Cov. 为 6/6，作者称其中 20/24 个模板是越狱，四条注入模板只带 F1。
   • 作者的基准解读：作者称近期防御常评的智能体基准只锻炼两到四类；AgentDojo、AgentDyn、InjecAgent 与 ASB 都没有 F5 模板。六个来源完全没有输出强制模板。CyberSecEval 与 Greshake 等覆盖六类，但模板数分别为 154 和 20。
   • 频率与自适应：正文给策展分区更细的比例：F1 99.2%，F2 35.3%，F4 29.5%，F5 13.6%，F6 8.4%，F3 5.4%。作者称频率反映数据集选择生成什么，不等于危险程度。自适应比较合并了 Phase 1 的场景与防御级别；作者称能观察防御的攻击者更多伪造来源并隐藏载荷。

   组合有多深

   • 测了什么：策展分区的多标签组合，不把 LLMail-Inject 的近重复模板算进频率。
   • 结果：中位数跨 2 个类和 3 个技术；38.3% 为单类；77% 用一或两类；没有模板用到超过五类。F3 单独出现为 4/252，F6 为 3/391。常见对包括 F1+F2 1,633 条、F1+F4 1,360 条。
   • 作者的解读：作者称组合是常态，但叠层浅，与某类经验共现的类构成较小菜单，而不是开放组合空间。

   标注是否对得上人工

   • 测了什么：生产标签对第一作者的 300 条，以及 64 条上每条一次调用的两次运行。
   • 结果：类集合 micro-F1 为 0.97，技术集合为 0.92；两次运行分别为 0.99 和 0.97（Table III）。超过 99.5% 的引用在记录中逐字出现。只有 56% 的记录技术集合完全相同。预先指定的四对边界上，只有两条记录发生类互换（Table XIX）。
   • 作者的解读：作者称发现在类层面计算，残余标注不确定性是较小局限。按单个技术做条件分析应考虑技术集合噪声。

   构造能否从嵌入恢复

   • 测了什么：4,663 条去载荷模板。引导指令要求表示修辞策略，而不是主题或任务。参考划分为 631 个类+技术集合。Figure 1 是引导 F2LLM 经 PCA 再 UMAP 的二维图，簇来自二维坐标上的无标签 k-means。
   • 结果：引导后 k-means（k=33）的 NMI、ARI、AMI 为 0.609、0.387、0.514，轮廓系数 0.122；无指令 F2LLM 的 AMI 为 0.363，Qwen3-Embedding-8B 为 0.261（Table VII）。五种子平均 NMI 0.607±0.012、ARI 0.404±0.048。按基准分组的 AMI 为 0.40。
   • 作者的解读：作者称是引导而不是规模使构造更可恢复，这些分数不是准确率。作者称精确成对恢复细粒度多标签划分仍然中等。跨基准时，相同技术集合几乎不共簇，作者将其归因于各基准的措辞仍塑造几何。类间探索、类内利用被写成设计推论，不是已展示的加速。

   披露事件

   • 测了什么：13 起公开命名事件。只靠渲染对人类隐藏、模型仍收到普通文本的做法计为投递，不计 F3。
   • 结果：没有一起需要超过三类。F1 每起都有；F2 五起，计入文档化变体为六起；F4、F5、F6 各两起；F3 一起，计入变体为两起。
   • 作者的解读：作者称这不构成在基准中不覆盖 F3 至 F6 的理由。事件集小且偏向工具连接系统；许多事件里起作用的是投递，包括渲染，而不是构造。

   其他消融与分析

   • 人工校正后，自适应分区 F3 由 68.7% 到 63.2%，F4 由 66.6% 到 59.3%；Finding 4 的方向仍在，F2 高出策展分区 41.7 个百分点（95% 区间 38.9 到 45.1）（Table XVI）。
   • 去掉 ASB 后五种子 AMI：引导 0.37，无指令 0.33，Qwen3-Embedding-8B 0.30（Appendix C）。
   • 引导 F2LLM 的 HDBSCAN 为 2 簇、7% 噪声，NMI 0.116、AMI 0.093（Table VII）；作者称与分配全部模板的 k-means 不可比。
   • Table XIV：Figure 1 的十簇中，同基准且技术集合相同的对共簇 97.8%，技术集合不同为 39.3%；跨基准相同技术集合为 0.3%，随机对为 15%。
   • 两场竞赛达成目标的不同提交为 4,381/196,196（2.2%）；LLMail-Inject 为 2,027/148,514（1.4%）（Table XI）。作者将其与稀疏性假设并列。
   • Section IX 初步红队改写 AgentDojo 注入，目标包括 GPT-6 Sol、GPT-6 Luna 和 Qwen 3.8 27B。论文未报告具体 ASR，只称单次尝试 ASR 落在 GPT-Red 对其目标模型所报告的范围内，且至少成功一次的任务比例高。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者称六类是启发式近似，自适应结论来自一场竞赛，并计划用于红队与对抗训练。

   作者指出的局限与后续方向

   • 六类不是证明：它们基于作者当前对模型行动前六个决定的理解，不是证明没有其他部分起作用。若文本通过第七部分改变合规，就应增加一类。44 套方案的交叉对照是证据，不是证明没有第七类（Section IX，指向 IV-A、IV-E、VIII）。
   • 标注：生产标签对人工参考的类 micro-F1 较高，作者称残余不确定性是较小局限。人工参考只有一名标注者，不能测标注者间一致性；作者未比较模型家族；闭源标注模型不能靠重跑精确复现（Section IX）。
   • 频率的含义：类别频率反映公开数据集采样什么，不是真实世界流行度。自适应攻击者的发现基于一场竞赛，作者认为应在其他自适应来源上复现（Section IX）。
   • 构造不是全部：只按构造分类会抽掉各模型可利用性的差异；多数披露事件把普通构造和投递技巧配在一起，投递常涉及渲染（Section IX，指向 VII）。
   • 红队与对抗训练：作者计划用分类图驱动自动化红队，使训练数据覆盖每个颠覆机制，并把初步结果扩展到更多智能体和部署设置；再按类重测哪些机制仍然开放（Section IX）。
   • 表示与搜索：作者称完全对齐构造的表示仍是开放问题。类引导变异相对无引导变异的受控比较尚未做，该两级搜索被写成设计推论，不是已展示的加速（Section VI-C、IX、X）。

   实验覆盖范围

   • 语料：2022 年 1 月至 2026 年 5 月、可下载、MIT 许可且带某种攻击标签的 20 个数据集； ingested 868,374 条，精确重复去掉后为 444,498 条不同攻击指令（Section III，Table XI）。
   • 标签：PIAtlas 标签覆盖 8,663 条，即 13 个基准的 4,663 个模板，加 LLMail-Inject Phase-1 随机样本 4,000 条；Phase 2 排除（Section III-C，Appendix D）。
   • 核对：第一作者标注 300 条分层样本；两次运行稳定性在 64 条上测量。标注模型为 Claude Opus 5.5。论文写明不能由此得到标注者间一致性（Appendix D，Section IX）。
   • 嵌入：上述 4,663 条去载荷模板、三套编码设置、四种聚类器；Figure 1 来自引导 F2LLM，再经 PCA 与 UMAP（Section VI，Appendix C）。
   • 事件与分类对照：13 起 2024–2026 公开披露；44 套方案的 1,488 个类别。论文未报告类引导红队的具体 ASR（Section VII、VIII、IX）。

   收起这一问

6. 06总结一下论文的主要内容

   PIAtlas用六类构造整理提示注入；作者称基准覆盖与自适应攻击者所用机制并不相同。

   这是一份提示注入的知识系统化：攻击按注入指令的构造分类，而不是按投递、目标或如何搜到这条文本。

   作者要处理的是无界搜索。k=50、词表规模 10^5 时，可控序列的数量级为 10^250。作者认为有效注入遵循相对少数的构造策略，并猜想在与构造对齐的表示下，成功注入落在若干低维子流形上。分类被写成启发式近似和可证伪假设。

   PIAtlas 把模型处理上下文中一条指令写成六个决定，每个决定读文本的一个部分，得到六类：指令操纵（F1）、结构伪造（F2）、混淆（F3）、社会工程（F4）、情景框架（F5）、输出强制（F6）。其下有 34 个技术和 131 个子技术。类在机制上互斥，真实攻击却常多标签。威胁模型是 black-box：DPI 控制用户消息，IPI 控制无权威数据段，知道系统提示的类别而不知道原文。

   PICorpus 合并 20 个 MIT 许可的公开数据集，去重后有 444,498 条不同攻击指令。其中 8,663 条由 Claude Opus 5.5 闭集标注，并由第一作者抽查 300 条。

   作者报告的主要数字是：策展模板中位数跨 2 个类和 3 个技术，77% 只用一或两类；F1 占策展模板的 99.2%，F3 为 5.4%。作者称多个智能体基准只覆盖 2 到 4 类，且 AgentDojo 等没有 F5 模板。Table VI 中，4,000 条 LLMail-Inject 样本的 F2、F3、F4 为 76、69、67，策展汇总行为 35、5、29。引导后的 F2LLM 在 k=33 的 k-means 上 AMI 为 0.514，无指令为 0.363，Qwen3-Embedding-8B 为 0.261。13 起披露事件都不需要超过三类。

   作者的结论是：攻击空间无界，但并非没有结构。红队可以先覆盖六类，再在类内做表面变异，并按经验共现去组合。覆盖应看锻炼了哪些类，而不是看了多少条提示。作者计划用该地图产生覆盖各类的对抗训练数据，并继续修订分类、学习更对齐构造的表示。

   收起这一问

相关论文