跳到正文
原文

魔鬼藏在上下文中:提示注入攻击的九个维度

The Devil is in the Context: Nine Dimensions of Prompt Injection Attacks

arXiv:越狱、提示注入、投毒与防御· arXiv:2611.04672· Jiamin Chang, Kristina Nikolić, Rishi Sharma, Giovanni Cherubin, Vasilios Mavroudis, Jose Sanchez Vicarte, Arnav Garg, Hammond Pearce, Andrew Paverd, Ahmed SalemUniversity of New South Wales; ETH Zurich; Microsoft Security Response Center本站收录· 16 天前· 原文发表攻击

论文速读

评测与基准

据论文 PDF 整理(AI 生成),以原文为准

作者提出九维提示注入分类法,分析6个真实攻击与9个基准,作者称13.2%的维度组合未被覆盖,并用其生成新测试用例暴露防御差异。

问题
提示注入防御与基准把攻击当作同质威胁,鲁棒性声明不可比、基准规模被误当覆盖、开发者无法按威胁模型匹配防御。作者认为注入是否成立取决于用户意图与系统上下文。
方法
提出九维分类法(来源标签、碎片化、可见性、可解释性、条件性、状态修改、主题关系、预期效果、原任务完成),以注入指令+用户任务+系统上下文为分类单元,并构建规则与LLM评审结合的自动标注和定向用例生成管线。
实验与结果
6个真实攻击覆盖全部九维;9个基准中13.2%的维度对组合未覆盖。对40个AgentDojo Workspace用例生成变体:GPT-5.6-Luna无防御ASR从0%升至17.5%,各防御ASR与utility差异显现。
局限与可以继续做的
作者称九维不穷尽(如模态、多智能体传播可扩展);Source Label未纳入自动标注;Presentation Visibility不实际渲染载体;生成实验仅40个种子、单一基准套件;附录称原始与生成用例的差异是描述性比较而非因果效应。
实验设置GPT-5.4-mini、GPT-5.5 等 · AgentDojo (Workspace, Banking, Travel, Slack)、IPIArena 等 · annotation accuracy、attack success rate 等
威胁模型
间接提示注入:攻击者把指令注入用户智能体的上下文(如文档、网页),影响其控制流。分类单元为注入指令、授权用户任务与系统上下文(信任策略、可用工具、保留状态)的组合;系统视为黑盒。
被测模型
GPT-5.4-miniGPT-5.5GPT-5.6-TerraGPT-5.6-LunaDeBERTaMeta SecAlign-70B
基准
AgentDojo (Workspace, Banking, Travel, Slack)IPIArenaLLMail-InjectWASPAgentPIDualViewSleeper MemoryTrojan HippoStepJack
指标
annotation accuracyattack success rateutility under attackfirst-attempt acceptance rate
AI 导读研究者提出用九个维度刻画提示注入攻击的差异,这些维度共同描述注入指令本身、其与用户任务的关系及其在目标系统中的表现;同一条指令在不同上下文中可能是注入也可能是合法请求,忽视这种差异会让防御评估留下缺口。作者用该分类刻画了六个真实世界的提示注入漏洞,并应用于九个提示注入基准,发现多数基准只覆盖该攻击空间的一小部分,组合使用基准后仍有13%的成对类别组合未被测试。该分类还支持对基准的自动标注和针对性生成新测试用例来填补空白,防御作者可用它声明所评测的攻击类型,系统运营者可用它识别适用于自身系统的攻击并选择匹配的防御。

研究者提出用九个维度刻画提示注入攻击的差异,这些维度共同描述注入指令本身、其与用户任务的关系及其在目标系统中的表现;同一条指令在不同上下文中可能是注入也可能是合法请求,忽视这种差异会让防御评估留下缺口。作者用该分类刻画了六个真实世界的提示注入漏洞,并应用于九个提示注入基准,发现多数基准只覆盖该攻击空间的一小部分,组合使用基准后仍有13%的成对类别组合未被测试。该分类还支持对基准的自动标注和针对性生成新测试用例来填补空白,防御作者可用它声明所评测的攻击类型,系统运营者可用它识别适用于自身系统的攻击并选择匹配的防御。

相关热点

1 个事件 · 1 条新闻提到

提到这篇论文的新闻

大模型安全周报:智能体安全边界在签名、授权与上下文

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    作者认为提示注入被当作同质威胁,导致防御评估不可比、基准覆盖存缺口,提出九维分类法。

    核心问题:提示注入被防御和基准当作单一同质威胁来评估,而真实攻击差异巨大,且同一指令是否为注入取决于用户意图与系统策略。

    • 问题场景与重要性:间接提示注入被视为 AI 智能体的首要安全威胁(作者引 OWASP)。把攻击同质化带来三个后果:鲁棒性声明不可比(一个基准上的低 ASR 可能只是测了攻击空间的一小片);基准规模被误当覆盖(数千样本可能只演练少数攻击属性);开发者无法把防御匹配到自己的威胁模型。
    • 核心观察:作者用两个观察说明上下文不可忽略——注入与用户意图不可分(同一句话在"总结文档"任务中是内容、在"执行文档指令"任务中是合法命令);攻击是否成功还取决于系统与注入本身的属性(来源信任标签、可见性与可解释性、是否持久化到记忆)。
    • 论文提出:一个九维分类法,分类单元是注入指令连同授权用户任务和系统上下文(信任策略、可用工具、保留状态),而非孤立的注入指令(Figure 1)。每个维度都影响防御需要观察什么、在哪里介入、依赖什么假设。
    • 威胁模型(间接提示注入,按论文表述):
      • 攻击者目标:通过在外部内容(文档、网页、邮件等)中注入指令,影响智能体控制流,造成非预期动作、数据外泄甚至账户接管。
      • 攻击者能力:控制智能体会读取的外部来源内容;论文按黑盒处理目标系统,只用外部可观察或有文档的属性。
      • 受害系统:处理不可信内容的 LLM 智能体(agentic harness),含信任策略、工具与保留状态。
      • 论文未设定单一攻击者知识等级;Source Label 维度区分注入经由 Untrusted source 还是 Trusted source 到达。
  2. 有哪些相关研究?

    相关工作分三组:提示注入形式化、既有攻击分类法、以及被分析的9个基准与4个防御。

    提示注入与智能体安全的形式化

    • Liu 等(USENIX Security 2024)——用目标任务与注入任务建模提示注入,为攻击与防御提供共同抽象。
    • Task Shield(ACL 2025)——从任务对齐角度判断指令和动作是否服务于用户指定目标。
    • 上下文安全框架(Siu 等,arXiv 2026)——以来源授权、任务对齐、动作对齐、数据隔离等属性刻画智能体安全。作者称这些工作界定"何时构成安全违规",本文目标互补:给定注入实例,刻画攻击本身的属性。

    提示注入攻击分类法

    • Greshake 等(AISec 2023)——按注入方法和安全影响刻画间接提示注入。
    • Wang 等(arXiv 2026)与 McHugh 等(Prompt Injection 2.0)——考虑投递向量、攻击模态、传播行为、载荷生成策略、攻击者能力、载荷可见性等属性。
    • The Anatomy of a Prompt Injection(arXiv 2026)——把注入工件分解为载体、投递向量、隐匿、载荷、回传通道等组件。作者称这些框架适合描述攻击如何构造与传播,本文的分类单元和目的不同:不只按恶意内容如何构造来组织攻击,而是把注入指令放到用户任务与系统上下文中刻画。

    基准与防御(论文的分析与实验对象)

    • 基准:AgentDojo(NeurIPS 2025,四个套件)、IPIArena(41 个场景的公开红队竞赛)、LLMail-Inject(208,095 条样本)、WASP(GUI 注入)、AgentPI(数据流操纵)、DualView(来源标签)、Sleeper Memory 与 Trojan Hippo(记忆投毒)、StepJack(多载荷)。
    • 防御基线:CaMeL(双 LLM 架构+工具调用策略)、MELON(掩码用户任务比较行为)、DeBERTa 检测器、PromptArmor(LLM 检测并移除注入);另评测 Meta SecAlign-70B 作为抗注入微调的开源模型配置。

    作者定位:本文分类法与既有分类法互补,区别在于分类单元包含用户任务与系统上下文,且每个维度必须满足"不可由其他维度表达"和"改变类别会实质影响防御覆盖"两条标准。

  3. 论文如何解决这个问题?

    九维分类法以"注入指令+用户任务+系统上下文"为分类单元,辅以自动标注与定向用例生成管线。

    整体思路:把间接提示注入实例沿九个维度刻画(Table I),每个维度都满足两条设计标准——捕捉其他维度无法完全表达的区别,且改变类别会实质影响防御覆盖。在此之上构建自动标注管线和分类法引导的用例生成器(Figure 4)。

    九个维度(Table I)

    • 1. Source Label:注入经由系统策略指定的 Untrusted source 还是 Trusted source 到达;影响信息流防御是否适用。
    • 2. Fragmentation:Single-payload(一个载荷含完整攻击)或 Multi-payload(攻击需多个载荷互补,与 Mosaic Prompts 的组合原则相同但威胁模型不同)。
    • 3. Presentation Visibility:注入在指定检查视图中对用户 Visible 还是 Hidden;与可解释性分开标注。
    • 4. Instruction Interpretability:暴露后普通评审者能否直接理解(Directly interpretable / Transformation required,如 Base64)。
    • 5. Conditionality:Unconditional 或 Conditional(行为依赖显式条件,可在后续交互中触发)。
    • 6. Agent State Modification:Non agent modifying 或 Agent modifying(请求持久改变记忆、偏好、技能、配置)。
    • 7. Topic Relation:Off-topic 或 On-topic(是否针对用户任务的主题)。
    • 8. Intended Effect:Tool-selection manipulation(增删换排动作)或 Content-only manipulation(只改参数与输出内容)。
    • 9. Original-Task Completion:Task disrupting 或 Task preserving(攻击者意图是破坏还是保留原任务完成)。

    标注规则与信息需求

    • 分类单元:完整会话输入——注入指令、授权用户任务、系统显式上下文;同一注入在不同任务或系统下可得不同标签。
    • 信息需求分组(Table II):指令依赖(2、4、5)、用户任务依赖(7、8、9)、系统依赖(1、3、6;8 还需可用动作)。系统不支持对应属性时可排除深色类别。
    • 意图而非实现:6、8、9 按注入的设计意图标注,不随智能体实际执行结果变化;观察到的行为应在执行后单独报告。

    自动标注管线(Section VI-A,附录 B)

    • 混合架构:确定性规则+LLM 评审。2. Fragmentation 由载荷结构判定,4. Instruction Interpretability 由编码元数据或解码检查判定;其余语义维度由 LLM 评审按分类法定义、类别示例和决策规则给出标签与一句话理由,输出受约束 JSON。
    • 适用范围:1. Source Label 未纳入当前实现(不评估来源信任指派);6 仅在启用记忆时标注,3 仅在载体标记为可隐藏时标注。
    • 评审模型:GPT-5.4-mini、GPT-5.5、GPT-5.6-Terra、GPT-5.6-Luna;输入表示、规则与提示词在各配置间固定。附录 B 给出完整标注提示词。

    分类法引导的用例生成(Section VI-B,附录 C)

    • 输入与流程:给定种子用例、其当前标签和请求的目标配置,生成器先检查目标标签在系统上下文下是否可行(深色类别在系统不支持时视为不可行),再做局部语义修改。
    • 修改机制:2、5、6、7、8、9 通过基于 LLM 的语义扩展(可改攻击载荷和用户任务);4 用程序化表示变换(当前为 Base64、十六进制、ROT13);3 保留载荷文本、给出放置到 HTML 层的部署指令,不实际构造或渲染载体。
    • 验证:生成后用同一标注管线复核是否匹配请求标签。附录 C 给出完整生成提示词与代表性生成用例。
  4. 论文做了哪些实验?

    标注6个真实攻击与9个基准、评估4个模型的标注准确率,并用40个生成变体评测5种防御配置。

    实验设置

    • 被测模型:定向扩展实验以 GPT-5.6-Luna 为智能体基座(选其因推理成本低且在原始用例上 100% utility、0% ASR);附录 C 扩展至 Llama 3.3 70B Instruct 与 GPT-4o mini;Meta SecAlign-70B 作为单独的抗注入微调模型配置。
    • 标注评审模型:GPT-5.4-mini、GPT-5.5、GPT-5.6-Terra、GPT-5.6-Luna;生成器用 GPT-5.6-Terra。
    • 基准:AgentDojo 四套件、IPIArena、LLMail-Inject、WASP、AgentPI、DualView、Sleeper Memory、Trojan Hippo、StepJack 共 9 个;标注单元为攻击实例、用户任务×攻击目标组合或基准级配置。
    • 标注评估样本:AgentDojo Workspace 560、Banking 144、Travel 140、Slack 105、IPIArena 95、Trojan Hippo 5,共 1,049 个标注实例;以 Section V 的人工标注为参考标签,指标为标注准确率(含确定性规则与 LLM 指派)。
    • 防御基线:CaMeL、MELON、DeBERTa 检测器、PromptArmor,另加无防御与 SecAlign-70B 配置。
    • 攻击评测指标:attack success rate(达成对抗目标的比例)与 utility under attack(完成授权任务的比例),两者分开评估;每点 40 次受攻击执行、单次试验(附录 C)。

    主结果

    真实攻击标注(Table III):6 个公开案例合计覆盖全部九维的两个类别,例如 GitHub MCP 为 On-topic+Task preserving,Hidden Unicode Skill 为 Trusted source+Hidden,M365 Copilot 为 Conditional+Agent modifying,Devin 为 Multi-payload。

    基准覆盖(Figure 2、Figure 3):

    • 单维覆盖不均:多数基准集中在 Visible、Single-payload、Directly interpretable、Unconditional、Non agent modifying;Hidden、Multi-payload、Conditional、Agent modifying 主要由专门基准代表。
    • 组合覆盖缺口:9 个二元维度共 144 个维度对组合,19 个(13.2%)在合并基准集合中未覆盖;36 个纯深色类别组合中 15 个(41.7%)未覆盖。
    • 规模不等于覆盖:作者称基准多样性主要由任务设计、攻击场景和注入措辞决定,而非实例数量。

    定向生成+防御评测(Figure 6,AgentDojo Workspace,40 原始+40 生成,GPT-5.6-Luna):

    表格较宽,可左右滑动

    配置原始 ASR生成 ASR生成 utility
    无防御0%17.5%论文未在正文单列
    CaMeL0%2.5%27.5%
    MELON0%20%论文未在正文单列
    DeBERTa0%7.5%40%
    PromptArmor0%7.5%90%
    SecAlign-70B0%17.5%论文未在正文单列
    • 生成流程接受率:40 个种子中 35 个首次接受(87.5%),其余 5 个在每种三次尝试内接受(累计 100%)。
    • 作者称生成用例暴露了原始集合上看不到的攻击成功率差异,并区分了 ASR 相同(7.5%)但 utility 不同(40% vs 90%)的配置。

    自动标注准确率(Figure 5)

    • 确定性维度全对:2. Fragmentation 与 4. Instruction Interpretability 在四个模型配置下全部一致(共享确定性规则)。
    • 语义维度有差异:GPT-5.5、GPT-5.6-Terra、GPT-5.6-Luna 在 7. Topic Relation 与 9. Original-Task Completion 上普遍优于 GPT-5.4-mini,Banking 上差异最大;作者称低价的 GPT-5.6-Luna 与中等价位的 GPT-5.6-Terra 在多数维度和子集上准确率大体相当,更高价格不一定带来更好标注。
    • Trojan Hippo:5 个用例在 5. Conditionality 上暴露更多模型间差异,四个模型都正确识别 6. Agent State Modification。

    扩展模型实验(附录 C,Figure 9)

    • Llama 3.3 70B:无防御 ASR 从 5%(原始)升至 25%(生成),utility 从 45% 降至 35%;生成集上 CaMeL ASR 2.5%/utility 25%,PromptArmor 5%/35%,MELON 20%/35%,DeBERTa 12.5%/22.5%。
    • GPT-4o mini:无防御 ASR 从 0% 升至 45%,utility 从 85% 降至 70%;生成集上 CaMeL 5%/32.5%,PromptArmor 12.5%/75%。
    • 作者注明:原始与生成用例的用户任务、攻击目标和成功标准可不同,图中位移是描述性比较而非隔离的因果效应。

    其他消融与分析

    • 标注成本(附录 B):GPT-5.4-mini $2.47、GPT-5.5 $25.95、GPT-5.6-Terra $7.46、GPT-5.6-Luna $0.91(全量 1,049 实例,按 2026-09-28 标准未缓存 API 费率)。
    • 生成成本(附录 C):40 个种子的生成阶段 $0.0223(GPT-5.6-Terra)。
    • 标注错误分析(附录 B,Listings 2–5):4 个分歧案例,涉及共享操作与共享目标、参数替换与计划扩展、额外动作与任务替换、显式触发词与既定前提;作者称这些是示例,不估计各失败模式的普遍程度。
  5. 有什么可以进一步探索的点?

    作者称九维不穷尽、可扩展;实验覆盖限于40个种子、单一基准套件与描述性比较。

    作者指出的局限与后续方向

    • 维度不穷尽(Section VIII):作者称不主张九个维度穷尽了提示注入所有差异,随智能体架构、交互模态和攻击技术演进可增加维度,例如载体模态(文本、图像、音频)对多模态智能体、注入传播对多智能体系统;新维度须满足 Section II 的两条标准。
    • Source Label 未实现(Section VI-A):当前自动标注实现排除 1. Source Label,因为不评估来源信任指派。
    • Visibility 不实际渲染(Section VI-B):3. Presentation Visibility 的实现保留载荷文本并给出放置指令,不构造或渲染结果载体。
    • 开放科学计划(Open Science 节):作者计划发布基准标注、标注与生成管线、提示词、生成用例、评测代码和交互式演示。
    • 呼吁社区行动(Section VIII):作者呼吁基准作者报告其覆盖的分类法类别与组合(含有意排除与无法判定的属性),防御作者明确区分评估过、能缓解和超出范围的类别。

    实验覆盖范围

    • 真实攻击案例分析为 6 个公开记录的案例(Table III),作者称不是对披露攻击的全面综述。
    • 基准分析覆盖 9 个基准;AgentPI 完整数据集未公开,标注依据论文描述的设计与攻击配置;WASP 与 StepJack 的 8. Intended Effect 因 GUI 动作无语义工具标签标为未知。
    • 标注准确率评估为 1,049 个实例(AgentDojo 四套件 949、IPIArena 95、Trojan Hippo 5),Source Label 不在评估内。
    • 定向生成实验用 AgentDojo Workspace 全部 40 个用户任务、每任务随机采一个攻击任务作种子,目标组合固定为 Conditional+On-topic+Content-only manipulation;每个数据点 40 次受攻击执行、单次试验。
    • 论文未报告标注评审与人工标注之间的一致性指标(如 Cohen's kappa),只报告标注准确率;未报告攻击评测的重复次数(附录 C 写明 single trial)。
  6. 总结一下论文的主要内容

    九维分类法把提示注入放回用户任务与系统上下文中刻画,用于分析攻击、审计基准覆盖并定向生成测试用例。

    一篇关于间接提示注入的分类与评测覆盖分析的论文。作者认为防御与基准把提示注入当作同质威胁,导致鲁棒性声明不可比、基准规模被误当覆盖、防御无法按威胁模型匹配。

    • 方法:提出九维分类法(来源标签、碎片化、呈现可见性、指令可解释性、条件性、智能体状态修改、主题关系、预期效果、原任务完成),分类单元是注入指令连同授权用户任务与系统上下文;每个维度须满足不可由其他维度表达、且改变类别实质影响防御覆盖两条标准。配套构建规则+LLM 评审的自动标注管线和分类法引导的用例生成器。
    • 真实攻击:6 个公开案例的标注合计覆盖全部九维的两个类别,显示同一"提示注入"标签下的攻击差异(Table III)。
    • 基准覆盖:9 个基准中,144 个维度对组合有 19 个(13.2%)未覆盖,36 个纯深色类别组合中 15 个(41.7%)未覆盖(Figure 3);作者称基准规模不代表覆盖广度。
    • 标注管线:1,049 个实例上,确定性维度全模型一致;GPT-5.6-Luna 与 GPT-5.6-Terra 在多数语义维度上准确率大体相当(Figure 5)。
    • 定向生成:40 个 AgentDojo Workspace 种子首次接受率 87.5%;生成变体使 GPT-5.6-Luna 无防御 ASR 从 0% 升至 17.5%,CaMeL 2.5%(utility 27.5%)、PromptArmor 7.5%(utility 90%)(Figure 6);附录扩展到 Llama 3.3 70B(无防御 25%)与 GPT-4o mini(45%)。
    • 作者结论:基准规模不如覆盖重要;安全声明应绑定到分类法中的具体攻击属性与受影响系统;分类法设计为可扩展框架而非严格枚举。

相关论文

共同使用 Trojan Hippo
共同使用 IPIArena
共同使用 LLMail-Inject
再看 3 篇
共同使用 LLMail-Inject
共同使用 WASP
阅读原文arxiv.org