Skip to content

Translation in progress Some entries still include text in the original language.

论文追踪· arXiv:2608.07808· Jeremy McHugh·Indexed by this site · Originally published

论文提出提示注入的七组件结构化分析模型

The Anatomy of a Prompt Injection: A Component Model for Structured Analysis

Quick read

Other

Based on 论文 PDF (AI 生成); refer to the original

McHugh用七组件按意图标注提示注入,使零词面重叠的样本仍可按技术形态聚类。

Questions
提示注入仍多按原文字符串归档,零词面重叠时难以比较技术形态。智能体场景把注入引向数据库和安全分析等sink,防御、红队和CTI需要稳定字段。
Methods
五个工件字段(载体、隐蔽、上下文打断、权限升级、载荷)加投递向量和回传通道。标签跟工具、sink或效果,不跟措辞;持久化单独记。逻辑记录建议映射到STIX,而不是新的交换协议。
Limitations and future work
作者称该模型是描述性的,成功依赖具体模型与harness,AI载荷执行非确定,多意图边界会有标注分歧。后续包括STIX扩展、自动标注和跨模型族ASR映射。本文未测量ASR,也未报告标注者间一致性。
AI summaryJeremy McHugh 在 arXiv 发表论文,提出用七组件模型结构化描述提示注入,取代逐字记录攻击字符串的做法。模型包含载体、投递向量、隐藏方式、上下文破坏、权限提升、载荷和回传通道七个组件,其中五个属于攻击产物字段、两个属于环境字段。作者认为大语言模型会把不同自然语言表述编译为相同可执行动作,因此标注应追踪攻击者意图(工具目标、sink 与效果)而非表面措辞。该框架整合了 HOUYI 的载荷分解、Promptware Kill Chain 与攻击活动分类法,并把 ReNeLLM 等最小越狱框架视为受限子空间上的投影。论文给出标注规则、可直接映射到行业 CTI schema 的逻辑分析记录,以及 EchoLeak(CVE-2025-32711)和野外恶意软件 AI 规避样本等示例。

Jeremy McHugh 在 arXiv 发表论文,提出用七组件模型结构化描述提示注入,取代逐字记录攻击字符串的做法。模型包含载体、投递向量、隐藏方式、上下文破坏、权限提升、载荷和回传通道七个组件,其中五个属于攻击产物字段、两个属于环境字段。作者认为大语言模型会把不同自然语言表述编译为相同可执行动作,因此标注应追踪攻击者意图(工具目标、sink 与效果)而非表面措辞。该框架整合了 HOUYI 的载荷分解、Promptware Kill Chain 与攻击活动分类法,并把 ReNeLLM 等最小越狱框架视为受限子空间上的投影。论文给出标注规则、可直接映射到行业 CTI schema 的逻辑分析记录,以及 EchoLeak(CVE-2025-32711)和野外恶意软件 AI 规避样本等示例。

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    提示注入仍按原文字符串记录,缺少可比较的组件结构。

    提示注入仍按原文字符串记录,分析者无法稳定标注、比较和单字段变异。

    • 出现场景:作者称该攻击在2022年被识别后已过四年,智能体更强,且野外一份恶意软件样本试图对AI辅助安全分析做注入。防御方需要事件记录和检测数据集的稳定字段,红队需要可逐项替换的组件,CTI需要在零词面重叠下按技术形态聚类,包括针对SOC分诊的设想变体。
    • 现有不足:作者称战役分类把提示词当黑箱;技术分类、最小化载荷的框架和生命周期模型各覆盖一部分,没有像其他漏洞那样描述工件本身。
    • 核心观察:标签应索引意图(哪个工具、sink或效果),而不是表面措辞,因为LLM可将多种自然语言实现编译成同一产品正确动作。战役还会按序串联目标。作者认为SQL注入类比只适于描述工件;NCSC将其视为对inherently confusable deputy的利用,残余风险可能无法像经典注入那样消除。
    • 本文给出什么:七组件模型,五个工件字段加两个环境字段,并给出标注规则、可映射到行业CTI schema的逻辑记录,以及EchoLeak(CVE-2025-32711)和野外样本等示例。作者称目标是分类与识别,不是指导护栏构建。
  2. What related research exists?

    既有分类、框架和杀链各覆盖一片,没有单一的工件解剖。

    战役与技术分类

    • Prompt Injection 2.0(McHugh等,2025)沿投递向量、攻击模态和传播行为三维分类;Rossi等给出17个已验证变体。作者称这些工作分类的是战役种类,把提示词当黑箱。
    • Shen等(CCS 2024)分析1,405条野外越狱,把prompt injection与privilege escalation视为可组合策略。Giarrusso等用三级分类、七个机制族;作者转述其发现:Prefix Injection与Objective Juxtaposition是观察到的最有效多技术配对,分类引导提示使GPT-5越狱检测从65.9%升至78.0%。作者称该提升支持“结构化标签有助于分析”,但不验证本文七字段。

    通用攻击框架

    • HOUYI(Liu等)把对真实应用的成功注入分成Framework、Separator、Disruptor,并显式类比SQLi载荷解剖。
    • ReNeLLM(Ding等,NAACL 2024)称越狱只需提示改写和场景嵌套。作者转述其消融:两组件单独都不足以覆盖全部被测LLM;仅场景嵌套在GPT-3.5和Claude-1上较强,在Llama-2-chat上不然。本文未给出该消融的百分比。

    生命周期与标准

    • Promptware Kill Chain(Brodt等)把攻击映到七个操作阶段,并称覆盖从2023年的2–3阶段,增至其调查至2026年初的36项研究与事件中相当一部分达到四阶段及以上。
    • NIST AI 100-2e2025提供生命周期阶段、攻击者目标、能力与知识的标准层框架。OWASP 2025 Top 10将提示注入列为LLM01,并把越狱描述为旨在无视安全协议的提示注入。

    社会工程标注先例

    • NIST Phish Scale用可观察线索和前提对齐给钓鱼邮件评级。作者称线索大致对应隐蔽以及载体、上下文打断的一部分,前提对齐对应载体质量与投递或检索成功;本文不引入其评分表。

    作者称这些切片回答不同问题,并集覆盖了空间的大部分,但没有单一框架单独覆盖智能体与混合攻击所需的功能角色。本文把解剖当作攻防和威胁情报的共享语言,而不是句法补丁的承诺。

  3. How does the paper address this problem?

    七组件分工件与环境,按意图而非字面串标注。

    整体是一个七组件模型:工件为carrier、concealment、context-break、privilege escalation、payload;环境为delivery vector与return channel。回传对即发即弃目标可为null。投递是跨信任边界的入口关系,不等于内容是否写在聊天里。持久化单独记录,以对齐Prompt Injection 2.0的投递轴。

    工件五字段

    • Carrier:恶意软件意义上的投放器或宿主文档,用良性外观运送指令。四项工作是通过人工审阅、通过机器检索、设定模型预期、消耗审阅预算。场景嵌套只是载体技术之一。与隐蔽的区别:载体是语义伪装,隐蔽是感知伪装。
    • Concealment:分别针对人、过滤器和模型的安全注意。论文列举渲染隐藏、编码与同形替换、语义改写、跨片段或轮次拆分,以及面向模型的对抗后缀。ReNeLLM的六种改写函数被作者当作该层的标准工具集。
    • Context-break:结束受信任指令上下文,使后续文本被当成新的权威指令。变体包括转义、忽略上下文类指令、伪造完成、伪造分隔符、伪造系统标签、序列结束边界伪造,以及不靠特殊token的语义闭合;换语言也可兼作划界。
    • Privilege escalation:与打断分开。打断改变指令从哪里开始;升级改变模型或智能体愿意或能够做什么。alignment bypass对付拒答训练和系统提示约束;capability abuse驱使已有权限,不必绕过拒答,作者将其对应NCSC的confused deputy。记录可为null、alignment_bypass、capability_abuse或both。作者称EchoLeak主要是能力滥用,DAN类有害补全主要是对齐绕过。
    • Payload:功能类为recon、exfiltration、action、persistence/propagation、denial of service、security_subversion。意图、实现和编译效果分层;标签跟意图。intents[]按依赖顺序存放多个目标。工具调用不是顶层组件,Action类另记tool_target、tool_surface、sink、arg_abuse、effect。作者用一个授权交战中的多智能体账户流程说明:普通移交作载体,能力滥用措辞把异常调用说成在范围内,经典SQL滥用放进工具参数,回传为即时内联披露;只看聊天或只看SQL会各漏一半。

    环境两字段

    • Delivery vector:沿用Prompt Injection 2.0,只取direct或indirect。direct中攻击者就是用户;indirect把工件放进系统自行取用的内容。作者称间接投递不随攻击者逐次努力扩展,一份被污染资源影响所有摄入者。持久化不是第三投递值,取none、memory、config、corpus、fine_tune等。channel标明入口,包括chat、email、web、RAG、tool output、MCP、multimodal和智能体间消息。作者称工具与智能体通道是监测最少的入口之一。EchoLeak的RAG spraying在一封长邮件里用多种主题标题重复指令,以提高被检索概率。
    • Return channel:论文列举inline、HTTP、DNS、email、协作平台、用户中介和null。EchoLeak用引用式Markdown规避链接涂改,并把图像指向CSP白名单内的Teams URL预览端点,由厂商服务器代理请求。论文还举ZombAI、IdentityMesh的GitHub通道和Slack AI的用户点击。null覆盖无需外传的目标,包括安全颠覆。

    标注规则与分析记录

    • 逻辑记录:一个事件是带可选标记的组件元组。文中JSON是示意schema,不是线路格式。作者建议映射到STIX 2.1,交换用TAXII,而不是另造协议;混合sink可再挂MITRE ATT&CK,AI战术可挂ATLAS,已知产品缺陷可挂CVE/CWE。评测上建议记录期望ASR区间,而不是二元成功位。多轮攻击是共享会话状态的元组序列。
    • 决策规则:组件可多标签。去掉恶意指令后仍像正常工作产品,则偏载体;被变换或隐藏,则偏隐蔽;职责是结束先前任务或伪造指令边界,则标context-break;改变拒答标alignment bypass,驱使已授权工具标capability abuse。同一意图在零字符串重叠下仍是同一标签。入口用向量加通道;跨会话留存用持久化,不作为第三投递值。负例:只有直接聊天、无隐蔽、内联有害补全的DAN人设,是小投影,不应硬套成七节点图。
    • 可选性:Table 1按攻击类列出通常必需与常可选字段。直接越狱通常要payload和alignment bypass;间接智能体通常要投递、载体、载荷和回传;混合工具利用通常要投递、载体和带工具字段的载荷;AI分析或SOC颠覆通常要间接样本或工单摄入,以及security_subversion载荷,回传常为null。作者称ReNeLLM和HOUYI是直接越狱行的投影;AgentFlayer类工单攻击需要ReNeLLM编码不了的投递、隐蔽、载荷和通道。组件4和5可独立缺省。

    示意与杀链对照

    Figure 1是教学用复合流程图,作者称并非某一公开事件包含图中全部片段。图注写明主栈是提示内工件(1、3–6)加回传(7),投递(2)在提示正文外。Table 2把组件角色多对多映到Promptware Kill Chain阶段,阶段可跳过、不必按序。作者建议用对照表和投影表,而不是强制的顺序图。

  4. What experiments did the paper conduct?

    无自有实验;四则公开案例被投影到同一组件字段。

    实验设置

    • 被测模型:论文未做模型实验,未给出被测模型清单。引述中出现GPT-5(Giarrusso等的检测),以及GPT-3.5、Claude-1、Llama-2-chat(ReNeLLM消融)。EchoLeak案例涉及Microsoft 365 Copilot。
    • 材料:无自建基准,无实验基线。Table 3投影四则公开案例:EchoLeak(CVE-2025-32711)、ReNeLLM、SpAIware、Check Point样本。1,405条越狱和36项研究与事件来自被引工作,不是本文数据集。
    • 指标与评审:未测量ASR,无LLM评审、人工一致性或重复次数。第3.8节只建议记录期望ASR区间。Check Point的失败结论来自该报告对其所测LLM的测试,本文未写明那些模型名称。
    • 图的地位:Figure 1和第3.6节的账户流程是示意,不是一次测量。

    主结果

    Swipe horizontally to read the table

    案例投递与持久化载体/隐蔽/打断权限升级载荷与回传
    EchoLeakindirect;email+RAG;邮箱持久化恶意邮件;structural separatorscapability abuse秘密提取;引用式Markdown,经Teams代理
    ReNeLLMdirect;chat;无持久化场景嵌套;改写alignment bypass不定有害补全;inline
    SpAIwareindirect;web或文档;memory网站或不可信文档;variescapability abuse记忆写入加持续外传;攻击者控制的HTTP图像端点
    Check Point样本indirect;样本摄入;无持久化二进制;运行时构造的C++字符串较弱的alignment-bypass尝试security_subversion(mark_benign);null

    据Table 3。投递格用Prompt Injection 2.0的向量加通道,持久化分开。载体、隐蔽和打断在表中合为一列,论文未再拆开。

    • 作者称Check Point样本未影响所测LLM,CTI价值在元组形态而非这一成功位。告警抑制、跳过升级和改写结论是作者提出的类别扩展,不是该样本已观察到的效果。
    • 作者称聚类看意图:措辞不同,但投递向量、上下文打断、权限升级类型、有序意图和回传通道匹配,即为同一TTP形态,包括多意图链。
    • 作者称投递通道和回传URL模式用于IOC式狩猎;打断类型、权限升级类型、意图类、工具目标、sink和效果用于TTP跟踪。覆盖缺口和未见元组是更精细变体的狩猎假设。

    引述中的组合性

    • 测了什么:第5节没有新实验,而是并列三路已发表结果,作为组件可重组的依据。
    • 结果:作者称HOUYI中堆叠分隔符优于单一分隔符,本文未给数字。Giarrusso等报告技术经常组合,并给出上述GPT-5检测率。杀链覆盖从2023年的2–3阶段,到其36项材料中相当一部分为四阶段及以上。
    • 作者的解读:攻击者靠重组组件取胜;组件索引能表达字符串集合结构上表达不了的未见元组。作者称Giarrusso等的65.9%到78.0%只是结构化标签改善识别的早期证据,不验证本文七字段。残余提示注入风险被当作分析的起点假设。

    CTI种子与失败样本

    • 测了什么:第4.1节把Check Point Research的野外原型收成一条TTP种子,不是复测。
    • 结果:样本于2025年6月初匿名上传VirusTotal;嵌入字符串暗示项目名Skynet。作者将其标为:二进制作载体,间接经样本摄入,持久化为none,意图是security_subversion、效果mark_benign,回传null。观察到的目标是伪造的良性恶意软件结论。注入对所测LLM失败。
    • 作者的解读:这是防御性AI和SOC颠覆类的早期种子,不限于恶意软件规避。Table 4把同一记录再分成intent、surface、compiled effect三层。

    其他消融与分析

    • 论文未对七字段做消融,未报告ASR。
    • ReNeLLM引述:单独任一组件不足以覆盖全部被测LLM;仅场景嵌套在GPT-3.5与Claude-1上较强,在Llama-2-chat上不然;无百分比。
    • HOUYI引述:堆叠分隔符优于单一分隔符;本文无对应数字。
    • Table 1只列四类攻击的通常必需与常可选字段,无成功率。
    • Table 2是杀链阶段与组件的多对多对照,阶段可跳过。
    • Check Point注入失败;作者未在本文解释失败机制。
  5. What are some points that can be further explored?

    作者称模型是描述性的,成功依赖模型与运行框架。

    作者指出的局限与后续方向

    • 描述性:第6节写明模型是描述性的。成功仍依赖模型和harness;与shellcode不同,AI载荷在执行时非确定。因此建议元组记录期望ASR区间,而不是二元成功指示。
    • 多轮:同一节写明多轮攻击序列化为共享状态的组件序列。
    • 标注分歧:有序多意图载荷会带来标注者方差,即一个目标在何处结束、下一个从何处开始。规则要求记录每个不同目标,但边界判断仍会因分析者而异。
    • 后续三项:同一节列出下一步:(1)这些逻辑字段的STIX 2.1扩展定义,加上ATLAS对照,混合sink再链ATT&CK;(2)自动标注工件的参考分类器,作者认为Giarrusso等的分类提示结果暗示相关标签集上可行;(3)把组件标签到ASR的映射做成跨模型族的实证。

    实验覆盖范围

    • 第4节用Table 2把组件多对多映到Promptware Kill Chain的七个阶段,并写明阶段可跳过、不必按序。
    • Table 3投影了EchoLeak、ReNeLLM、SpAIware和Check Point样本。后者对所测LLM失败,本文未写明那些模型的名称。
    • 第5节的组合性论述引用HOUYI的分隔符比较、Giarrusso等在GPT-5上从65.9%到78.0%的检测率,以及杀链对调查至2026年初的36项研究与事件的阶段覆盖。作者写明该检测率不验证七字段。
    • Figure 1和第3.6节示例是示意;图注写明不是某一公开事件包含全部片段。
    • 论文未报告ASR测量、查询次数、重复次数和标注者间一致性。
  6. Summarize the main content of the paper

    七组件按意图解剖提示注入,供事件记录、红队变异和CTI聚类。

    McHugh给出提示注入工件的组件解剖,让防御、红队和CTI不必靠字符串匹配来标注、比较和变异攻击。

    • 问题:同一类攻击仍常以原文归档,分析者甚至无法判断一份DAN人设和简历里的白字隐藏是否同类。智能体把注入进一步引向数据库、网页和应用,以及AI辅助的恶意软件分析和SOC分诊。
    • 模型:五个工件字段是载体、隐蔽、上下文打断、权限升级和载荷;两个环境字段是投递向量和回传通道。持久化另记,不并入投递。权限升级再分成对齐绕过和能力滥用,也可为空或两者都有。
    • 标注:标签跟tool_target、sink、effect等意图,不跟措辞;多个目标按依赖顺序放入intents[]。逻辑记录建议映入STIX 2.1,而不是另造协议。作者建议记期望ASR区间,不记二元成败。
    • 投影:Table 3把EchoLeak、ReNeLLM、SpAIware和Check Point样本填进同一组字段。最后一则对所测LLM没有作用,作者仍把它当作回传为null的security_subversion种子。作者称HOUYI和ReNeLLM只是直接越狱行上的投影。
    • 作者结论:重组组件是取胜方式,标签优于签名;共享上下文打断、权限升级类型、意图列表和回传通道的两起攻击,措辞不同也是同一技术形态。残余风险是分析的起点假设。模型本身是描述性的,成功依赖模型和harness,执行非确定。
Read originalarxiv.org