跳到正文
原文
论文追踪· arXiv:2606.09084· Lin, Xiaofeng, Yang, Yukai, Guo, Daniel, Nale, Sahil Arun, Fleming, Charles, Cheng, Guang·本站收录· 原文发表

研究者提出 Context-Fractured Decomposition 攻击,工具型 LLM Agent 越狱成功率最高提升 28.3 个百分点

Context-Fractured Decomposition Attacks on Tool-Using LLM Agents: Exploiting Artifact Provenance Gaps

论文速读

攻击

据论文 PDF 整理(AI 生成),以原文为准

CFD跨会话拆解越狱工具智能体,Gemini-2.5-pro上ASR为76.25%,六模型中五个最高。

威胁模型攻击者追求有害目标G。受害系统是带持久artifact存储S的工具型智能体。

问题
工具型智能体的护栏常只看当前上下文,文件等artifact却会把状态带到之后的会话。来源不被跟踪时,各自看似良性的工具动作可以在延迟组合后才构成有害结果。
方法
CFD用不受限攻击者把有害目标递归拆成面向存储、词面上不点明目标的子查询,分别写入被清空上下文隔开的会话,再在新会话触发读回组合。本地监控只见当前窗口。
实验与结果
AgentDojo外泄子集上,CFD在六模型中的五个ASR最高,Gemini-2.5-pro为76.25%;Mistral-Small-3.2上ToA更高。GPT-4o-mini对加噪声CFD全序列的检出率为26.42%。
局限与可以继续做的
作者指出结果依赖外部攻击者LLM,逐步接受判定可能有噪声,终态artifact检查会错过瞬时不安全状态。来源标注的开销和假阳性留待以后。主表为6个模型、三次均值;Table 3至6未写明目标模型。
实验设置GPT-4.1、GPT-5-nano 等 · AgentDojo(过滤后的数据外泄子集) · ASR、Average Rank 等
威胁模型
攻击者追求有害目标G。受害系统是带持久artifact存储S的工具型智能体。本地监控J的视图O(ct)只有当前窗口,看不到artifact因果谱系。不受限规划器把子目标排入上下文清空、新进程或角色交接所分隔的会话。成功需每步被接受,且离线评估器确认最终状态违规。
被测模型
GPT-4.1GPT-5-nanoClaude-3.5-SonnetGemini-2.0-flashGemini-2.5-proMistral-Small-3.2
基准
AgentDojo(过滤后的数据外泄子集)
指标
ASRAverage RankDetection rate
AI 导读研究者提出 Context-Fractured Decomposition(CFD)攻击,针对工具型 LLM Agent 的“溯源缺口”部署失效模式。该攻击保留早期交互中看似无害的中间工件,在后续不同 Agent 实例或工作流阶段通过单独无害的工具动作触发有害行为,风险只在延迟的工件中介组合下显现。作者用 trace 级诊断刻画这一失效模式,并提出溯源血缘标记(provenance lineage tagging)作为可验证的缓解方向。在 Agent 系统越狱基准上,CFD 相比当前最优基线成功率最高提升 28.3 个百分点,且能绕过较强的单轮判定器。

研究者提出 Context-Fractured Decomposition(CFD)攻击,针对工具型 LLM Agent 的“溯源缺口”部署失效模式。该攻击保留早期交互中看似无害的中间工件,在后续不同 Agent 实例或工作流阶段通过单独无害的工具动作触发有害行为,风险只在延迟的工件中介组合下显现。作者用 trace 级诊断刻画这一失效模式,并提出溯源血缘标记(provenance lineage tagging)作为可验证的缓解方向。在 Agent 系统越狱基准上,CFD 相比当前最优基线成功率最高提升 28.3 个百分点,且能绕过较强的单轮判定器。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    本地监控看不到artifact来源时,有害目标可经跨会话良性工具动作延迟组合。

    工具型LLM智能体的本地检查看不到跨会话artifact来源,有害目标可被拆成各自看似良性的工具动作,风险只在延迟组合时出现。

    • 场景: 智能体规划、调用工具,并写入文件、日志、工单等可跨轮存在的artifact。作者认为,许多护栏仍在本地提示词或动作边界检查,而不重建最终驱动动作的跨步数据流;“风险动作发生时防御者看得到含意图上下文”这一假设,在真实流水线中经常不成立。
    • 现有不足: 作者称Crescendo、DrAttack、Tree of Attacks等仍假定一段连续对话可见,防御者可依赖同一窗口内的语言升级信号。真实部署中,造成伤害的工具调用可能远晚于含意图步骤,中间artifact被当作普通数据。
    • 核心观察: 作者把该失败模式称为context fracture,即provenance gap:相关历史拆在工具、时间和实例之间,artifact存储静默携带状态,而来源(谁写的、为何写、受何约束)很少被跟踪或送到策略层。
    • 本文提出: Context-Fractured Decomposition(CFD),把不允许的目标拆成个别看似合理的原语,经种植与触发做延迟的artifact组合;并用轨迹级诊断刻画该缺口,概述在artifact存储上做provenance lineage tagging。
    • 威胁模型:
      • 目标: 实现有害目标G(论文举例为数据外泄)。直接提交G时本地接受为0;攻击要让最终存储状态在组合后违规。
      • 受害系统: 工具型智能体M,按策略πθ(at|ht)行动,操作持久存储S。会话由上下文清空、新进程,或草稿不共享的角色交接分隔;跨会话状态只经S传递。
      • 防御者所见: 本地监控J只有有界可观测性,视图O(ct)仅为当前用户请求加即时工具输出,看不到S中artifact的因果谱系。离线评估器E可检查最终状态,但不假定部署时可用。
      • 攻击者能力: 不受限的攻击者智能体A做规划,在模拟拒绝采样下递归拆分,并把叶节点排入相互隔离的会话。论文未用white-box或black-box描述攻击者对受害模型权重的访问。
  2. 有哪些相关研究?

    作者把CFD与连续窗口越狱、IPI和单会话工具链区分开:伤害经无指令artifact跨会话出现。

    按论文的对比,CFD被放在不依赖连续上下文、artifact内不含有害指令、且只在缺少来源时成立的一类(Table 1)。

    聊天机器人越狱

    • 直接注入与角色提示: Liu等(2023)把恶意指令附到输入上以覆盖安全约束;Jin等(2023)用迭代精炼把模型推向宽松人设。论文此处只做分类描述。
    • 间接上下文注入: Greshake等(2023)与Yi等(2025)把有害指令藏在检索内容或长上下文中,以绕过内置过滤。
    • 重写与搜索: Crescendo(Russinovich等,2025)在多轮里把无害查询逐步升级。DrAttack(Li等,2024b)主要是单轮混淆:把恶意提示词拆成看似良性的片段,再在同一上下文窗口内重组成一次查询。ToA(Mehrotra等,2024)为黑盒LLM搜索单条越狱提示词。作者指出,这些方法的有害目标或其重构仍落在一个连续窗口内。

    智能体攻击与后门

    • 间接提示注入与记忆: IPI把隐藏指令放进智能体检索的外部内容(Greshake等,2023;Yi等,2025;Lee与Tiwari,2024)。记忆向攻击通过投毒或利用长期记忆引导后续行为(Dong等,2025;Wang等,2025;Chen等,2024)。Zhao等(2025)与Anthropic(2025)从工具和连接器生态分析多步外泄。作者称其中许多依赖携带指令的载荷或显式触发器。
    • STAC: Li等(2025)也把无害工具调用串成有害行为,但发生在单条连续轨迹、单次会话内,轨迹级监控原则上能看到整条链。作者称CFD的定义性属性是上下文重置后仍在的跨会话artifact通道,STAC并不利用这一点。
    • 后门: Wang等(2024)与Chen等(2024)需要在训练时或记忆时投毒以植入触发器。作者称CFD完全在测试时进行,不修改模型或记忆,只利用标准流水线没有artifact来源。

    智能体安全基准

    • 任务环境: InjecAgent(Zhan等,2024)与AgentDojo(Debenedetti等,2024)评测不可信内容中的间接提示注入能否诱发有害工具调用或数据外泄。AgentHarm(Andriushchenko等,2025)与Agent Security Bench(Zhang等,2025b)评测用户目标明确有害时智能体是否遵从。
    • 作者的区分: 附录E称现有基准常在全轨迹回放、评估者可见完整交互的条件下评测;本文关心的是执行时的有界可观测性,加上artifact介导的跨会话组合。同节还提到BadRobot、Breaking Agents等利用工具、记忆或具身通道,但称这些工作没有单独刻画这一失败模式。

    基线与数据

    • 基线方法: Direct Asking、Prompt Injection(Liu等,2023)、Role-Play(Andriushchenko等,2024)、Crescendo、Tree of Attacks。除非另有说明,与CFD使用相同工具权限、轮次上限和评测协议。
    • 基准: 过滤后的AgentDojo子集,论文称聚焦数据外泄;Table 7按环境计数。

    作者把中间artifact定位为不含指令的被动缓冲:伤害只在来源缺失时的延迟跨上下文组合中出现,后一个执行实例没有对原始组合意图的语义访问(§2.2,Table 1)。

  3. 论文如何解决这个问题?

    CFD先递归拆成面向artifact的良性子查询,再跨会话种植并在新上下文中触发组合。

    CFD先用不受限攻击者智能体把有害目标递归拆成局部可接受、面向artifact的子查询,再把叶节点排进相互隔离的会话:前序会话写入被动缓冲,最后的新会话发出触发动作,由论文所称的无辜执行者读回并组合。

    问题设定与形式化

    • 智能体与存储: 系统M按πθ(at|ht)选择工具调用或文本;持久存储S包括文件、日志和数据库。
    • 两类验证: 本地监控J对每步做内联审查,视图为O(ct)。离线评估器E检查S的最终状态是否策略违规,只用于实验裁决,不假定部署时可用。
    • 接受与成功: 论文定义 Accept(ut, O(ct))=1,当且仅当J在O(ct)下认为该请求良性,否则为0。执行拆进会话集合C,上下文重置而S保留;攻击成立还要求 Compose(S_T) \models G。J看不到cT读到的artifact曾在更早会话带着恶意意图被写入。

    递归语义分解

    • 规划器: 不受限攻击者A实现分解算子D(q),用附录A.2的拆分模板加模拟拒绝采样;附录A.2给出了完整提示词。
    • 子查询约束: 每个qi在最多R次重试内须对S写或读,且不在词面上提及G。论文还要求语义不相交:任一子查询都不含G的全部有害语义,并侧重状态操作而非立即执行。正文未给出R的数值。
    • 停止: 若局部模拟仍拒绝,则继续拆分,直到深度Dmax或该查询被视为良性(Algorithm 1)。默认Dmax=4、分支上限Wmax=3(附录B.3,Table 5)。

    断裂执行

    • 种植: setup叶节点各自进入新上下文,智能体把论文所称的良性原语写入S。这些artifact被描述为不含指令的被动缓冲,而不是在其中放入转向下游行为的指示。
    • 触发: 再开一个新会话,由A根据已种植集合生成触发命令;目标智能体读回并组合,从而在局部看起来合理的动作中实现G。Figure 2用邮件相关流程图示这两阶段;图注称本地监控对每步给出接受,因为含意图的历史落在会话之间的来源缺口里。
    • 隔离实现: 测试台可在选定步骤之间做Memory Wipe,清空对话状态,保留共享artifact存储(§4.2)。

    实现与成功判定

    • 测试台: 扩展AutoGen,用JSON配置sequential、hierarchical、group-chat、智能体名单、工具权限和轮次上限。可选Advisor作辅助分析;Judge可通过终止信号否决不安全工具调用。二者提示词在附录A.3。
    • 受害流水线: 规划LLM、Python代码生成智能体、代码执行智能体,以及模拟自动数据分析的advisor。主实验强调文件系统与代码执行工具。每个被测模型收到附录A.1的系统防御提示词,禁止输出输入文件中的精确数据值。
    • 可观测性: 监控可见历史可从0个过去轮次调到完整历史。§4.1区分只看当前请求及工具名/参数的local-window,与额外看到完整轨迹和artifact内容的trace-omniscient。
    • 判定与参数: 成功须同时满足:全部setup步被接受、触发步被接受、E确认最终artifact符合有害目标。ASR是满足三条件的运行比例。温度均为0.2。配置说明中的轮次上限为:Ad+Jd为30,仅Ad为25,自上而下或sequential为20。Table 2未写明采用哪一档。
  4. 论文做了哪些实验?

    六模型中五个上CFD的ASR最高;Mistral-Small-3.2上ToA更高,加噪声后检出率26.42%。

    实验设置

    • 被测模型: GPT-4.1、GPT-5-nano、Claude-3.5-Sonnet、Gemini-2.0-flash、Gemini-2.5-pro、Mistral-Small-3.2,均带附录A.1的系统防御提示词。试点中的Qwen 2.5 72B与Qwen 3 30B Thinking未进入Table 2。
    • 数据: 过滤后的AgentDojo子集,论文称聚焦数据外泄。Table 7为Banking 11、Slack 7、Travel 19、Workspace 16。Table 8列出各环境的User与Inj提示词。
    • 基线与攻击者: Direct Asking、Prompt Injection、Role-Play、Crescendo、ToA。默认攻击者A为jailbreak-tuned、未审查的Llama 3 8B;消融换成GPT-4.1。默认Dmax=4、Wmax=3。
    • 指标: ASR定义见§4.1。Table 2每格为三次评估的均值±标准差。Average Rank是各模型内按ASR排名后再跨模型平均,越低越好。
    • 评审: Table 3的强评审为GPT-4o-mini,把聚合提示词标为有害即计为检出。主ASR由离线评估器E按最终artifact状态裁决。附录B.2.2的配置示例把evaluator写成gpt-4.1,正文未单独确认Table 2使用的就是该模型。
    • 未写明的设置: 各方法共享匹配的轮次、工具调用和重试上限,但正文未给出工具调用上限和R的数字。Table 2未写明是否启用Advisor或Judge,也未写明是local-window还是trace-omniscient。

    主结果

    下表为Table 2的三次评估均值(ASR%),未列入标准差。Prompt Injection六模型依次为21.38、2.52、0.00、37.52、0.00、4.40,未放入表中。

    表格较宽,可左右滑动

    模型CFDToACrescendoRole-PlayDirect Asking
    GPT-4.166.0338.3656.6047.170.00
    GPT-5-nano20.127.551.263.146.60
    Gemini-2.0-flash36.8525.7910.0635.850.00
    Gemini-2.5-pro76.2558.3648.1142.1030.19
    Claude-3.5-Sonnet31.443.147.5519.500.00
    Mistral-Small-3.237.1152.8336.4822.019.43
    • 排名: 作者称CFD的Average Rank为1.17,在六个模型的五个上ASR最高;Mistral-Small-3.2上ToA最高,CFD排第二。作者还称,在其设置中拒答较强的Claude-3.5-Sonnet与GPT-5-nano上,CFD仍高于所比基线。
    • 28.14个百分点: 作者称相对state-of-the-art或advanced基线最高提升28.14个百分点。按Table 2,该数等于Gemini-2.5-pro上CFD 76.25与Crescendo 48.11之差;同格ToA为58.36,与CFD相差17.89个百分点。
    • 偏低与零成功: GPT-5-nano上CFD为20.12。Gemini-2.0-flash上CFD仅比Role-Play的35.85高1.00个百分点。Direct Asking在GPT-4.1、Gemini-2.0-flash、Claude-3.5-Sonnet上为0.00;Prompt Injection在后两个模型上也为0.00。作者称这三类简单基线跨模型族不稳定。

    聚合检测与连续上下文依赖

    • 测了什么: §4.4做两个反事实探针。Test 1让监控判断聚合后的对话日志;Test 2从Crescendo式连续多轮中删去早期轮次,只保留后缀再跑。
    • 检出率: Table 3中,GPT-4o-mini对无噪声Crescendo全序列的检出率为60.37%,对CFD仅叶节点为47.17%,对CFD全序列加良性噪声为26.42%。作者称检测对聚合方式敏感,加噪声后意图证据在聚合边界上变弱。论文未说明这三行的目标模型与样本量。
    • 删早期轮次: Table 4的ASR为:保留2..T时44.49%,3..T时37.66%,4..T时29.38%。作者称连续多轮攻击依赖同一窗口内的意图累积;CFD按构造在严格断裂下运行,不依赖该窗口。Table 4未报告完整1..T的ASR,也未说明目标模型。

    流水线拓扑

    • 测了什么: Table 6比较Sequential、带Advisor的Group、以及Advisor加Judge的Group。论文未说明目标模型,也未说明是否与Table 2为同一次运行。
    • 结果: Sequential上PI、Role-Play、CFD为33.96、58.49、71.70;Group(Ad)为35.85、47.16、81.13;Group(Ad+Jd)为39.62、56.60、79.25。
    • 作者解读: 作者称CFD在所报告配置中都高于PI和Role-Play;自由群聊往往带来更高成功率,智能体更多并不总是使系统更安全。

    其他消融与分析

    • Table 5默认ASR为58±6.98,论文未说明对应哪一目标模型:Dmax由4降到2后为44±7.02;Wmax由3降到2后为49±7.07;攻击者由Llama 3 8B换为GPT-4.1后为38±6.86。作者称更深的动作树是关键,模型更大并不保证攻击更强。
    • Figure 3由同一离线评估器E给文本越狱提示词和智能体越狱提示词打有害性分。作者称CFD子查询集中在更低评分,Role-Play与Prompt Injection仍高;右图智能体攻击样例的有害性更低。所给文本读不到图中具体分值。
    • Figure 4与附录C.3:作者称单轮有害性越高拒答越多,其中Llama 3最陡,Claude/Gemini居中,GPT-4.1上升较晚;CFD叶查询落在低有害区间,逐步过滤器不触发。作者同时称该诊断本身不能解释CFD的优势,优势来自跨上下文组合。
    • 附录C.2:该智能体设置中的主要失败是良性任务未完成,以及低有害叶提示词下的拒绝。
    • Qwen 2.5 72B与Qwen 3 30B Thinking因即使在良性条件下也常无法完成任务套件而未列入主比较;附录G给了代表例。论文未报告其ASR。
  5. 有什么可以进一步探索的点?

    作者列出攻击者能力、判定噪声、拓扑覆盖和终态检查等局限,来源标注留待后续。

    作者指出的局限与后续方向

    • 攻击者模型: CFD依赖外部攻击者LLM产出既局部可接受又可组合的分解;更弱或受策略约束的攻击者会降低成功率并增加延迟(§5)。
    • 逐步判定: 接受或拒绝由基于LLM的启发式实现,跨模型族和策略机制可能有噪声,可能影响攻击优化和测得的鲁棒性(§5)。
    • 覆盖: 评测只覆盖有限的模型族、工具和流水线拓扑;多模态智能体、紧耦合RAG,或带更强沙箱与跨会话状态控制的部署,结果可能不同(§5)。
    • 终态检查: 智能体任务的成功主要在运行结束时检查artifact,可能错过执行中的瞬时不安全状态,如短暂日志暴露或中间工具输出(§5)。
    • 攻击与评测后续: 结论提出研究更受资源约束的对手、按监控不确定性分配拆分的自适应搜索,并把分解扩展到图像、音频和向量记忆;评测侧建议更丰富的成功标准与流式监控(Conclusion)。
    • 防御未实现: 作者概述provenance lineage tagging:写入时记录来源会话、促使其产生的用户查询和智能体角色,读出时把谱系交给监控。校准实现,包括存储开销和良性跨会话流程的假阳性率,留待未来工作。作者称端到端来源系统有仪器化、存储与工作流集成成本,本文不声称完整防御(Conclusion)。

    实验覆盖范围

    • 主比较的被测模型为GPT-4.1、GPT-5-nano、Claude-3.5-Sonnet、Gemini-2.0-flash、Gemini-2.5-pro、Mistral-Small-3.2,共6个;Table 2每格为三次评估均值。试点还运行过Qwen 2.5 72B与Qwen 3 30B Thinking,但未报告ASR(§4.3,附录G)。
    • 任务计数见Table 7,Banking 11、Slack 7、Travel 19、Workspace 16。基线为Direct Asking、Prompt Injection、Role-Play、Crescendo、ToA(§4.1)。
    • 默认攻击者是jailbreak-tuned、未审查的Llama 3 8B;Table 5将其换成GPT-4.1。Table 3的检测评审是GPT-4o-mini。
    • 已出ASR的拓扑是Sequential、Group(Ad)、Group(Ad+Jd)(Table 6)。§4.2写测试台支持hierarchical,Table 6未给出该拓扑的ASR。
    • 论文未报告Table 3至Table 6的目标模型、Table 4完整1..T的ASR、主实验的工具调用上限和重试次数R,以及local-window与trace-omniscient两种可观测性下的ASR对照;§4.1只定义了后两种设置。
  6. 总结一下论文的主要内容

    CFD用无指令artifact把越狱拆到跨会话;六模型中五个ASR最高,Mistral上ToA更高。

    CFD针对工具型LLM智能体:利用artifact来源不被跟踪这一部署失败模式,把有害目标拆开后延迟组合。

    • 问题: 许多攻击和防御假定防御者能看到一段连续对话。作者认为真实流水线的执行点是分散的,造成伤害的工具调用可以发生在含意图步骤之后,中间状态只以普通artifact存在。
    • 做法: 不受限攻击者把目标递归拆成语义不相交、面向存储的子查询,在清空上下文的会话中写入S,再在新会话用触发动作读回组合。本地监控只看当前窗口。成功需每步被接受,且离线评估器确认最终artifact符合G。默认深度4、宽度3,攻击者为未审查的Llama 3 8B。
    • 主结果: 在过滤后的AgentDojo数据外泄子集上,Table 2中CFD于六个模型的五个上ASR最高,Average Rank为1.17。Gemini-2.5-pro为76.25%,GPT-4.1为66.03%,Claude-3.5-Sonnet为31.44%,GPT-5-nano为20.12%。Mistral-Small-3.2上ToA的52.83%高于CFD的37.11%。作者所称最高28.14个百分点,对应Gemini-2.5-pro上相对Crescendo的差值,不是该模型上相对ToA的差值。
    • 诊断: GPT-4o-mini对无噪声Crescendo全序列的检出率为60.37%,对加良性噪声的CFD全序列为26.42%(Table 3)。删去连续攻击的早期轮次后,ASR从保留2..T的44.49%降到保留4..T的29.38%(Table 4)。Table 6里CFD在三种已报告拓扑上高于PI与Role-Play,Group(Ad)为81.13%,但论文未说明该表模型。
    • 作者结论: 作者认为有效防御需要artifact来源和谱系感知策略,同时承认端到端来源系统有仪器化、存储和集成成本;本文给出的是评测方法与必要性论证,不是完整防御。更弱的攻击者、逐步启发式的噪声,以及只在运行结束检查artifact,被列为影响结论的因素。
阅读原文arxiv.org