研究将间接提示注入重新表述为测试时搜索问题

现有基准把间接提示注入当作与计算预算无关的静态评测，作者要刻画攻击效果如何随攻击者的测试时搜索与计算预算变化。

• 场景：作者认为基于LLM的智能体通过系统提示、用户指令、工具检索外部内容、规划与调用工具完成任务。模型直接处理外部通道和工具返回的文本，缺少把指令与上下文数据区分开的形式机制。间接提示注入把恶意指令写入第三方数据，使外部攻击者能代表用户采取行动并调用工具；作者列举的后果包括外泄用户数据和执行任意代码。
• 现有不足：作者认为漏洞并不固定，而取决于用户任务、攻击目标和攻击者能力。每个用户任务对应一条良性工具使用轨迹，暴露不同可利用通道，形成任务相关攻击面。现有基准通常把它当作静态评测，忽略不同交互轨迹带来的任务相关漏洞，也一般不刻画攻击效果如何随测试时计算扩展。作者认为固定攻击者计算预算的评测可能低估智能体系统对自适应、基于搜索的攻击的易感性。
• 核心观察：作者把间接提示注入表述为在由用户任务与注入任务共同诱导的攻击面上做搜索。攻击面即使在载荷措辞和注入向量已知时仍大体是潜在的，作者选择用智能体与环境交互来隐式识别并探索它，而不是用领域知识显式构造。
• 本文提出：作者提出三点：（1）作者称这是通过扩展测试时计算来研究间接提示注入的第一项研究；（2）一个带结构化搜索框架的智能体攻击协议，用于自适应探索攻击空间；（3）初步结果，即扩大攻击者测试时计算能改进漏洞发现与利用。
• 威胁模型：
  • 目标：在不可信数据中放置注入载荷，使受害智能体执行攻击目标，同时仍完成用户原始任务。成功由环境状态变化判定：security为真表示注入任务完成，utility为真表示用户任务完成；攻击者被要求同时达到二者。
  • 知识：本文聚焦white-box，环境对攻击者可见。作者称该设定预期可迁移到black-box，但计算成本更高，系统评测留作未来工作。附录中攻击者还获得受害智能体可用工具的gray-box知识，由环境自动填入。
  • 能力：攻击者控制被选作恶意内容占位的状态元素，即注入向量；可通过搜索框架做环境侦察、维护策略与历史，并调用评测工具在临时环境中运行受害智能体，获得其回复、工具轨迹以及utility与security分数。
  • 受害系统：带工具的LLM智能体。实验中受害者为Claude Opus 4.8与GPT-5.5，均使用high reasoning effort；攻击者为GLM-5.2，经Together AI提供，同样为high reasoning effort。环境为两个合成套件：Workspace（邮件、日历、云盘）与Retail（零售市场助手）。

附录C把相关工作分成三组，引言还点名若干静态基准。

间接提示注入

• Greshake等（2023）：作者称间接提示注入出现在恶意指令被嵌入外部内容、再被LLM应用检索并执行时，攻击者不必直接控制用户提示词。
• InjecAgent与AgentDojo：作者称这些早期基准确立了工具集成智能体与外部内容任务上的广泛漏洞。后续工作把评测扩展到更真实的网页环境，并研究检测与执行时防御。
• LivePI、大规模公开红队竞赛、StepJack：作者称更新的基准把威胁模型扩到接近生产的智能体工作流、大规模公开红队，以及跨越智能体轨迹的多步注入，并认为随着智能体接触更多样的不可信环境，间接提示注入仍是持续风险。

智能体红队

• InjecAgent、AgentDojo、Agent Security Bench、WASP：作者称早期基准在较真实的工具使用环境与任务上评测攻击。
• 自适应搜索与优化：作者把后续工作概括为黑盒模糊测试与基于MCTS的攻击生成、面向防御的自适应攻击，以及自动化的黑盒与白盒提示优化。
• 从执行反馈改进攻击的方法：作者列举用学习到的或轨迹感知的攻击者、从执行反馈精炼攻击的一系列工作，包括UDora、Learning to inject、MUZZLE、T-MAP、SkillJect。

自适应提示注入

• 静态与自适应评测的差距：作者称近期工作显示，当攻击者适应目标系统时，提示注入防御会明显变差；一篇工作强调静态评测与自适应评测之间的差距。
• 更强优化与搜索：作者称Nasr等表明更强的优化与搜索可以绕过现有防御。
• AutoDojo：作者称它通过扩展AgentDojo，研究针对智能体间接提示注入防御的自适应黑盒攻击。作者认为这些结果支持把提示注入当作自适应对抗过程来评测，而不是使用固定攻击模板。

基线与基准

• AgentDojo：Workspace套件取自该基准，含40个用户任务、6个注入任务；评测沿用其以环境状态变化判定任务是否完成的方式，主指标ASR也按该工作定义为攻击者达成目标的安全案例比例。
• 测试时计算扩展：引言引用关于推理任务上增加测试时计算可提升前沿模型表现的工作，用来说明固定攻击者预算可能低估易感性。Retail用户任务的生成受Prime-style环境生成器启发。

作者称本文沿智能体红队方向推进，但把智能体红队表述为动态的测试时计算问题，研究攻击效果和搜索行为如何随攻击者可用计算预算扩展。

作者把间接提示注入做成对潜在攻击面的测试时搜索，并用一个带Search Harness的智能体攻击者，在不同计算预算下自适应探索。

问题设定与形式化

• 评测对象：沿AgentDojo，基准包含环境、可用工具和环境状态。环境定义应用域，状态存放智能体可访问的数据；被选中的状态元素作为恶意内容的占位符。
• 用户任务：以自然语言提示词交给受害智能体的良性请求。是否完成用二元utility分数，依据最终智能体输出和由此产生的环境状态变化判定。
• 注入任务：交给带搜索框架的攻击者智能体的攻击目标。攻击者在环境与任务诱导的攻击面上搜索。与静态基准不同，作者称该框架允许攻击者适应受害智能体和攻击面。注入任务同样用环境状态变化验证，二元security分数表示受害智能体是否完成该任务。
• 攻击面：由环境与用户任务的交互诱导，作者称它通常是潜在的，即使载荷措辞和注入向量这些显著维度事先已知也如此。

搜索框架的三个组件

• Explore Environment：两类侦察工具。环境知识工具提供目标系统与任务的上下文和领域信息；注入向量知识工具描述每个候选注入位置的上下文与约束。作者称二者帮助攻击者判断可能存在什么漏洞、以及对抗载荷可以放在哪里。完整工具见附录F.1。
• Reasoning and Searching：因为潜在攻击面可能非常大，攻击者要在用户任务和注入任务条件下找出有希望的子空间。Strategy把提出的策略组织成层次化语义结构；History记录搜索过程的细粒度轨迹。作者称二者支持迭代地识别并剪枝子空间。完整说明见附录F.2。
• Evaluation and Feedback：Evaluate工具把受害智能体的反馈显式交给攻击者。攻击者选定候选载荷和注入向量后，每次调用在临时环境中实例化该攻击配置、运行受害智能体，并返回其回复、工具使用轨迹、utility分数和security分数。作者称把评测做成显式工具，使攻击者能按已有证据和当前搜索状态自适应分配测试。附录F.3有进一步说明。

攻击者如何使用预算与反馈

• 搜索轴：附录提示词把每次evaluate_injection当作一次探测，搜索载荷内容与表述、由哪个向量承载、受害智能体实际读到哪些向量，以及跨向量的顺序与组合。每次探测带一个strategy标签和一个短framing标签，结果自动记入strategy_archive。
• 近失分型：探测后返回一个确定性的跨策略提示，不另调用LLM。提示包含已尝试的策略与表述、最近的近失、尚未尝试的表述，以及建议的下一步。近失分三类：WRONG_ARGS（动作对、参数错）、ATTACK_ONLY（security为真但utility为假）、BENIGN_FAILED（工具被调用但两个目标都未达成）。
• 预算约束：提示词要求预算低时优先找可能成功的载荷，而不是摸清整个环境；并要求尽早调用evaluate_injection。攻击者不得把环境中的敏感值抄进载荷，而要让受害智能体自己去取。
• 停止条件：攻击者被要求只在同一次载荷上security与utility同时为真时停止。security为真但utility为假被标为需要继续修正utility。

任务套件与成功判定

• Workspace：取自AgentDojo，40个用户任务、6个注入任务。用户任务与注入任务独立配对，得到240个测试对。工具覆盖邮件、日历和云盘。
• Retail：由Prime-style环境生成器生成，17个用户任务、8个注入任务，独立配对得到136个测试对。附录E从种子任务出发：种子阶段不用LLM，只把可信种子规范成初始数据库、可调用工具、自然语言指令、金标准工具调用轨迹和任务特定验证器。之后由生成器提出候选，再经导入代码、重放金标准调用、检查验证器，以及一组确定性门控后才收入语料。门控包括结构有效、主键唯一、工具使用与轨迹长度、工具重叠多样性、目标实体唯一、公开模式，以及金标准路径必须读取可注入的公开字段。
• 指标：主指标为ASR，即攻击者达成其目标的安全案例比例。为反映搜索设定，报告攻击者总token用量T处的ASR@T。utility与security均为二元环境状态判定。

实验设置

• 受害模型：Claude Opus 4.8与GPT-5.5，均为工具调用智能体，high reasoning effort。攻击者为GLM-5.2，经Together AI提供，high reasoning effort。其余参数用提供方默认值，经官方API访问。
• 任务套件：Workspace为240个测试对（40个用户任务×6个注入任务）；Retail为136个测试对（17个用户任务×8个注入任务）。二者均为合成环境。
• 指标：ASR@T，T为攻击者累计token。security表示注入目标是否由受害智能体完成，utility表示用户任务是否完成，均由环境状态变化给出二元分数。
• 消融：No-Harness去掉侦察与搜索工具；No-Strategy只去掉Strategy；Full-Harness为完整框架。Fig. 5在Retail上以GPT-5.5为受害模型。
• 预算：正文曲线讨论到500K tokens；附录I.4讨论500k上限。论文未在正文给出每次曲线的重复次数；Limitations称重复受害评测的成本限制了独立运行次数。
• 评审：成功由环境验证器判定，论文未报告另用LLM评审或人工一致性。

主结果

Fig. 2给出ASR随测试时计算预算的变化。正文只写出下列端点，其余曲线点未给出具体数字。

Swipe horizontally to read the table

受害模型	套件	预算	ASR	出处
Opus-4.8	Retail	500K tokens	20.6%	正文对Fig. 2a
GPT-5.5	Workspace	100K tokens	52.1%	正文对Fig. 2b
GPT-5.5	Retail	100K tokens	37.5%	正文
GPT-5.5	全部运行	250k→500k	约49.0%→约57.8%	附录I.4

• 作者解读：作者称随token预算增加，ASR也增加。Retail上两条曲线分开，GPT-5.5比Opus-4.8更易被利用；GPT-5.5大约在50K tokens开始明显变差，Opus-4.8在500K tokens时ASR为20.6%。
• 套件差异：作者称Workspace上GPT-5.5更快达到较高ASR@T，100K tokens时为52.1%，Retail上同预算为37.5%。作者认为Workspace提供更多短路径攻击机会，因为许多任务本来就要阅读待办、会议记录等运行产物。
• 攻击落点：作者称成功攻击集中在与任务相邻的表面上。Fig. 3、Fig. 4是GLM-5.2在Retail与Workspace中的推理片段，作者用它们说明攻击者会把恶意动作放进受害智能体本来就要读的路径，而不是任意搜索载荷。

搜索框架消融

• 测了什么：在Retail上以GPT-5.5为受害模型，比较Full-Harness、No-Harness与No-Strategy（Fig. 5）。更多结果在附录H；转换文本未给出附录H的具体数字。
• 结果：作者称No-Harness在100K tokens之后进入平台期。No-Strategy能借助侦察工具增进对环境的理解，但缺少显式策略管理，导致过多侦察和重复的攻击模式。
• 作者解读：作者称Full-Harness促进策略多样化和跨迭代的系统改进，使攻击效果能随可用搜索预算扩展；没有显式攻击面探索时，额外测试时计算的收益有限。

搜索轨迹与预算截断

• 测了什么：附录I用失败与成功任务对的攻击者轨迹，看预算下降时搜索如何从探索转向利用近失。
• 结果：作者称攻击者使用已触发的向量、受害工具轨迹和近失的失败模式，决定攻击面的哪些维度还值得改进。若干失败对在仍提出改进时触及500k上限。所有未成功的任务对都用满500k token预算，而GPT-5.5全部运行的平均ASR在250k到500k之间从约49.0%升到约57.8%。
• 作者解读：作者认为最大预算处的失败不一定表示搜索已收敛；计算上限会截断仍在改进攻击假设的搜索。作者认为这支持攻击效果是测试时计算的函数：预算既影响搜索多久，也影响计算如何分配给侦察、探索和近失改进。

其他消融与分析

• 正文未再给出其他参数扫描的数字；附录H被引用为更多结果，但本转换文本没有可回查的附录H数值。
• 论文未报告查询次数、墙钟时间，也未报告对具体防御的自适应评测数字。
• 负面结果按作者写法：Opus-4.8在Retail、500K tokens时ASR为20.6%，作者称其比GPT-5.5更稳健；No-Harness在约100K tokens后不再随预算上升。

作者指出的局限与后续方向

• 设定范围：作者在Limitations（附录J）写明，本文聚焦两个合成任务套件上的white-box评测，攻击者与受害模型集合是初步的。因此观察到的扩展趋势可能不能直接推广到black-box访问、生产环境、其他智能体架构或框架，以及其他攻击目标与防御。
• 预算与统计：同一节写明，有限token预算可能在收敛前终止搜索；重复运行受害评测的计算成本限制了独立运行次数，以及全面量化统计变异的能力。
• 后续工作：作者写明，尽管已有工作认为white-box下得到的攻击可以迁移到black-box模型，系统评测这种迁移、更广的模型覆盖、真实部署和更强防御，仍是重要的未来工作。正文2.1也把black-box的系统评测留到未来工作。
• 社会影响中的使用范围：附录B写明实验只在受控合成环境中进行，使用人工数据和隔离工具，不针对真实用户或生产系统，并鼓励未来将该框架用于授权安全测试、负责任披露和更稳健防御的开发。这是作者对使用方式的说明，不是对方法效果的局限判断。

实验覆盖范围

• 模型：被测受害模型为Claude Opus 4.8与GPT-5.5，攻击者为GLM-5.2，均使用high reasoning effort（Sec. 3.1）。
• 数据：Workspace为240对，Retail为136对；用户任务与注入任务独立配对（Sec. 3.1）。
• 知识设定：实验为white-box，环境对攻击者可见；攻击者提示词还包含受害工具的gray-box列表（Sec. 2.1、附录D）。
• 消融：Fig. 5报告Retail上、受害者为GPT-5.5时的Full-Harness、No-Harness与No-Strategy。论文未报告各条件的独立重复次数；附录J说明成本限制了独立运行次数和对统计变异的全面量化。
• 判定：security与utility由环境状态变化的二元分数给出；论文未报告与人工判定的一致性。

作者把工具使用智能体上的间接提示注入改写成测试时搜索：攻击面由环境、用户任务和注入任务共同决定，而不是一条与预算无关的固定攻击。

• 问题：受害智能体从邮件、云盘或市场记录等外部通道读入文本，外部方可以在这些数据里放入指令。作者认为现有基准多做静态评测，既忽略不同任务轨迹带来的不同攻击面，也不说明攻击者多花测试时计算时成功率如何变化。
• 方法：攻击者是GLM-5.2，配有搜索框架。侦察工具查看环境与候选注入位置，Strategy和History管理策略并避免重复搜索，Evaluate在临时环境里运行受害智能体并返回工具轨迹、utility和security。目标是同一次注入同时完成攻击目标与用户原任务。本文实验为white-box。
• 结果：Workspace有240个任务对，Retail有136个。受害者为GPT-5.5与Claude Opus 4.8。作者称ASR随攻击者token预算上升。Retail上，Opus-4.8在500K tokens时ASR为20.6%；GPT-5.5大约从50K tokens起更容易被利用。GPT-5.5在100K tokens时，Workspace的ASR为52.1%，Retail为37.5%。附录中GPT-5.5全部运行的平均ASR从250k tokens的约49.0%到500k的约57.8%。
• 框架：在Retail、受害者为GPT-5.5时，去掉侦察与搜索工具后ASR在约100K tokens后进入平台期；只去掉Strategy则侦察过多、攻击模式重复。作者称显式策略管理对避免冗余搜索、并在更大预算下维持收益很重要。
• 结论：作者认为应同时报告攻击者的搜索过程和计算预算，而不能把攻击成功看成受害系统与预算无关的属性；攻击者对系统攻击面的自适应搜索是工具使用智能体上一项尚未被充分探索的安全风险。作者同时指出，这些趋势来自两个合成套件上的初步white-box评测，有限预算可能在搜索收敛前截断。