MetaPI:从 LLM Agent 基准构建提示注入基准
MetaPI: Constructing Prompt Injection Benchmarks from LLM Agent Benchmark
作者提出 MetaPI,把 AppWorld 等智能体效用基准自动转成 IPI 评测套件;作者称在自适应攻击下没有防御能同时保持强效用与强安全。
- 间接提示注入(IPI)基准在任务与环境覆盖上落后于快速演化的智能体效用基准,且攻击场景静态、狭窄,作者认为这限制了安全评测的规模与真实性。
- 提出 meta-benchmarking:用 MetaPI 四模块流水线把效用基准自动转成端到端 IPI 评测,含注入点识别、基于 owner-authority 规则的目标生成、PAIR 式 payload 优化与真实环境验证。
- 在 AppWorld、VitaBench、Terminal-Bench 上生成 183 个攻击并评测 8 种防御;作者称没有防御能同时取得强效用与强安全,如 CaMeL 在 AppWorld 上 ASR 0.0% 但 Clean Uti 仅 33.7%。
- 作者指出的局限:仅覆盖文本注入面、不含多模态;流水线部分环节依赖 LLM 判断难以完全验证。实验覆盖三个基准各 50 个初选任务,报告数值为单次运行。
- 威胁模型
- 被动攻击者在任务执行前把 payload 放入环境外部数据,不与运行中的智能体交互;采用强攻击者模型:可知道目标智能体与防御设计、骨干 LLM、基准环境,某些设置下还知道用户任务;只能修改自己拥有或控制的可变外部数据段。注入位置分 participant(任务依赖其内容)与 bystander(偶然遇到),participant 位置的攻击目标必须越过 owner-authority 边界。
- 被测模型
- deepseek-v4-flashgpt-5.6-lunakimi-k3qwen3.7-flashclaude-sonnet-5Meta-SecAlignDataSentinel
- 基准
- AppWorldVitaBenchTerminal-Bench
- 指标
- ASR (net / effective)Clean UtilityToken usage
研究者提出 MetaPI,用元基准测试方法把现有 LLM Agent 能力基准改造成端到端的间接提示注入(IPI)评测套件,复用其真实任务、环境和基础设施。该工具包可自动识别合理的注入点、生成真实的攻击目标、优化自适应攻击载荷并在真实环境中验证攻击,模块化接口支持接入异构环境、Agent、防御和攻击算法,无需重新设计评测流程。作者将 MetaPI 应用于 AppWorld、VitaBench 和 Terminal-Bench,在多个骨干 LLM 上评测了代表性 Agent 与防御,结果显示在真实、自适应的 Agent 间接提示注入场景中,没有任何被评测的防御能同时做到强实用性与强安全性。
相关热点
1 个事件 · 1 条新闻提到
提到这篇论文的新闻
模安局盘点NeurIPS 2026 AI安全七大研究重点
- 公众号 模安局提到论文的名字NeurIPS 2026 AI安全的七个研究重点
MetaPI: Constructing Prompt Injection Benchmarks from Any Agent Benchmarks
深度解读
这篇论文试图解决什么问题?
IPI 安全基准落后于效用基准,作者提出把效用基准自动转成 IPI 评测套件的 meta-benchmarking。
核心问题:IPI 安全评测如何跟上快速演化的智能体效用基准,在真实、多样的环境中评估防御。
- 问题场景:LLM 智能体使用高权限工具完成复杂任务,外部内容(邮件、网页、工具输出)中嵌入的恶意指令可造成间接提示注入(IPI),带来非预期的高风险操作(Section 1)。
- 现有基准的不足:作者称 IPI 基准规模小、演化慢——AgentDojo 只有 97 个良性任务、4 个内存内 Python 模拟环境,而效用基准(如 Terminal-Bench、EnterpriseOps-Gym)在任务数和环境真实性上发展快得多;现有 IPI 基准对动态攻击目标和自适应 payload 优化支持有限(Section 1、5)。
- 核心观察:IPI 不局限于特定领域,凡智能体读取并依据外部内容行动处都有攻击面;效用基准已提供多样任务、工具、有状态环境和成功判据,复用它们可让安全评测继承其广度与持续演化(Section 1)。
- 威胁模型:攻击真实感取决于数据的所有者与权限。
- 目标:在注入位置放置 payload,使智能体执行越过所有者权限的恶意目标。
- 知识:强攻击者模型——可知道目标智能体与防御设计、骨干 LLM、基准环境,某些设置下知道用户任务。
- 能力:被动攻击者,任务执行前放置 payload,只能修改自己拥有或控制的可变外部数据段,不能改用户提供或智能体生成的内容。
- 受害系统:在 AppWorld、VitaBench、Terminal-Bench 等基准环境中运行、读取外部内容并调用高权限工具的 LLM 智能体。
- 论文提出:MetaPI——一个可扩展工具包,自动识别注入点、按 owner-authority 规则生成攻击目标、优化自适应 payload,并在真实环境中端到端验证(Section 1、3)。
有哪些相关研究?
相关工作分四组:效用基准、IPI 基准、注入攻击与优化、IPI 防御;作者以可扩展的元生成框架定位自身。
智能体效用基准
- AppWorld、SWE-Bench、OSWorld、Terminal-Bench 及 MCP 类基准(MCP-Universe、MCP-Bench、MCPMark)——提供多样任务与真实环境;MetaPI 兼容这些基准,借其持续演化构建 IPI 测试床(Section 5)。
IPI 基准
- AgentDojo、InjecAgent、ASB、BIPIA、AgentDyn、WASP、PIArena、LivePI——论文称它们规模较小、演化较慢,对多步智能体环境中的动态攻击目标和自适应 payload 优化支持有限(Section 5)。
- 并发工作 AutoDojo 把自适应注入优化引入 AgentDojo,DecodingTrust-Agent (DTap) 扩展了领域与环境覆盖;论文称两者仍绑定预定义基准环境,可能难以跟上智能体能力演化(Section 5)。
提示注入攻击与优化
- Greshake 等(2023)等在多种 LLM 应用中演示 IPI;优化类攻击包括 PAIR(Chao 等,2025)、Nasr 等(2025)的自适应攻击、PISmith 与 RL 类方法——论文称迭代式方法在复杂智能体设置中尤其有效,MetaPI 为这类算法提供统一接口(Section 3.3、5)。
IPI 防御与安全架构
- 提示级(Spotlighting)、模型级(Meta-SecAlign)、检测类(PromptArmor、DataSentinel、MELON)、系统级(CaMeL、ProGent 等);论文引用多篇 SoK 作综述,并选取各类有开源实现的代表方法做实验(Section 5)。
基线与基准:实验对照的防御为 Sandwiching、Spotlighting、Meta-SecAlign、DataSentinel、MELON、PromptArmor、CaMeL、DRIFT 八种;转换对象是 AppWorld、VitaBench、Terminal-Bench 三个效用基准(Section 4.1)。
作者定位:与绑定固定安全环境的既有 IPI 基准不同,MetaPI 把现有效用基准转成 IPI 基准,作者称其为首个横跨环境、智能体、防御、攻击算法四个维度的统一 IPI 评测平台(Section 1、5)。
论文如何解决这个问题?
MetaPI 用四模块流水线把效用基准转成 IPI 评测:连接基准、生成攻击策略、优化 payload、真实环境验证。
整体思路:以 MetaPI 四模块流水线(Figure 1)复用效用基准的任务、环境与判据,自动生成并端到端验证 IPI 攻击,模块化接口支持异构环境、智能体、防御与攻击算法。
威胁模型形式化
- 动作分类:necessary write(改变环境且任务必需)、necessary read(为 write 提供所需信息)、accidental read(其余读动作)(Section 2)。
- 数据段与所有者:每次读观测按来源切分为 segment,每段关联一个 owner;necessary read 中任务依赖的段为 necessary segment,其余为 accidental segment。
- 注入规则:accidental segment 的注入者是 bystander,目标不受限;necessary segment 的注入者是 participant,目标必须越过其合法权限(owner-authority rule,Table 1 给出正例与反例)。
- 目标分类:action-deflection(重定向智能体本要执行的 write)与 action-injection(诱发额外动作),与所有者维度正交。
M1 Benchmark Connector
- 在基准环境中运行目标智能体,把执行轨迹转成统一格式;通过轻量 benchmark adapter(轨迹统一器、环境描述器、基准专用提示词)接入不同基准(Section 3.1)。
- 实现上为统一的 observe–think–act 运行时,40 步预算,防御通过六个 hook 阶段挂载(附录 B.1)。
M2 Strategy Generator
- 用 LLM 分析智能体(analyzer agent,10 个工具、最多 60 次模型调用)执行四阶段:识别 necessary write → 追溯依赖的读与值的所有者 → 选择注入位置 → 生成目标与评分 rubric(附录 B.2)。
- rubric 优先确定性判定(检查工具调用及参数),语义性目标才用 LLM judge。
- 三道质量检查:feasibility(位置可变且不破坏观测结构)、harmfulness(目标恶意且 participant 位置越权)、scoreability(成功条件具体、良性运行中不成立),不通过即丢弃(Section 3.2)。
M3 Payload Optimizer
- 黑盒迭代:propose–inject–observe–refine 循环,统一接口支持遗传式、反馈精炼、RL 等不同更新规则(Section 3.3)。
- 实验用 PAIR 式算法,上限 12 轮,攻击者模型温度 0.7;每轮在真实环境中重放良性前缀、注入候选 payload、让受害智能体在注入点后 4–10 步窗口内行动,再按四档阶梯(not called / wrong tool / right tool wrong args / matched)打分,仅 matched 计 1.0(附录 B.3)。
- 可选自适应攻击:向攻击者 LLM 提供目标智能体与防御机制的描述。
M4 Outcome Validator
- 把优化后的 payload 注入原始环境从头重跑(from-scratch 模式,防御全程在位),用基准自身协议评效用、用 rubric 评攻击成功(Section 3.4、附录 B.4)。
- 论文实验均用 proxy 投递模式(替换观测字符串中的锚点);基线运行已满足攻击判据的攻击被排除,防止无 payload 也算成功。
论文做了哪些实验?
在三个基准上生成 183 个攻击、评测 8 种防御;作者称无防御同时取得强效用与强安全。
实验设置
- 被测模型:受害智能体骨干默认 deepseek-v4-flash,另有 gpt-5.6-luna、kimi-k3、qwen3.7-flash、claude-sonnet-5;Meta-SecAlign 防御使用 Llama-3.1-8B-Instruct 加 Meta-SecAlign-8B 适配器(附录 G.2)。
- 基准:AppWorld、VitaBench、Terminal-Bench 各初选 50 个任务;Terminal-Bench 人工筛选后保留 30 个进入流水线、收集到 27 条良性轨迹(Section 4.1、Table 4)。
- 攻击语料:owner-authority 规则与质量检查过滤后共 183 个攻击(AppWorld 51、VitaBench 87、Terminal-Bench 45),覆盖 107 个任务(Table 2)。
- 防御:Sandwiching、Spotlighting(提示级),Meta-SecAlign(模型级),DataSentinel、MELON、PromptArmor(检测级),CaMeL、DRIFT(系统级),均移植自开源实现(Section 4.1、附录 D)。
- 指标:ASR(攻击成功率,工具调用类目标只要求发起带所需参数的恶意调用,不要求执行成功)、Clean Uti(无攻击运行的任务完成奖励)、Tok(token 用量相对 None 的倍数);主表用 net ASR(固定攻击集为分母),附录 H 报 effective ASR(剔除确认未到达注入点的攻击)(Section 4.1、附录 H)。
- 评审方式:确定性 tool_call rubric 为主(149/183),其余用 LLM judge(deepseek-v4-flash,指示严格判定);VitaBench 效用由 LLM rubric judge 评(附录 B.4、C.2)。
- 攻击设置:攻击者 LLM 默认 deepseek-v4-flash(温度 0.7),PAIR 式优化上限 12 轮;报告数值为单次运行(附录 G.3)。
主结果
据 Table 3(common task subsets,受害骨干 deepseek-v4-flash,net ASR / Clean Uti / Tok):
表格较宽,可左右滑动
防御 AppWorld ASR AppWorld Uti VitaBench ASR VitaBench Uti Terminal-Bench ASR Terminal-Bench Uti None 50.0 82.5 45.9 96.0 44.4 82.2 Sandwiching 20.8 73.6 24.7 88.8 22.2 68.9 Spotlighting 25.0 80.4 20.0 92.6 37.8 77.8 Meta-SecAlign 2.1 22.9 11.8 13.6 N/A N/A DataSentinel 41.7 77.1 43.5 92.5 28.9 73.3 MELON 35.4 65.1 25.9 88.5 26.7 66.7 PromptArmor 35.4 78.0 43.5 90.5 35.6 82.2 CaMeL 0.0 33.7 N/A N/A 0.0 0.0 DRIFT 22.9 70.5 18.8 83.7 8.9 68.9 - 作者称没有防御在两个轴上都表现好:Spotlighting 降 ASR 且大致保住效用但残余漏洞大;CaMeL 把 ASR 降到 0 但效用损失大;Meta-SecAlign 的 ASR 低但 Clean Uti 只有 22.9%/13.6%(其骨干为 Llama,与 DeepSeek 的 None 行不直接可比,Table 3 脚注 a)。
- 作者称 PromptArmor、MELON、Meta-SecAlign、DRIFT 在 AgentDojo 等基准上报告过近零 ASR 且效用接近无防御,但在本设置下表现不足。
- CaMeL 与 VitaBench 的用户模拟器不兼容(Table 3 脚注 b);附录 E.2 指出其零 ASR 也反映集成与投递限制,许多运行未到达注入点。
注入位置与目标类型分析
- 注入位置:Figure 3(AppWorld、deepseek)中 necessary 与 accidental 位置的平均 ASR 相近(图上标注:None 行 55 vs 46),差异方向随防御而变;作者认为一种可能解释是 necessary 位置内容更相关但受 owner-authority 约束更严。
- 目标类型:Figure 4 中 action-deflection 的 ASR 高于 action-injection(None 行 56 vs 36;CaMeL、DRIFT 等行类似趋势);作者称 deflection 适用任务更少但更易成功,injection 适用面更广但更难成功,两类都重要。
模型消融与优化过程
- 受害/攻击者模型(Figure 5,AppWorld,无防御):作为受害者,gpt-5.6-luna(50%)、claude-sonnet-5(28%)、kimi-k3(24%)等闭源模型与 kimi-k3 更鲁棒,但 ASR 仍高于 20%;作为攻击者,deepseek(65%)、kimi-k3(53%)、claude-sonnet-5(50%)攻击能力更高,gpt-5.6-luna 仅 29%——作者称原因是其安全对齐使其拒绝生成注入 payload。
- 优化收敛:Figure 6、7 显示平均 best-so-far 优化分数随轮次上升并在少数几轮内收敛(图上 deepseek 曲线约从 0.35 升至 0.6 以上);71–76% 的攻击在优化中达到 matched,达到者的中位轮数为 3–5.5 轮,未达者用满 12 轮(Table 5、附录 A)。
其他消融与分析
- 攻击构成(Table 5):action-deflection/injection 为 104/79;participant 所有者占 43%(AppWorld)、47%(VitaBench)、69%(Terminal-Bench);payload 中位长度 354–480 字符。
- 生成成本(附录 A、G.3):三个基准的轨迹收集、策略生成、payload 优化分别约 $20、$28、$18,每个攻击 $0.32–$0.39;防御评测约 $87。
- effective ASR(Table 10):剔除确认未到达注入点的攻击后,None 行 ASR 为 58.5%(AppWorld)、47.0%(VitaBench)、52.6%(Terminal-Bench),排序与 net ASR 大体一致。
- 良性轨迹(Table 4):平均良性奖励 0.74(AppWorld)、0.85(VitaBench)、0.85(Terminal-Bench)。
有什么可以进一步探索的点?
作者列出文本限定与 LLM 依赖两类局限及三个后续方向;实验覆盖三个基准、五个骨干、单次运行。
作者指出的局限与后续方向
- 仅支持文本字段注入,尚未覆盖多模态注入面(Section 6 Limitations)。
- 流水线部分环节(依赖分析、攻击目标选择)重度依赖 LLM,难以完全验证(Section 6)。
- 后续方向:扩展到更广的攻击面、把 MetaPI 用于模型对齐、减少对 LLM 判断的依赖(Section 6)。
- 附录 G.5 补充:分析阶段(判断任务需要哪些写、段的所有者、目标是否越权)由 LLM 在显式规则与确定性检查下完成,仍可能出错,且错误改变的是存在哪些攻击而非如何打分;评测覆盖三个基准及其任务样本,每个数字是单次运行。
- 附录 E.2:CaMeL 的零 ASR 也反映集成与投递限制(许多运行未到达注入点、结构化 raw_response 可能优先于被修改文本),作者保留所报结果但将其与"每个 payload 都被投递并抵抗"的证据区分开。
实验覆盖范围
- 被测受害骨干模型为 deepseek-v4-flash、gpt-5.6-luna、kimi-k3、qwen3.7-flash、claude-sonnet-5 共 5 个,主结果表(Table 3)只用 deepseek-v4-flash;模型消融(Figure 5)在无防御下进行(Section 4.1、附录 G.2)。
- 防御评测覆盖 8 种开源防御,分提示、模型、检测、系统四类;CaMeL 在 VitaBench 上不可用、Meta-SecAlign 在 Terminal-Bench 上因 OOM 无结果(Table 3 脚注)。
- 攻击语料为三个基准各 50 个初选任务,最终 183 个攻击覆盖 107 个任务;Terminal-Bench 经人工筛选保留 30 个任务(Table 2、4)。
- 优化预算为 PAIR 式算法上限 12 轮;论文未报告重复次数,并说明报告数值为单次运行、运行间存在波动(Section 4.1、附录 G.3)。
- 论文讨论了多模态注入与运行中交互的攻击者为什么不适用:当前注入仅限工具观测的文本字段,攻击者为执行前放置内容的被动攻击者(Section 2、附录 G.5)。
总结一下论文的主要内容
MetaPI 把效用基准自动转成 IPI 评测;在三个基准上,作者称没有防御同时保持强效用与强安全。
MetaPI 是一个把智能体效用基准自动转换为端到端 IPI 评测套件的可扩展工具包,面向 IPI 安全基准落后于效用基准的问题。
- 要解决的问题:现有 IPI 基准规模小、场景静态、环境真实性不足,作者认为这限制了防御评测的规模与真实感。
- 方法要点:四模块流水线——Benchmark Connector 统一轨迹、Strategy Generator 按 owner-authority 威胁模型(区分 participant 与 bystander 注入位置)生成攻击目标与 rubric、Payload Optimizer 用 PAIR 式黑盒迭代优化 payload(上限 12 轮)、Outcome Validator 在真实环境从头重跑验证。
- 攻击语料:从 AppWorld、VitaBench、Terminal-Bench 各 50 个初选任务生成 183 个攻击,覆盖 107 个任务(Table 2)。
- 主结果(Table 3,deepseek-v4-flash 骨干):无防御 ASR 为 50.0%/45.9%/44.4%;Spotlighting 在 VitaBench 上 ASR 20.0%、Clean Uti 92.6%,但残余漏洞大;CaMeL 在 AppWorld 上 ASR 0.0% 但 Clean Uti 33.7%;Meta-SecAlign ASR 低至 2.1% 但 Clean Uti 仅 22.9%。作者称没有防御同时取得强效用与强安全。
- 其他发现:action-deflection 比 action-injection 更易成功(Figure 4);闭源模型作为受害者 ASR 仍高于 20%(Figure 5);gpt-5.6-luna 作为攻击者 ASR 仅 29%,作者归因于其安全对齐拒答。
- 作者结论:需要在智能体实际运行的多样环境与自适应攻击下评估 IPI 鲁棒性;作者希望 MetaPI 成为开放、可扩展的防御评测基础,并计划发布代码与配置(附录 G.1 注明公开版本在准备中)。