跳到正文
原文

MetaPI:从 LLM Agent 基准构建提示注入基准

MetaPI: Constructing Prompt Injection Benchmarks from LLM Agent Benchmark

arXiv:越狱、提示注入、投毒与防御· arXiv:2611.10026· Peiran Wang, Chong Xiang, Wenjie Qu, Ying Li, Jiaheng Zhang, G. Edward Suh, Yuan TianUniversity of California, Los Angeles; NVIDIA; University of California, Berkeley; National University of Singapore本站收录· 9 天前· 原文发表评测

论文速读

评测与基准

据论文 PDF 整理(AI 生成),以原文为准

作者提出 MetaPI,把 AppWorld 等智能体效用基准自动转成 IPI 评测套件;作者称在自适应攻击下没有防御能同时保持强效用与强安全。

问题
间接提示注入(IPI)基准在任务与环境覆盖上落后于快速演化的智能体效用基准,且攻击场景静态、狭窄,作者认为这限制了安全评测的规模与真实性。
方法
提出 meta-benchmarking:用 MetaPI 四模块流水线把效用基准自动转成端到端 IPI 评测,含注入点识别、基于 owner-authority 规则的目标生成、PAIR 式 payload 优化与真实环境验证。
实验与结果
在 AppWorld、VitaBench、Terminal-Bench 上生成 183 个攻击并评测 8 种防御;作者称没有防御能同时取得强效用与强安全,如 CaMeL 在 AppWorld 上 ASR 0.0% 但 Clean Uti 仅 33.7%。
局限与可以继续做的
作者指出的局限:仅覆盖文本注入面、不含多模态;流水线部分环节依赖 LLM 判断难以完全验证。实验覆盖三个基准各 50 个初选任务,报告数值为单次运行。
实验设置deepseek-v4-flash、gpt-5.6-luna 等 · AppWorld、VitaBench 等 · ASR (net / effective)、Clean Utility 等
威胁模型
被动攻击者在任务执行前把 payload 放入环境外部数据,不与运行中的智能体交互;采用强攻击者模型:可知道目标智能体与防御设计、骨干 LLM、基准环境,某些设置下还知道用户任务;只能修改自己拥有或控制的可变外部数据段。注入位置分 participant(任务依赖其内容)与 bystander(偶然遇到),participant 位置的攻击目标必须越过 owner-authority 边界。
被测模型
deepseek-v4-flashgpt-5.6-lunakimi-k3qwen3.7-flashclaude-sonnet-5Meta-SecAlignDataSentinel
基准
AppWorldVitaBenchTerminal-Bench
指标
ASR (net / effective)Clean UtilityToken usage
AI 导读研究者提出 MetaPI,用元基准测试方法把现有 LLM Agent 能力基准改造成端到端的间接提示注入(IPI)评测套件,复用其真实任务、环境和基础设施。该工具包可自动识别合理的注入点、生成真实的攻击目标、优化自适应攻击载荷并在真实环境中验证攻击,模块化接口支持接入异构环境、Agent、防御和攻击算法,无需重新设计评测流程。作者将 MetaPI 应用于 AppWorld、VitaBench 和 Terminal-Bench,在多个骨干 LLM 上评测了代表性 Agent 与防御,结果显示在真实、自适应的 Agent 间接提示注入场景中,没有任何被评测的防御能同时做到强实用性与强安全性。

研究者提出 MetaPI,用元基准测试方法把现有 LLM Agent 能力基准改造成端到端的间接提示注入(IPI)评测套件,复用其真实任务、环境和基础设施。该工具包可自动识别合理的注入点、生成真实的攻击目标、优化自适应攻击载荷并在真实环境中验证攻击,模块化接口支持接入异构环境、Agent、防御和攻击算法,无需重新设计评测流程。作者将 MetaPI 应用于 AppWorld、VitaBench 和 Terminal-Bench,在多个骨干 LLM 上评测了代表性 Agent 与防御,结果显示在真实、自适应的 Agent 间接提示注入场景中,没有任何被评测的防御能同时做到强实用性与强安全性。

相关热点

1 个事件 · 1 条新闻提到

提到这篇论文的新闻

模安局盘点NeurIPS 2026 AI安全七大研究重点

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    IPI 安全基准落后于效用基准,作者提出把效用基准自动转成 IPI 评测套件的 meta-benchmarking。

    核心问题:IPI 安全评测如何跟上快速演化的智能体效用基准,在真实、多样的环境中评估防御。

    • 问题场景:LLM 智能体使用高权限工具完成复杂任务,外部内容(邮件、网页、工具输出)中嵌入的恶意指令可造成间接提示注入(IPI),带来非预期的高风险操作(Section 1)。
    • 现有基准的不足:作者称 IPI 基准规模小、演化慢——AgentDojo 只有 97 个良性任务、4 个内存内 Python 模拟环境,而效用基准(如 Terminal-Bench、EnterpriseOps-Gym)在任务数和环境真实性上发展快得多;现有 IPI 基准对动态攻击目标和自适应 payload 优化支持有限(Section 1、5)。
    • 核心观察:IPI 不局限于特定领域,凡智能体读取并依据外部内容行动处都有攻击面;效用基准已提供多样任务、工具、有状态环境和成功判据,复用它们可让安全评测继承其广度与持续演化(Section 1)。
    • 威胁模型:攻击真实感取决于数据的所有者与权限。
      • 目标:在注入位置放置 payload,使智能体执行越过所有者权限的恶意目标。
      • 知识:强攻击者模型——可知道目标智能体与防御设计、骨干 LLM、基准环境,某些设置下知道用户任务。
      • 能力:被动攻击者,任务执行前放置 payload,只能修改自己拥有或控制的可变外部数据段,不能改用户提供或智能体生成的内容。
      • 受害系统:在 AppWorld、VitaBench、Terminal-Bench 等基准环境中运行、读取外部内容并调用高权限工具的 LLM 智能体。
    • 论文提出:MetaPI——一个可扩展工具包,自动识别注入点、按 owner-authority 规则生成攻击目标、优化自适应 payload,并在真实环境中端到端验证(Section 1、3)。
  2. 有哪些相关研究?

    相关工作分四组:效用基准、IPI 基准、注入攻击与优化、IPI 防御;作者以可扩展的元生成框架定位自身。

    智能体效用基准

    • AppWorld、SWE-Bench、OSWorld、Terminal-Bench 及 MCP 类基准(MCP-Universe、MCP-Bench、MCPMark)——提供多样任务与真实环境;MetaPI 兼容这些基准,借其持续演化构建 IPI 测试床(Section 5)。

    IPI 基准

    • AgentDojo、InjecAgent、ASB、BIPIA、AgentDyn、WASP、PIArena、LivePI——论文称它们规模较小、演化较慢,对多步智能体环境中的动态攻击目标和自适应 payload 优化支持有限(Section 5)。
    • 并发工作 AutoDojo 把自适应注入优化引入 AgentDojo,DecodingTrust-Agent (DTap) 扩展了领域与环境覆盖;论文称两者仍绑定预定义基准环境,可能难以跟上智能体能力演化(Section 5)。

    提示注入攻击与优化

    • Greshake 等(2023)等在多种 LLM 应用中演示 IPI;优化类攻击包括 PAIR(Chao 等,2025)、Nasr 等(2025)的自适应攻击、PISmith 与 RL 类方法——论文称迭代式方法在复杂智能体设置中尤其有效,MetaPI 为这类算法提供统一接口(Section 3.3、5)。

    IPI 防御与安全架构

    • 提示级(Spotlighting)、模型级(Meta-SecAlign)、检测类(PromptArmor、DataSentinel、MELON)、系统级(CaMeL、ProGent 等);论文引用多篇 SoK 作综述,并选取各类有开源实现的代表方法做实验(Section 5)。

    基线与基准:实验对照的防御为 Sandwiching、Spotlighting、Meta-SecAlign、DataSentinel、MELON、PromptArmor、CaMeL、DRIFT 八种;转换对象是 AppWorld、VitaBench、Terminal-Bench 三个效用基准(Section 4.1)。

    作者定位:与绑定固定安全环境的既有 IPI 基准不同,MetaPI 把现有效用基准转成 IPI 基准,作者称其为首个横跨环境、智能体、防御、攻击算法四个维度的统一 IPI 评测平台(Section 1、5)。

  3. 论文如何解决这个问题?

    MetaPI 用四模块流水线把效用基准转成 IPI 评测:连接基准、生成攻击策略、优化 payload、真实环境验证。

    整体思路:以 MetaPI 四模块流水线(Figure 1)复用效用基准的任务、环境与判据,自动生成并端到端验证 IPI 攻击,模块化接口支持异构环境、智能体、防御与攻击算法。

    威胁模型形式化

    • 动作分类:necessary write(改变环境且任务必需)、necessary read(为 write 提供所需信息)、accidental read(其余读动作)(Section 2)。
    • 数据段与所有者:每次读观测按来源切分为 segment,每段关联一个 owner;necessary read 中任务依赖的段为 necessary segment,其余为 accidental segment。
    • 注入规则:accidental segment 的注入者是 bystander,目标不受限;necessary segment 的注入者是 participant,目标必须越过其合法权限(owner-authority rule,Table 1 给出正例与反例)。
    • 目标分类:action-deflection(重定向智能体本要执行的 write)与 action-injection(诱发额外动作),与所有者维度正交。

    M1 Benchmark Connector

    • 在基准环境中运行目标智能体,把执行轨迹转成统一格式;通过轻量 benchmark adapter(轨迹统一器、环境描述器、基准专用提示词)接入不同基准(Section 3.1)。
    • 实现上为统一的 observe–think–act 运行时,40 步预算,防御通过六个 hook 阶段挂载(附录 B.1)。

    M2 Strategy Generator

    • 用 LLM 分析智能体(analyzer agent,10 个工具、最多 60 次模型调用)执行四阶段:识别 necessary write → 追溯依赖的读与值的所有者 → 选择注入位置 → 生成目标与评分 rubric(附录 B.2)。
    • rubric 优先确定性判定(检查工具调用及参数),语义性目标才用 LLM judge。
    • 三道质量检查:feasibility(位置可变且不破坏观测结构)、harmfulness(目标恶意且 participant 位置越权)、scoreability(成功条件具体、良性运行中不成立),不通过即丢弃(Section 3.2)。

    M3 Payload Optimizer

    • 黑盒迭代:propose–inject–observe–refine 循环,统一接口支持遗传式、反馈精炼、RL 等不同更新规则(Section 3.3)。
    • 实验用 PAIR 式算法,上限 12 轮,攻击者模型温度 0.7;每轮在真实环境中重放良性前缀、注入候选 payload、让受害智能体在注入点后 4–10 步窗口内行动,再按四档阶梯(not called / wrong tool / right tool wrong args / matched)打分,仅 matched 计 1.0(附录 B.3)。
    • 可选自适应攻击:向攻击者 LLM 提供目标智能体与防御机制的描述。

    M4 Outcome Validator

    • 把优化后的 payload 注入原始环境从头重跑(from-scratch 模式,防御全程在位),用基准自身协议评效用、用 rubric 评攻击成功(Section 3.4、附录 B.4)。
    • 论文实验均用 proxy 投递模式(替换观测字符串中的锚点);基线运行已满足攻击判据的攻击被排除,防止无 payload 也算成功。
  4. 论文做了哪些实验?

    在三个基准上生成 183 个攻击、评测 8 种防御;作者称无防御同时取得强效用与强安全。

    实验设置

    • 被测模型:受害智能体骨干默认 deepseek-v4-flash,另有 gpt-5.6-luna、kimi-k3、qwen3.7-flash、claude-sonnet-5;Meta-SecAlign 防御使用 Llama-3.1-8B-Instruct 加 Meta-SecAlign-8B 适配器(附录 G.2)。
    • 基准:AppWorld、VitaBench、Terminal-Bench 各初选 50 个任务;Terminal-Bench 人工筛选后保留 30 个进入流水线、收集到 27 条良性轨迹(Section 4.1、Table 4)。
    • 攻击语料:owner-authority 规则与质量检查过滤后共 183 个攻击(AppWorld 51、VitaBench 87、Terminal-Bench 45),覆盖 107 个任务(Table 2)。
    • 防御:Sandwiching、Spotlighting(提示级),Meta-SecAlign(模型级),DataSentinel、MELON、PromptArmor(检测级),CaMeL、DRIFT(系统级),均移植自开源实现(Section 4.1、附录 D)。
    • 指标:ASR(攻击成功率,工具调用类目标只要求发起带所需参数的恶意调用,不要求执行成功)、Clean Uti(无攻击运行的任务完成奖励)、Tok(token 用量相对 None 的倍数);主表用 net ASR(固定攻击集为分母),附录 H 报 effective ASR(剔除确认未到达注入点的攻击)(Section 4.1、附录 H)。
    • 评审方式:确定性 tool_call rubric 为主(149/183),其余用 LLM judge(deepseek-v4-flash,指示严格判定);VitaBench 效用由 LLM rubric judge 评(附录 B.4、C.2)。
    • 攻击设置:攻击者 LLM 默认 deepseek-v4-flash(温度 0.7),PAIR 式优化上限 12 轮;报告数值为单次运行(附录 G.3)。

    主结果

    据 Table 3(common task subsets,受害骨干 deepseek-v4-flash,net ASR / Clean Uti / Tok):

    表格较宽,可左右滑动

    防御AppWorld ASRAppWorld UtiVitaBench ASRVitaBench UtiTerminal-Bench ASRTerminal-Bench Uti
    None50.082.545.996.044.482.2
    Sandwiching20.873.624.788.822.268.9
    Spotlighting25.080.420.092.637.877.8
    Meta-SecAlign2.122.911.813.6N/AN/A
    DataSentinel41.777.143.592.528.973.3
    MELON35.465.125.988.526.766.7
    PromptArmor35.478.043.590.535.682.2
    CaMeL0.033.7N/AN/A0.00.0
    DRIFT22.970.518.883.78.968.9
    • 作者称没有防御在两个轴上都表现好:Spotlighting 降 ASR 且大致保住效用但残余漏洞大;CaMeL 把 ASR 降到 0 但效用损失大;Meta-SecAlign 的 ASR 低但 Clean Uti 只有 22.9%/13.6%(其骨干为 Llama,与 DeepSeek 的 None 行不直接可比,Table 3 脚注 a)。
    • 作者称 PromptArmor、MELON、Meta-SecAlign、DRIFT 在 AgentDojo 等基准上报告过近零 ASR 且效用接近无防御,但在本设置下表现不足。
    • CaMeL 与 VitaBench 的用户模拟器不兼容(Table 3 脚注 b);附录 E.2 指出其零 ASR 也反映集成与投递限制,许多运行未到达注入点。

    注入位置与目标类型分析

    • 注入位置:Figure 3(AppWorld、deepseek)中 necessary 与 accidental 位置的平均 ASR 相近(图上标注:None 行 55 vs 46),差异方向随防御而变;作者认为一种可能解释是 necessary 位置内容更相关但受 owner-authority 约束更严。
    • 目标类型:Figure 4 中 action-deflection 的 ASR 高于 action-injection(None 行 56 vs 36;CaMeL、DRIFT 等行类似趋势);作者称 deflection 适用任务更少但更易成功,injection 适用面更广但更难成功,两类都重要。

    模型消融与优化过程

    • 受害/攻击者模型(Figure 5,AppWorld,无防御):作为受害者,gpt-5.6-luna(50%)、claude-sonnet-5(28%)、kimi-k3(24%)等闭源模型与 kimi-k3 更鲁棒,但 ASR 仍高于 20%;作为攻击者,deepseek(65%)、kimi-k3(53%)、claude-sonnet-5(50%)攻击能力更高,gpt-5.6-luna 仅 29%——作者称原因是其安全对齐使其拒绝生成注入 payload。
    • 优化收敛:Figure 6、7 显示平均 best-so-far 优化分数随轮次上升并在少数几轮内收敛(图上 deepseek 曲线约从 0.35 升至 0.6 以上);71–76% 的攻击在优化中达到 matched,达到者的中位轮数为 3–5.5 轮,未达者用满 12 轮(Table 5、附录 A)。

    其他消融与分析

    • 攻击构成(Table 5):action-deflection/injection 为 104/79;participant 所有者占 43%(AppWorld)、47%(VitaBench)、69%(Terminal-Bench);payload 中位长度 354–480 字符。
    • 生成成本(附录 A、G.3):三个基准的轨迹收集、策略生成、payload 优化分别约 $20、$28、$18,每个攻击 $0.32–$0.39;防御评测约 $87。
    • effective ASR(Table 10):剔除确认未到达注入点的攻击后,None 行 ASR 为 58.5%(AppWorld)、47.0%(VitaBench)、52.6%(Terminal-Bench),排序与 net ASR 大体一致。
    • 良性轨迹(Table 4):平均良性奖励 0.74(AppWorld)、0.85(VitaBench)、0.85(Terminal-Bench)。
  5. 有什么可以进一步探索的点?

    作者列出文本限定与 LLM 依赖两类局限及三个后续方向;实验覆盖三个基准、五个骨干、单次运行。

    作者指出的局限与后续方向

    • 仅支持文本字段注入,尚未覆盖多模态注入面(Section 6 Limitations)。
    • 流水线部分环节(依赖分析、攻击目标选择)重度依赖 LLM,难以完全验证(Section 6)。
    • 后续方向:扩展到更广的攻击面、把 MetaPI 用于模型对齐、减少对 LLM 判断的依赖(Section 6)。
    • 附录 G.5 补充:分析阶段(判断任务需要哪些写、段的所有者、目标是否越权)由 LLM 在显式规则与确定性检查下完成,仍可能出错,且错误改变的是存在哪些攻击而非如何打分;评测覆盖三个基准及其任务样本,每个数字是单次运行。
    • 附录 E.2:CaMeL 的零 ASR 也反映集成与投递限制(许多运行未到达注入点、结构化 raw_response 可能优先于被修改文本),作者保留所报结果但将其与"每个 payload 都被投递并抵抗"的证据区分开。

    实验覆盖范围

    • 被测受害骨干模型为 deepseek-v4-flash、gpt-5.6-luna、kimi-k3、qwen3.7-flash、claude-sonnet-5 共 5 个,主结果表(Table 3)只用 deepseek-v4-flash;模型消融(Figure 5)在无防御下进行(Section 4.1、附录 G.2)。
    • 防御评测覆盖 8 种开源防御,分提示、模型、检测、系统四类;CaMeL 在 VitaBench 上不可用、Meta-SecAlign 在 Terminal-Bench 上因 OOM 无结果(Table 3 脚注)。
    • 攻击语料为三个基准各 50 个初选任务,最终 183 个攻击覆盖 107 个任务;Terminal-Bench 经人工筛选保留 30 个任务(Table 2、4)。
    • 优化预算为 PAIR 式算法上限 12 轮;论文未报告重复次数,并说明报告数值为单次运行、运行间存在波动(Section 4.1、附录 G.3)。
    • 论文讨论了多模态注入与运行中交互的攻击者为什么不适用:当前注入仅限工具观测的文本字段,攻击者为执行前放置内容的被动攻击者(Section 2、附录 G.5)。
  6. 总结一下论文的主要内容

    MetaPI 把效用基准自动转成 IPI 评测;在三个基准上,作者称没有防御同时保持强效用与强安全。

    MetaPI 是一个把智能体效用基准自动转换为端到端 IPI 评测套件的可扩展工具包,面向 IPI 安全基准落后于效用基准的问题。

    • 要解决的问题:现有 IPI 基准规模小、场景静态、环境真实性不足,作者认为这限制了防御评测的规模与真实感。
    • 方法要点:四模块流水线——Benchmark Connector 统一轨迹、Strategy Generator 按 owner-authority 威胁模型(区分 participant 与 bystander 注入位置)生成攻击目标与 rubric、Payload Optimizer 用 PAIR 式黑盒迭代优化 payload(上限 12 轮)、Outcome Validator 在真实环境从头重跑验证。
    • 攻击语料:从 AppWorld、VitaBench、Terminal-Bench 各 50 个初选任务生成 183 个攻击,覆盖 107 个任务(Table 2)。
    • 主结果(Table 3,deepseek-v4-flash 骨干):无防御 ASR 为 50.0%/45.9%/44.4%;Spotlighting 在 VitaBench 上 ASR 20.0%、Clean Uti 92.6%,但残余漏洞大;CaMeL 在 AppWorld 上 ASR 0.0% 但 Clean Uti 33.7%;Meta-SecAlign ASR 低至 2.1% 但 Clean Uti 仅 22.9%。作者称没有防御同时取得强效用与强安全。
    • 其他发现:action-deflection 比 action-injection 更易成功(Figure 4);闭源模型作为受害者 ASR 仍高于 20%(Figure 5);gpt-5.6-luna 作为攻击者 ASR 仅 29%,作者归因于其安全对齐拒答。
    • 作者结论:需要在智能体实际运行的多样环境与自适应攻击下评估 IPI 鲁棒性;作者希望 MetaPI 成为开放、可扩展的防御评测基础,并计划发布代码与配置(附录 G.1 注明公开版本在准备中)。

相关论文

共同使用 AppWorld
共同使用 Terminal-Bench
阅读原文arxiv.org