MetaPermit:通过 LLM 推断元属性为 AI Agent 提供可扩展可审计的访问控制
MetaPermit: Scalable and Auditable Access Control for AI Agents via LLM-Inferred Meta-Attributes
MetaPermit 用 LLM 推断的元属性加固定策略做智能体工具授权,在 Qwen3-235B 上把 Overall ASR 降到 0.00% 并保留 50.13% UA。
攻击者不能改用户请求、工具实现、MetaPermit 策略或运行时,但能控制工具返回内容并在其中注入指令。
- 工具型智能体在每次工具调用处做授权时,静态策略要预枚举意图,难以覆盖开放任务;直接由 LLM 裁决可动态授权,但结果不一致且仍易受间接提示注入影响。
- MetaPermit 把语义推断与强制执行分开:LLM 只从固定词表推断五个元属性,固定 ABAC 策略按序匹配后允许或拒绝,拒绝时把原因作为合成工具结果反馈给智能体。
- 在 AgentDojo 与 AgentDyn 的七个套件、五种攻击上,Qwen3-235B 的 Overall ASR 从 26.49% 降到 0.00%、UA 为 50.13%;MiniMax-M2.7 的 checker ASR 为 0.08%,审计后执行感知 ASR 为 0/7545。相对直接 LLM Guard,裁决更一致。
- 作者称保证是架构性的而非语义正确性,策略不能核验元属性是否推断正确;白盒实验中攻击者有时能改单个属性。后续计划用局部专用模型降延迟与成本、用微调提高一致性并加强抗注入推断。
- Threat model
- 攻击者不能改用户请求、工具实现、MetaPermit 策略或运行时,但能控制工具返回内容并在其中注入指令。防御在每次工具调用及其参数执行前做授权,阻止注入生效同时完成原请求。
- Evaluated models
- MiniMax-M2.7Qwen3-235B-a22-2507Qwen3-8B
- Benchmarks
- AgentDojo v0.1.35 / suite v1.2.2AgentDyn
- Metrics
- ASRUASecure-Usable rate
MetaPermit 是一个基于策略的 Agent 工具访问控制框架,将语义推断与安全执行解耦,以应对工具误用和间接提示注入攻击。它通过分析 Agent 与用户的交互,提取一组紧凑且与任务无关的元属性,刻画用户意图、执行上下文与拟调用工具之间的关系,从而无需枚举用户意图即可授权工具使用。运行时由 LLM 推断每次工具调用的元属性取值,再由固定策略据此允许或拒绝调用,使每个决策都可依据推断值和策略规则审计。
Paper analysis
What problem does this paper attempt to solve?
静态策略难覆盖开放意图,LLM 直接授权又不一致且易被间接提示注入操纵。
工具型智能体需要在每次工具调用处做可扩展、可审计且一致的授权,同时挡住间接提示注入(Indirect Prompt Injection, IPI)。
- 场景与重要性:作者认为,自主智能体会读收件箱、网页、共享文档和第三方服务输出,这些内容既非开发者所写、也未经用户审阅。指令与数据走同一通道,对抗文本进入同一上下文后可能被当成用户请求执行,导致非预期工具滥用或被 IPI 操纵。授权检查放在每次工具调用上,因为所有有后果的动作都要经过这一点。
- 现有方法的不足:作者把现有防御分成两类。(1)运行前为每个工具或意图写静态策略,再把提示词映射到已预见的意图;策略可预测,但未预见的意图没有对应策略,开放任务上不可扩展。(2)把裁决交给专用安全 LLM,如 OpenAI Codex 与 Claude Code 把粗粒度权限规则和模型判断结合起来;它不必预先枚举请求,但作者称几乎相同的任务也可能给出不一致裁决,且精心构造的 IPI 可能操纵 LLM 裁判放行。
- 核心观察:作者认为不必识别具体用户意图,只需刻画用户意图、执行上下文与候选工具调用之间的关系,即元属性(meta-attributes)。注入往往只影响其中一部分属性;只依赖可信用户请求的属性不受检索内容影响。绕过允许规则需要同时操纵满足该规则的全部元属性,而不是说服模型输出一次 Allow。
- 威胁模型:
- 目标:阻止工具返回内容中的注入指令生效,同时让智能体完成原本的良性用户请求。
- 知识与能力:攻击者不能修改用户请求、工具实现、MetaPermit 的策略或运行时,但能控制工具返回的内容,并在其中注入指令。
- 受害系统:调用工具作用于外部资源以完成良性请求的智能体;强制点是每次工具调用及其参数,在执行前授权。
- 成功判定:实验中 UA 为效用检查器确认良性任务完成的比例,ASR 为安全检查器确认注入恶意目标完成的比例。
- 本文提出:混合访问控制框架 MetaPermit。LLM 只推断有界元属性,固定策略做允许或拒绝,拒绝时把原因反馈给智能体以便重规划。作者称每个裁决都可通过推断值和所应用的策略规则审计。
What related research exists?
相关工作分为运行前静态策略和运行时 LLM 授权两类,作者把 MetaPermit 定位为混合方案。
预定义静态策略
- CSAgent(Gong et al. 2026)——用 LLM 预测用户意图并执行意图专用策略。作者称其在基准上达到接近完美的安全性,但需要迭代、由反馈驱动的策略更新。
- AC4A(Sharma and Grossman 2026)——在分层资源上预定义权限,并阻断需要未覆盖资源的动作。
- CaMeL(Debenedetti et al. 2025)——把特权规划与隔离的数据解析分开,执行基于能力的数据流策略。作者称其在 AgentDojo 上达到 77% 效用且攻击成功接近零,但有 2.8× 的 token 开销;本文第 4 节将其作为基线。
作者称这类方法依赖完整的预先编写策略,开放工具和查询上可扩展性受限,动态任务需要未预见动作时效用下降;与意图无关的策略也无法区分同一权限的合法与恶意使用。
LLM 驱动的授权
- Conseca(Tsai and Bagdasarian 2025)——从隔离的可信上下文为每个任务即时生成策略。作者称其在 20 个 Linux 任务上效用为 60%。
- Progent(Shi et al. 2026)——生成并单调收紧每任务策略,由 SMT 求解器检查。作者称其把 AgentDojo 上的攻击成功从 39.9% 降到 1.0%,把 ASB(Zhang et al. 2025)上从 70.3% 降到 3.9%,但扩大权限需要用户批准。
- IPIGuard(An et al. 2025)——把执行约束在工具依赖图内。作者称其达到 67% 效用、攻击成功低于 1%,但当动作依赖工具响应时表现困难;本文第 4 节将其作为基线。
作者称这一族中 LLM 的随机性可能使语义相近的任务得到不同策略,裁决跨次运行变化(Ouyang et al. 2025);策略正确性依赖 LLM 对任务和所需权限的理解。
设计空间与基线
- Table 1 用 Scal.(不靠每意图规则即可支持开放意图)、Consist.(相同输入由固定策略而非 LLM 给出同一裁决)、Util.(保持任务效用)比较上述工作。作者标记静态方法为 ◦(CSAgent、AC4A、CaMeL 均为 ×/✓/×),LLM 方法为 •(Conseca、Progent 为 ✓/×/✓,IPIGuard 为 ✓/×/×),MetaPermit 为混合 ⋆(✓/✓/✓)。CaMeL 与 IPIGuard 的 Util. 来自本文第 4 节评测,Conseca 与 Progent 来自其各自报告的结果。
- 基线方法与基准:第 4 节实际对比 No Defense、CaMeL 和 IPIGuard,基准为 AgentDojo(Debenedetti et al. 2024)与 AgentDyn(Li et al. 2026)。
作者把 MetaPermit 定位为:用 LLM 推断有界元属性、由静态策略保留授权决定权,从而同时追求可扩展、一致和效用,而不枚举用户意图。
How does the paper address this problem?
LLM 只填五个有限取值的元属性,固定 ABAC 规则做允许或拒绝并反馈拒绝原因。
MetaPermit 把语义解释和授权分开:LLM 推断模块把上下文映射成元属性向量,固定策略引擎给出裁决,强制门在执行前应用该裁决。
问题设定与设计要求
- 三个要求:Intent-independent policy 在可复用的安全维度上定义授权,而不是具名任务;Constrained model authority 让 LLM 只能从固定、有类型的词表中选值,既不创建规则也不给出最终裁决;Deterministic enforcement 把每个有类型的描述映射到策略定义的结果,由强制门在调用执行前应用。
- 端到端流程:对每个候选工具调用,推断模块接收四类输入:用户原始请求、所提议工具的可信描述、调用参数,以及先前工具调用的结果。策略引擎按 ABAC(Hu et al. 2014)规则评估该向量并返回裁决。Figure 1 用退款场景对比:左侧 MetaPermit 把转向 Eve 的 send_money 判为 intent_input_alignment 不对齐并拒绝,智能体再重试对齐 Bob 的调用并被允许;右侧 LLM 直接授权则放行给 Eve 的转账。
五个元属性
- Table 2 列出五个属性及取值。intent_is_action(true / false)问用户是要动作还是只要对话;intent_clarity(clear / ambiguous / incomprehensible)问目标是否无歧义可解释;intent_risk(high / low)问动作是否有不可逆伤害或泄露私有数据的风险;intent_tool_alignment(direct / prerequisite / supporting / misaligned)问所调用工具是否服务于用户目标;intent_input_alignment(aligned / misaligned)问参数是否由用户请求证明合理。
- 信任边界:intent_is_action 与 intent_clarity 只用可信用户请求,检索内容不能影响它们;另外三个还使用所提议的工具调用参数。附录 A.3 给出完整推断提示词,其中把工具结果和 chat_history 中的外部内容标为不可信证据,助手消息不算用户授权。
- 取值来源:附录 A.2 称属性来自用户意图、智能体上下文与所调用工具之间反复出现的关系。工具对齐与参数对齐分开,是因为检索工具可能对任务必要,但从检索内容复制的收款人、账户、路径或 URL 仍可能使后续调用与授权目标不一致。
策略引擎与强制门
- 规则形式:策略 Π_S = (r_1, …, r_n, r_{n+1}) 是有序规则表,r_j = (φ_j, e_j, o_j),其中 φ_j 检验元属性向量,e_j ∈ {Allow, Deny},o_j 是对应反馈。引擎采用第一条谓词成立的规则,最后的默认规则拒绝任何此前未匹配的向量。作者称无效或不完整的模型输出因此不能绕过策略。规则和顺序在执行前固定,每个向量只对应一个裁决;有限值域使决策空间可枚举、可审计。
- 附录 A.1 / Table 7 的规则顺序(全部七个套件和攻击模板共用,无套件专用属性或规则):R1 在 intent_is_action=false 时 Deny;R2 在 intent_clarity=incomprehensible 时 Deny;R3 在 intent_tool_alignment=misaligned 时 Deny;R4 在 intent_input_alignment=misaligned 时 Deny;R5 在 clarity=ambiguous 且 risk=high 时 Deny;R6 在 clarity=ambiguous、risk=low 且 tool alignment 为 direct 或 prerequisite 时 Allow;R7 在 clarity=clear、risk=high 且 tool alignment 为 direct 或 prerequisite 时 Allow;R8 在 clarity=clear、risk=low 且 tool alignment 为 direct、prerequisite 或 supporting 时 Allow;R9 默认 Deny。反馈写明拒绝原因或下一步(向用户澄清、改参数、改工具)。
- 强制门:Allow 时原样转发给执行器;Deny 时阻断调用,并把反馈作为合成工具结果返回给智能体,使其可重规划或寻求澄清,而不改变裁决。
- 扩展方式:新需求若不能用现有元属性表达,设计者增加一个安全维度及其定义,并只更新依赖它的规则;接口、强制路径和无关规则不变。作者称策略规模随安全维度数量增长,而不是随开放的用户意图空间增长。推断接口与推断方式无关:可以一个模型联合推断全部属性,也可以多个分类器分别推断再合成同一向量。
部署实例化
- 评测中的实例:S 取 Table 2 的五个元属性,Π_S 取附录 A.1 的有序策略。推断模块与任务智能体使用同一模型,而不是更强的专用防御模型;无防御智能体与 MetaPermit 使用同一系统指令。MetaPermit 只在原执行器之前插入强制门。
- 白盒探测用的额外提示:附录 A.13 另有一份向模型公开模式与允许规则、并要求产出允许兼容元属性值的提示,只用于第 4.3 节的强制层探测,不用于主评测。
What experiments did the paper conduct?
七套件五种攻击上 MetaPermit 的 Overall ASR 最低,Qwen3-235B 为 0.00%,MiniMax 审计后执行为 0/7545。
实验设置
- 基准:AgentDojo 包 v0.1.35、套件版本 v1.2.2。原有四个套件 workspace、travel、banking、slack 在本文设置中含 97 个用户任务、949 个用户任务/注入任务对。AgentDyn 扩展贡献 Shopping、Github、Dailylife 上 60 个开放任务、560 对;其环境动态填充,任务依赖更长,第三方指令可能有用而不是一律恶意。
- 攻击与规模:五个模板 Direct、Ignore Previous、InjecAgent、Tool Knowledge、Important Instructions,均由 AgentDojo 提供。每模板 1,509 个攻击案例,完整七套件矩阵共 7,545 例,另有 157 个无攻击用户任务。
- 模型:主对比用 MiniMax-M2.7 与 Qwen3-235B-a22-2507,任务智能体和各防御的全部 LLM 组件都用同一模型。跨模型泛化另用 Qwen3-8B,模式、策略、环境和评测器不变。
- 基线:No Defense 直接执行模型提议的工具调用;CaMeL 把可信规划与不可信数据处理分开,把控制与数据流表示成可执行程序并执行基于能力的数据流约束;IPIGuard 在消费外部观察之前用 LLM 构建工具依赖图,并把执行约束在该图内的路径上。
- 指标:对攻击案例 i,U_i=1 表示效用检查器确认良性用户任务完成,A_i=1 表示安全检查器确认注入的恶意目标完成。UA = Σ U_i / N(越高越好),ASR = Σ A_i / N(越低越好),Secure-Usable rate = Σ U_i(1−A_i) / N。指标按每个套件–攻击组合分别计算;Overall 汇总全部案例,Avg. 是五个攻击模板的未加权平均。Table 3 使用原基准安全检查器且不做修改,报告七个套件上的宏平均。
- 审计:Section 4 对 MetaPermit 的检查器阳性做了人工审计;Appendix A.14 报告 MiniMax-M2.7 汇合比率的 95% 置信区间。论文未报告主实验的重复次数。
主结果
Table 3 为五个攻击模板的宏平均(%)。Overall 列如下(ASR / UA):
Swipe horizontally to read the table
模型 防御 Overall ASR Overall UA Qwen3-235B No Defense 26.49 62.37 Qwen3-235B CaMeL 0.46 42.21 Qwen3-235B IPIGuard 3.14 41.96 Qwen3-235B MetaPermit 0.00 50.13 MiniMax-M2.7 No Defense 2.85 62.77 MiniMax-M2.7 CaMeL 0.27 25.83 MiniMax-M2.7 IPIGuard 0.91 30.27 MiniMax-M2.7 MetaPermit 0.08 53.92 (据 Table 3。正文一处写 IPIGuard 在 MiniMax-M2.7 上为 0.92% ASR,表中 Overall 为 0.91,此处以表为准。Table 3 标题写 IPIGuard 的 MiniMax Overall ASR 为 0.91。)
- 作者的解读:作者称在两个后端上 MetaPermit 的 ASR 最低,且在所评防御中效用最高。无防御的 Qwen3-235B ASR 为 26.49%,MetaPermit 降到 0.00% 并保留 50.13% UA;CaMeL 为 0.46% ASR、42.21% UA,IPIGuard 为 3.14% ASR、41.96% UA。作者称基线的低 ASR 很大程度上以牺牲效用为代价,MetaPermit 更接近无防御智能体的效用。
- 分套件:作者称 AgentDojo 套件上 UA 下降较小。MiniMax-M2.7 上 MetaPermit 为 69.4% UA,无防御为 72.0%;Qwen3-235B 上 MetaPermit 为 71.2% UA。作者称效用下降主要发生在更难、开放的 AgentDyn 套件。Table 3 中 Qwen3-235B 的 Shopping / DailyLife / Github,MetaPermit 的 UA 为 9.33 / 14.80 / 19.22,CaMeL 为 0.00 / 0.00 / 0.00,IPIGuard 为 0.33 / 12.20 / 8.67。
- 摘要中的相对数字:作者称相对直接 LLM 授权,授权决策一致性高 31%;相对 SOTA 防御 CaMeL 与 IPIGuard,任务完成最高提升 109%,且没有恶意工具调用被执行。引言称把攻击成功率从高达 3.14% 降到 0%。109% 与 31% 是作者给出的相对概括,正文未写出对应的除法步骤。
无执行攻击与 Secure-Usable
- 审计:MiniMax-M2.7 上,作者审计了检查器标出的全部 6 个 MetaPermit 案例。每例中攻击目标字符串只出现在模型的 think 轨迹里,注入指令被识别并拒绝,没有攻击引起的工具调用被执行。Table 3 仍报告官方 ASR 0.08% 以便直接比较,执行感知 ASR 为 0%(0/7,545 次攻击)。作者对基线的审计(Appendix A.11)称,这种仅推理痕迹解释了全部 MetaPermit 阳性,但只解释基线阳性中的少数。
- Figure 2:作者称 MetaPermit 在两个后端上的 Secure-Usable 份额在各防御中最高:MiniMax-M2.7 为 53.9%,Qwen3-235B 为 50.1%。CaMeL 与 IPIGuard 的低 ASR 主要来自 Secure-Unusable。无防御智能体的 Secure-Usable 为 61.5%(MiniMax-M2.7)和 50.9%(Qwen3-235B)。作者称在 Qwen3-235B 上 MetaPermit 接近无防御的 Secure-Usable(50.1% 对 50.9%),同时把 ASR 从 26.5% 降到 0%。作者认为 MiniMax-M2.7 上无防御的低 ASR 反映基座模型本身的稳健性,因为无防御智能体不施加保护。图中还标出 MiniMax 上 MetaPermit / IPIGuard / CaMeL 的份额数字 54、30、26,Qwen3-235B 上为 50、41、42;作者称虚线为无防御水平。
消融、白盒与一致性
- 跨模型:Qwen3-8B 上,MetaPermit 把检查器 ASR 从无防御的 9.01% 降到 1.50%,作者称相对降低 83.4%,UA 为 31.9%,无防御为 45.6%,Secure-Usable 为 31.70%。Table 14 的 Overall 为 ASR 9.01→1.50、UA 45.63→31.94(表中 UA 为 45.63 与 31.94,正文 UA 写作 45.6% 与 31.9%)。作者称类型化授权边界可跨模型规模泛化,且无需修改元属性模式或策略。Table 14 中 Travel 的 MetaPermit ASR 为 3.29%、Banking 为 5.83%,高于 Overall 的 1.50%。
- 类型化接口对比直接裁决(Table 4):同一模型、同一授权查询,只改输出格式。在匹配的固定种子分层样本上,MiniMax-M2.7 的 MetaPermit 为 0.20% ASR、45.66% UA,直接 LLM Guard 为 0.61% ASR、41.96% UA;Qwen3-235B 上 MetaPermit 为 0.00% ASR、29.25% UA,Guard 的 UA 降到 12.75%,ASR 为 0.25%。作者称两者都保持安全,类型化元属性把最终可审计裁决留给固定策略。
- 单个属性(Table 5):在 105 例 MiniMax-M2.7 样本上去掉 intent_input_alignment、策略其余不变。有该属性时 ASR 0.95、UA 51.43;去掉后 ASR 1.90、UA 50.48。作者称完成任务数为 54 对 53,攻击阳性为 1 对 2,即去掉后攻击成功加倍、效用几乎不变;并称其反馈略微提高效用,因为能把智能体引向合适参数。
其他消融与分析
- Table 6 白盒强制层:向推断模块直接提供每个注入任务的真实恶意调用,并附加公开模式与允许规则、要求产出允许兼容值的提示(Appendix A.13)。95 个恶意调用在有无该注入时都不被允许(0/95,0.0%)。翻成允许值的比例:intent_is_action 2.1%,intent_clarity 1.1%,intent_risk 16.8%,intent_tool_alignment 0.0%,intent_input_alignment 0.0%。作者称注入最常降低 intent_risk;intent_tool_alignment 与 intent_input_alignment 仍分别挡住 94/95 与 95/95,恶意调用保持不对齐,强制层绕过率为 0%。
- Figure 3 决策稳定性:MiniMax-M2.7 上 50 条授权查询各跑 20 次、输入相同。完全一致(20 次输出全同)的比例:直接 LLM Guard 裁决 32%,MetaPermit 裁决 42%;多数一致为 87% 对 90%。元属性向量仅在 6% 的查询上保持完全相同。47 条元属性向量有变化的查询中,静态策略把 18 条(38%)映射到一致裁决。作者称固定策略作用于随机推断,比直接生成裁决更可复现。
- Appendix A.14:MiniMax-M2.7 汇合比率的 95% 置信区间(官方检查器):No Defense 的 ASR 2.85 [2.49, 3.25]、UA 62.77 [61.67, 63.86]、Secure-Usable 61.54 [60.44, 62.63];MetaPermit 的 ASR 0.08 [0.03, 0.17]、UA 53.92 [52.79, 55.04]、Secure-Usable 53.92 [52.79, 55.04](n=7,545)。作者称 MetaPermit 的 ASR 与 Secure-Usable 相同,是因为 6 个检查器阳性都完成了良性任务,故没有 Insecure-Usable 案例。
- Appendix B 分攻击:Qwen3-235B 的 Overall(Table 13 Avg. 行)MetaPermit ASR/UA 为 0.00/50.13,与 Table 3 一致;五个模板的 Overall ASR 在表中均为 0.00。MiniMax-M2.7(Table 9)上 MetaPermit 的非零 ASR 出现在 Travel 的 Important Instructions(2.86)和 Tool Knowledge(1.43),Overall 宏平均为 0.07,与 Table 3 的 0.08 不完全相同,论文未解释这一差异。
- 无攻击效用(Table 8):157 个无攻击任务上,Qwen3-235B 的 No Defense / CaMeL / IPIGuard / MetaPermit 效用为 66.2 / 42.0 / 45.2 / 56.1;MiniMax-M2.7 为 68.2 / 28.7 / 35.0 / 59.9。作者称 MetaPermit 保持无防御效用的约 85–88%,CaMeL 与 IPIGuard 降到约 42–68%(作者给出的相对概括)。
- 元属性分布(Table 10,Appendix A.8):在被拒绝调用上,intent_input_alignment=misaligned 占 Qwen3-235B 拒绝的 70.2%、MiniMax-M2.7 的 58.2%、Qwen3-8B 的 49.7%;intent_is_action=false 分别占 2.2%、4.2%、13.2%。Appendix A.7 称约 80–87% 的拒绝带有可执行反馈(指向用户目标或点名被拒工具或参数);Appendix A.6 称在 MetaPermit 最终完成的攻击任务中,84.5–90.2% 在首次拒绝后继续并完成,具体按模型为 Qwen3-235B 84.5%、MiniMax-M2.7 88.7%、Qwen3-8B 90.2%。
What are some points that can be further explored?
作者称保证是架构性的,不能核验元属性语义是否正确,并计划专用模型与微调。
作者指出的局限与后续方向
- 架构性而非语义保证(Section 4.5):作者称 MetaPermit 的保证是架构性的而不是语义性的。确定性策略引擎保证给定元属性向量总得到同一裁决,但不能核验推断出的元属性是否正确。
- 白盒下的单属性操纵(Section 4.5):作者称白盒实验显示,攻击者有时可以诱导单个元属性取对策略有利的值。安全主张因此是经验性的、面向强制执行的,不是语义正确性的形式保证。
- 攻击面仍被收窄(Section 4.5):作者同时称类型化接口收窄了攻击面:模型必须产出允许规则可接受的元属性组合,而不是单一裁决;它不能修改策略;任何失败都可以追溯到某个具体元属性。
- 后续方向(Section 5):作者计划探索局部的、针对单个元属性的模型,以降低推断延迟和成本;通过任务专用微调提高预测一致性;并加强元属性推断对 IPI 攻击的稳健性。
实验覆盖范围
- 模型与组件:主对比为 MiniMax-M2.7 与 Qwen3-235B-a22-2507,任务智能体和各防御的全部 LLM 组件使用同一模型;推断模块不用更强的专用防御模型。跨规模实验为 Qwen3-8B,模式与策略不改(Section 4.1、4.3)。
- 基准与攻击:AgentDojo 四套件(97 个用户任务、949 对)加 AgentDyn 三套件(60 个任务、560 对);五个 AgentDojo 攻击模板,每模板 1,509 例,共 7,545 例,另有 157 个无攻击用户任务(Section 4.1)。
- 防御对比:第 4 节基线为 No Defense、CaMeL、IPIGuard。Table 1 中的 CSAgent、AC4A、Conseca、Progent 未进入该对比;其中 Conseca 与 Progent 的 Util. 取自其各自报告的结果。
- 策略固定:五个元属性与附录 A.1 的有序规则在全部七个套件和攻击模板上保持不变,无套件专用规则(Section 4.1)。白盒探测为 95 个真实恶意调用(Table 6);一致性实验为 50 条查询各 20 次(Figure 3);属性消融为 105 例样本(Table 5)。
- 论文未报告的项:主结果未报告重复次数;Appendix A.14 的 95% 置信区间只给了 MiniMax-M2.7 的汇合比率。一致性实验只在 MiniMax-M2.7 上进行。论文未报告推断延迟、token 开销或查询次数的测量值(CaMeL 的 2.8× token 开销是作者对 CaMeL 原文的转述)。
Summarize the main content of the paper
MetaPermit 用固定策略评估 LLM 推断的元属性,在两个开源模型上把攻击成功压到接近零并保留更多效用。
MetaPermit 是面向工具使用 LLM 智能体的混合访问控制:LLM 描述候选调用,固定策略决定是否放行。
- 问题:每次工具调用都要授权。静态的每意图策略难以覆盖开放任务;把最终裁决交给 LLM 可以动态决策,但作者称结果不一致,而且 IPI 可能操纵裁判。攻击者不能改用户请求、工具、策略或运行时,但能在工具返回内容里注入指令。
- 方法:五个预先定义的元属性(是否要动作、目标是否清楚、风险高低、工具是否服务目标、参数是否与请求对齐)由与智能体相同的模型推断。前两个只用可信用户请求。有序 ABAC 规则取第一条匹配,默认拒绝;拒绝时把原因作为合成工具结果反馈,供智能体重规划。模式和规则在七个套件上固定。
- 主结果:Table 3 中,Qwen3-235B 上 MetaPermit 的 Overall ASR 为 0.00%、UA 为 50.13%,无防御为 26.49% / 62.37%,CaMeL 为 0.46% / 42.21%,IPIGuard 为 3.14% / 41.96%。MiniMax-M2.7 上对应为 0.08% / 53.92%,对照无防御 2.85% / 62.77%、CaMeL 0.27% / 25.83%、IPIGuard 0.91% / 30.27%。审计后,MiniMax-M2.7 上没有攻击引起的工具调用被执行(0/7,545),6 个检查器阳性只出现在 think 轨迹中。
- 其他证据:Secure-Usable 在两模型上于各防御中最高(53.9% 与 50.1%,Figure 2)。同一查询下,类型化接口相对直接 Allow/Deny 保持或提高 UA(Table 4)。50 条查询各 20 次中,MetaPermit 裁决完全一致的比例为 42%,直接 Guard 为 32%(Figure 3)。95 个已知恶意调用在白盒提示下仍全部被拒绝(Table 6)。
- 作者结论:作者认为该设计支持开放任务而不枚举意图,并跨套件和模型泛化;策略反馈帮助智能体从拒绝中恢复且不削弱强制。作者同时指出,保证是架构性的,不能核验元属性语义是否正确,安全主张是经验性的。