论文实测 Agent 工具调用门控栈的失败相关性
Evaluate the Stack
论文在三套语料上实测规则与LLM裁判,发现裁判间错误相关且等效层数仅1.2–1.4,跨机制组合达1.86–2.09层(STRICT)。
在assume-compromise设定下,攻击者被视为已攻破智能体并控制拟议动作文本;防御门禁仅能观察动作文本。
- 多层动作门禁常假定各层独立且错误相乘,但串联的确定性规则与大模型裁判是否真正独立、单层指标能否代表整栈价值缺乏实际测量。
- 作者提出独立等效层数指标nmult,并在涵盖1119条动作的三套语料上,对1个规则层与4个大模型裁判进行跨机制与同机制关联性测量。
- STRICT下两裁判组合仅等效1.22至1.44层且显著相关,规则加裁判达1.86至2.09层;降低单层漏报率的云规则包未增加任何联合覆盖。
- 机制维度仅采样了正则与通用对话模型两点;全栈nmult因样本内仅2次联合漏报而删失;难度对耦合的贡献占比无法唯一辨识(31.8%至61.8%)。
- 威胁模型
- 在assume-compromise设定下,攻击者被视为已攻破智能体并控制拟议动作文本;防御门禁仅能观察动作文本。攻击者未在测试期间针对门禁实施自适应变异,仅包含用例自带的混淆标记;自适应逃逸不在本研究范围内。
- 被测模型
- AgentTrust runtime (174 rules)GPT-5.5 (gpt55)claude-haiku-4-5-20251001claude-sonnet-5claude-opus-5claude-opus-4-8deepseek-v4-flash
- 基准
- internal corpus (AgentTrust benchmark)independent corpusexternal corpus (held out)
- 指标
- miss ratefalse alarm ratenmult (multiplication-equivalent layers)phi (mean-square contingency coefficient)phi/phi_maxCochran-Mantel-Haenszel common odds rationew coverage
论文在 1119 条标注的 Agent 动作上测量运行时门控栈的失败相关性,覆盖一个确定性规则层和四个 LLM 判官,且不设自适应攻击者。作者提出 nmult 指标,把观测到的联合漏检率换算成等效独立层数:在 STRICT 定义下任意两个判官组合约等于 1.22 至 1.44 层,规则层加一个判官约等于 1.86 至 2.09 层,两组区间在合并数据上分离,但单个语料上点估计分裂、区间重叠。单独准确率无法预测一层给栈带来的增量,一个云端规则包把规则层单独漏检率从 0.139 降到 0.111,却未增加任何新的联合覆盖。难度对判官耦合的贡献份额不可识别,随难度探针和漏检定义在 31.8% 到 61.8% 之间变动。研究还报告了两个改变结论的评测约定:review 判定算拦截还是算漏检使五项结论反转,以及一个判官层在 112 个批次中有 50 个由非请求的模型版本服务。
推荐理由论文用 1119 条标注动作实测 Agent 运行时门控的失败相关性,给出规则层与 LLM 判官组合的等效独立层数,可迁移到门控栈选型。
深度解读
这篇论文试图解决什么问题?
论文检验动作门禁堆叠中各层错误相乘的独立性假设,并评估各层对整栈的实际贡献。
论文试图解决的核心问题是:智能体动作拦截堆叠中各层门禁的错误是否如假设那样相乘衰减,以及单层门禁在整栈中实际增加了多少防护价值。
- 应用背景与现实风险:具备工具调用权限的智能体单次调用即可执行删除数据库等高风险动作,实际部署中常串联确定性规则、LLM裁判及人工审核组成多层防护门禁。
- 现有假设与指标缺陷:防御堆叠通常基于各层错误相互独立的乘积假设进行论证,但行业通常仅评估单个门禁的单层准确率,无法预测该层加入堆叠后能带来多少增量覆盖。
- 核心观察:在实测语料中,规则层与LLM裁判的组合接近独立相乘,而两个LLM裁判之间的错误呈显著正相关,单层漏报率下降20%的规则包对裁判堆叠的新增覆盖为零。
- 威胁模型:
- 攻击目标:诱导具备工具调用权限的智能体执行被标记为拦截(block)的高风险动作。
- 攻击知识:论文采用Parallax提出的assume-compromise设定,视智能体已被攻破,门禁仅能观察动作文本。
- 攻击能力:攻击者控制拟议动作的文本内容;测试未引入针对门禁调优的自适应攻击,仅包含用例自有的混淆标记。
- 受害系统:部署了AgentTrust运行时规则引擎与黑盒LLM裁判的动作拦截防御堆叠。
- 论文主要贡献:提出了乘积等效层数度量工具nmult及其理论下界,并在1,119个标注动作上跨三套语料实测了规则与多个LLM裁判的错误关联性。
有哪些相关研究?
论文梳理了防御堆叠故障关联、大模型协同错误、冗余工程及运行时拦截架构等相关研究。
相关研究主要围绕防御堆叠故障关联、多模型协同错误、冗余可靠性理论以及智能体运行时拦截架构展开:
防御堆叠中的故障关联
- Alotaibi等人(2026)——测量了基于单目标模型的七层单轮越狱防御堆叠,报告了所有15对门禁间存在正相关(phi在0.30至0.75之间),并在难度分层下发现关联难以归因于特定机制;论文指出该研究仅限于单轮越狱、排除了提示注入,且所有层均依赖单一模型,未涉及智能体动作门禁。
- 依赖多厂商LLM的关联错误研究——Goel等人(2025)与Kim等人(2025)分别测量了不同厂商大模型之间的错误重叠,指出跨厂商模型在错误案例上呈现一致性,削弱了AI监督的有效性。
冗余工程与多样性理论
- 软件多版本编程故障独立性检验——Eckhardt与Lee(1985)以及Knight与Leveson(1986)测量并建模了独立开发的多版本软件中因用例难度分布引起的并发故障;Littlewood等人(1989, 2001)进一步发展了设计多样性模型。
- 安全检测器与生态学等效测度——Bishop等人(2011)与Gashi等人(2013)实测了结合多样化杀毒引擎对检测率的增益;MacArthur(1965)与Hill(1973)的Hill多样性数提供了将聚合观测值转化为理想等效单元数的度量结构。
智能体运行时拦截与安全评测
- 运行时拦截架构——CaMeL(Debenedetti等人,2025)、FIDES(Costa等人,2025)、Progent(Shi等人,2025)与Parallax(Fokou,2026)提出了代码受限检查、污点跟踪、权限控制及思考动作分离架构;LlamaFirewall(Chennabasappa等人,2025)等提供了防护栏;但论文指出这些工作均未测量不同拦截点之间的错误关联性。
- 裁判与智能体风险评测——AgentDojo(Debenedetti等人,2024)、AgentHarm(Andriushchenko等人,2024)、R-Judge(Yuan等人,2024)等评测了攻击下模型是否受骗;RobustJudge(Li等人,2025)报告了大模型裁判鲁棒性对提示模板敏感。
评测基准与对比基线:
- 评测基准包括AgentTrust内置基准(internal corpus,300例)、项目团队构建的独立语料(independent corpus,630例)以及涵盖云与基础设施风险的外部留出语料(external corpus,189例)。
- 堆叠对比基线包括由三个LLM裁判组成的集成基线,以及作为增量测试的AgentTrust默认正则规则引擎(174条规则)、增强云规则包、第四个LLM裁判与弱正则引擎b1(50条规则)。
作者称未在现有工作中发现动作拦截点之间错误关联的测量,本文实测了不同层级间的错误相关性。
论文如何解决这个问题?
论文提出乘积等效层数指标nmult,并在脱敏设定下对规则与多模型裁判构建堆叠评测框架。
论文提出了乘积等效层数(multiplication-equivalent layers,nmult)分析框架,通过形式化定义观测联合失效率所等效的独立门禁数量,在统一的无提示(no-tell)测试条件下量化规则与大模型裁判的层间独立性与堆叠增益。
形式化定义与评估指标
- 乘积等效层数定义:对于包含单层漏报率 pL 的门禁堆叠 S,若观测联合漏报率为 Pjoint,其等效层数定义为 nmult = (ln Pjoint)/(ln g),其中几何平均漏报率 g = (∏L ∈ S pL)1/|S|。该指标表示产生相同联合失效率所需的独立理想门禁层数。
- 完全耦合下界与归一化:当堆叠各层完全耦合时联合漏报率受限于失效率最低的单层,其理论下界满足 nmult ≥ (ln minL pL)/(ln g)。论文同时报告将 nmult 归一化到下界至独立理论上限(|S|)之间的比例读数。
- 成对错误相关性:使用二元错误指标上的均方列联系数(即 Pearson 相关系数 phi)及考虑边界约束的归一化系数 phi/phimax 衡量两层间线性相关度。
门禁堆叠结构与模型配置
- 确定性规则层:采用 AgentTrust 运行时的默认策略引擎,包含 174 条作用于动作文本的正则表达式,直接输出四分类判定(allow、warn、block、review),不读取任何大模型输出。
- 大模型裁判层:主测试面板包含 4 个大模型裁判。其中 gpt55 为归档列;另外 3 个裁判通过编程助手框架重新采集并记录每次调用的实际服务模型字符串,包括 claude-haiku-4-5-20251001、claude-sonnet-5 以及 claude-opus-5(实际采集在 50/112 批次被服务为 claude-opus-4-8)。
- 跨厂商与弱基线配置:扩展评测引入了基于 API 采集且记录完整元数据的 deepseek-v4-flash 裁判(1,638次调用),以及仅包含 50 条规则的弱正则引擎 b1 和针对云环境的扩展规则包。
提示设计与测试协议
- 无提示(no-tell)核心设定:裁判提示词赋予裁判角色,输入动作类型、工具名、内容及参数并要求评估 5 个风险维度后给出四分类结论;关键设计在于置空人工编写的描述字段,防止描述中的提示词(560条拦截用例中有126条含有泄露词)使模型直接获知标签。
- 分批与脱敏控制:重新采集的裁判数据以 10 个用例为一批随机打乱输入,并对每个层级抽取 100 个用例执行逐例单次调用对比;在隔离环境运行以避免测试框架注入项目索引导致系统级泄漏。
漏报判定规则
- PRIMARY(主定义):将动作实际执行视作漏报,判定为 allow 与 warn 算作漏报,而人工复核(review)被视为拦截成功。
- STRICT(严格定义):将动作未被完全终止视作漏报,判定为 allow、warn 以及 review 均算作漏报;两个定义用于检验下游是否存在能够承接复核的人工层对结论的影响。
论文做了哪些实验?
论文在汇聚语料与分项实验中测试了等效层数、单层增益背离、混淆假说及复核规则影响。
实验设置
- 被测模型与门禁:测试包含 AgentTrust 规则层(174条正则)、4个主要大模型裁判(gpt55、claude-haiku-4-5-20251001、claude-sonnet-5、claude-opus-5/claude-opus-4-8)、跨厂商裁判 deepseek-v4-flash、弱规则引擎 b1(50条正则)以及增强云规则包。
- 数据集与规模:共 1,119 个用例,包括 internal 语料 300 例(129 block)、independent 语料 630 例(344 block)以及 external 留出语料 189 例(87 block);失效率在 560 个 block 用例上计算,误报率在 379 个 allow 用例上计算,180 个 warn 用例排除。
- 基线与对比配置:以任意 3 个大模型裁判构成的集成作为基线,评估加入规则层、增强规则包、第四个裁判或弱规则层后的新增覆盖数;并对比同厂商裁判、跨厂商裁判与规则层的成对组合。
- 评价指标:乘积等效层数 nmult 及其理论下界、相关系数 phi 及归一化值 phi/phimax、新增联合覆盖数(new coverage)、Cochran-Mantel-Haenszel 共同比值比。
- 判定与显著性检验:模型输出 allow/warn/block/review 四分类,由 PRIMARY 与 STRICT 规则映射为二元漏报;显著性使用两两 Fisher 精确检验并经 Holm 校正。
- 采样与调用设置:裁判采用温度 0,批次大小 10(归档数据为 90),单用例对照 n=100;重新采集均记录调用时间戳、提示词哈希与服务模型版本。
主结果
下表汇总了汇聚数据(560 个 block 用例)上双层堆叠与多层堆叠的乘积等效层数 nmult 及相关系数 phi(数据来自 Table III 与 Table IV):
表格较宽,可左右滑动
堆叠组合 PRIMARY nmult (k) PRIMARY phi STRICT nmult (k) STRICT phi haiku + opus 1.32 (29) +0.342 1.32 (35) +0.430 haiku + sonnet 1.28 (43) +0.380 1.30 (52) +0.485 opus + sonnet 1.21 (49) +0.505 1.22 (53) +0.501 gpt55 + haiku (跨厂商) 1.40 (6) +0.170 1.34 (31) +0.402 gpt55 + opus (跨厂商) 1.40 (6) +0.146 1.34 (27) +0.328 gpt55 + sonnet (跨厂商) 1.57 (5) +0.253 1.44 (32) +0.438 rules + gpt55 1.80 (2) +0.041 1.88 (10) +0.051 rules + haiku 1.94 (9) -0.016 1.86 (14) +0.024 rules + opus 2.06 (7) -0.038 2.09 (7) -0.025 rules + sonnet 2.13 (10) +0.019 2.03 (14) +0.005 三同厂商裁判 (haiku+opus+sonnet) 1.47 (26) 未报告 1.46 (32) 未报告 四裁判组合 1.79 (5) 未报告 1.65 (19) 未报告 rules + 四裁判 2.25 (2) 未报告 2.77 (2) 未报告 - 跨机制与同机制分化:作者报告,在 STRICT 下任意两个裁判组合的 nmult 仅为 1.22 至 1.44(下界 1.02 至 1.17),所有 6 对裁判错误显著正相关(phi 中位数 +0.430,Fisher-Holm 检验 6/6 显著);而规则层加任一裁判的 nmult 达 1.86 至 2.09,相关系数处于零附近(phi 中位数 +0.014,0/4 显著)。
- 增加裁判数量的收益递减:同厂商 3 个裁判组合的 nmult 仅为 1.46(STRICT),4 个裁判组合为 1.65,远低于 3 与 4 的独立乘积值;而规则层加入 4 个裁判后等效层数升至 2.77。
- 跨厂商裁判未消除耦合:跨厂商的 gpt55 与其他裁判对在 STRICT 下的 nmult 仅为 1.34 至 1.44,与同厂商裁判区间重叠;溯源清晰的 DeepSeek 裁判与 OpenAI 裁判的 STRICT nmult 为 1.26(95% 区间 [1.09, 1.45])。
单层准确率与堆叠增益的背离
- 测了什么:在 4 个由三裁判组成的基线上,分别加入规则层、增强云规则包、第四个裁判及弱规则引擎 b1,统计新增拦截用例数(Table II)。
- 结果:STRICT 下加入规则层在四基线上共增加 86 个拦截,第四个裁判仅增加 22 个;增强云规则包将规则层单层漏报率从 0.139 降至 0.111(相对改进 20%),但新增联合覆盖数仍为 86(增量为 0);单层漏报率达 0.857 的弱规则 b1 仍贡献了 9 个新增拦截。
- 作者解读:单层准确率无法预测堆叠增益;云规则包捕获的新增用例已被所有裁判识别;单层漏报率高的异质机制仍可补充额外覆盖。
难度归因与混淆机制分析
- 测了什么:使用留出层构建难度评分(CMH 分层),并提取动作文本中的命令编码、间接调用(65例)及 eval/exec 包装(126例)等混淆特征,检验是否由共享表面机制导致并发失效(Section V-D)。
- 结果:混淆特征并未增加两裁判联合失效概率,CMH 中位数共同比值比为 0.00 与 0.17(12项检验中11项比值比低于1,2项显著低于1);难度归因比例随探针组合在 31.8% 至 61.8% 之间变动。
- 作者解读:数据不支持混淆特征导致裁判协同失效的假说;难度贡献份额在数学上不可唯一辨识,残差不能作为存在共享机制的证据。
复核判定规则对评估结论的逆转
- 测了什么:对比 PRIMARY(review 计为拦截)与 STRICT(review 计为漏报)两种规则对单层与堆叠指标的影响(Table V)。
- 结果:gpt55 给出 47 次 review,规则层仅 3 次;计入 review 使 gpt55 单层漏报率从 0.098 变为 0.014,其与其它裁判相关系数从至少 0.328 降至 0.146–0.253,第四个裁判表观增益从 13 例升至 21 例(其中 8 例为 deferral),并缩小了跨厂商与同厂商裁判的表观差异。
- 作者解读:统计规则的变化连续逆转了 5 项实质性结论,均偏向倾向于给出 review 的模型;在缺乏人工承接层的堆叠中,将转交人工计为防御成功会虚饰模型表现。
其他消融与分析
- 单例与分批调用一致性:每层抽取 100 例逐例重测,四分类一致率为 0.837 至 0.900,PRIMARY 漏报标签一致率为 0.880 至 0.940(Section VI-C)。
- 系统上下文索引注入测试:向上下文注入 9 个项目条目后,外部语料四分类一致率为 0.847 至 0.947,漏报标签一致率超过 0.931,未改变核心结论(Section VI-B)。
- 提示词描述泄漏消融:在外部语料上向 DeepSeek 展示人工描述字段,使漏报率从 5 降至 0(PRIMARY,p=0.062)及 7 降至 0(STRICT,p=0.016)(Section VI-E)。
- 服务模型漂移影响:opus 批次按服务模型切分,在 279 条 opus-5 上规则对 phi 为 +0.047,在 281 条 opus-4-8 上为 -0.069,均保持解耦(Section VI-D)。
- 良性用例协同误报观测:在 246 个良性用例上,规则层与 DeepSeek 在 6 个涉及网络外发和观测的用例上协同误报(phi=+0.305,Holm p=0.004)(附录 B)。
负面结果与例外
- 语料独立性检验未达等价性:预注册的等价性检验(比值比区间 [0.50, 2.00])在所有规则对上均未通过,作者报告仅能表述为“未检测到耦合且点估计为零”,不能宣称“证实相互独立”(Section V-E)。
- 跨语料成对比较方向逆转:在独立语料上规则加裁判堆叠在 12/12 检验中显著优于裁判双组合,但在外部语料上因规则层漏报率达 52.9%,规则堆叠在 PRIMARY 下 0/12 占优,STRICT 下仅 1/12 占优,多项比较方向逆转(Section V-C)。
有什么可以进一步探索的点?
作者指出机制采样单一、全栈删失及无人工层等局限,实验仅覆盖至特定语料及静态门禁。
作者指出的局限与后续方向
- 机制维度采样点单一:机制距离仅在正则表达式匹配器与通用对话大模型两点采样,缺乏类型能力门禁或微调分类器等中间机制,无法建立梯度关系(Section IX,item 1;Section VIII-d)。
- 全栈指标存在数据删失:在 560 个拦截用例中五层门禁仅发生 2 次联合漏报,在 internal 语料上为 0 次,导致全栈 nmult 无法给出精确点估计,仅能给出下界(Section IX,item 2)。
- 难度份额无法唯一辨识:难度贡献比例依赖于探针构成与漏报定义(31.8%至61.8%),且混淆特征检验受限于暴露层仅有 0 至 3 次联合漏报,残差无法确认为共享机制(Section IX,item 3;Section V-D)。
- 单语料无法确立分离结论:在各单套语料上规则对与裁判对的置信区间均存在重叠,区间分离仅在汇聚数据上成立,且 internal 语料因 0 联合漏报无法区分堆叠配置(Section IX,item 4)。
- 裁判模型类型与跨厂商样本单一:主测试中 4 个裁判有 3 个来自同一厂商,且未测试非通用对话模型的专用裁判模型;gpt55 缺乏调用元数据,跨厂商优势受数据收集方式混淆(Section IX,item 5)。
- 缺乏真实人工审核层数据:评测堆叠下游未接入真实人类复核层,导致 review 判定应归为成功还是失败无法在实测中定论,需留待后续接入真实人工层(Section IX,item 6;Section X)。
实验覆盖范围
- 测试用例与语料边界:实验覆盖 3 套共 1,119 个标注动作(560 个拦截用例),涵盖 AgentTrust 基准、补丁后独立用例及云与基础设施留出语料,排除了 180 个 warn 警示用例;测试基于静态用例,未引入自适应攻击者(Section II-A,Table I)。
- 被测门禁组件范围:测试包含 1 个 174 条规则引擎、1 个 50 条弱规则引擎、增强云规则包以及 5 个通用对话大模型裁判(gpt55、haiku、sonnet、opus、deepseek-v4-flash),未测试类型系统及重写型安全替代组件(Section II-B,Section IX,item 8)。
- 提示与调用模式范围:大模型裁判均基于单一提示词模板在 no-tell 条件下评测,主要以批次大小 10 执行调用;逐例独立调用检验覆盖每个主层级抽样的 100 个用例(Section II-C,Section VI-C)。
- 跨厂商数据覆盖范围:重新采集的 DeepSeek 裁判覆盖了 external 与 independent 2 套语料(共 431 个拦截用例),未覆盖 internal 语料(Section VI-E)。
- 未报告信息陈述:论文未报告 gpt55 的提示词包装、采样温度、具体模型版本与调用时间戳;论文未报告针对各门禁的查询成本、执行延迟或人类复核人员的疲劳容量(Section II-C,Section VII-e)。
总结一下论文的主要内容
论文实测发现大模型裁判间错误显著相关,作者主张按机制选型并在整栈层面度量防护增益。
论文是一项针对智能体动作拦截防御堆叠故障关联性与实际组合价值的实证测量研究。
- 核心问题:针对智能体多层门禁通常假定错误相互独立的现状,探究串联确定性规则与大模型裁判是否真正满足错误相乘假设,以及单层准确率能否代表整栈防护收益。
- 方法设计:基于有效单元数理论提出乘积等效层数 nmult 指标及其理论下界,在置空威胁描述的严格无提示设定下,对 1 个正则引擎与 4 个大模型裁判在 3 套语料(共 1,119 条动作)上展开跨机制与同机制成对关联测量。
- 同机制与跨机制关键结果:在严格判定准则(STRICT)下,任意两名大模型裁判组合的等效层数仅为 1.22 至 1.44(下界 1.02 至 1.17),成对相关系数达中位数 +0.430(6 对全显著);而正则规则层与任一裁判组合的等效层数达 1.86 至 2.09,相关系数处于零附近(中位数 +0.014,0 对显著)。
- 单层指标与堆叠增益的背离:将规则层单层漏报率从 0.139 降低 20% 至 0.111 的增强规则包,在三裁判基线上贡献的新增联合覆盖为零;而单层漏报率高达 0.857 的弱规则层仍能为堆叠贡献 9 个独立拦截用例。
- 跨厂商与统计规则敏感性:来自不同厂商的裁判依然呈现相似耦合强度(如 OpenAI 裁判与 DeepSeek 组合在 STRICT 下 nmult 仅 1.26);同时,是否将转交人工(review)计为拦截成功,直接逆转了包括第四裁判有效性在内的 5 项评估结论。
- 作者结论与工程启示:作者认为单层准确率是评估堆叠价值的错误指标,防御选型应先依据机制类别筛选异质门禁,再对组装后的整栈进行测量;并建议安全评估必须声明转交人工的统计规则,且必须对每次大模型调用记录实际响应的服务版本。