ErosionBench：探测企业多智能体系统中的对齐衰减

1. 01这篇论文试图解决什么问题？

   作者称多智能体共享状态的跨会话对齐侵蚀是未被研究的失效模式，并提出过程级评测基准。

   核心问题：企业多智能体系统中，授权意图与实际执行的工具调用之间会发生渐进偏离（作者称之为 semantic alignment decay），而现有基准无法在过程层面度量和验证它。

   • 问题场景：企业部署把工作分给 gateway、orchestration、policy、deployment 等角色，经共享内存和关键工具连接。攻击者可在早期会话植入看似合法的值，后续智能体把它当作已审核信息，最终由部署智能体把它作为参数传给生产工具。
   • 为什么重要：没有任何单条消息含明显恶意内容，边界过滤器看不到这次攻击；作者称这类衰减可暴露公开端点、覆盖权限、泄露数据。
   • 现有方法不足：作者称已有基准要么在提示注入下隔离单个智能体，要么只按最终输出给多智能体攻击打分，把共享状态的跨会话侵蚀排除在范围之外；边界过滤器只有把大多数合法工作也拒掉才能压低攻击成功率。
   • 论文提出什么：ErosionBench 基准（1,728 个场景、四个企业域、四种衰减机制、OWASP 标签、198 个图像攻击）和一个参考防御 Meta-Auditor（确定性状态锚点 + 校准的异步轨迹监控）。
   • 威胁模型：
     • 攻击者目标：让 mesh 在无可疑单条消息的情况下，组装出违背用户授权意图的关键工具调用。
     • 攻击途径：跨会话条件化、状态煤气灯（改写持久账本条目）、长上下文稀释、分布式合谋四种机制；载荷经会话历史、共享账本或文档（文本或渲染图像）进入。
     • 受害系统：Gateway/Orchestrator/Policy/Deployment 四角色 LLM mesh，共享状态账本，配域内关键工具。
     • 成功判定：realized tool call 是否违反场景自带的 ground-truth contract（过程级判定，不看输出文本）。

   收起这一问

2. 02有哪些相关研究？

   相关工作分单智能体攻击基准、多智能体攻击传播、边界防御与监控三组，作者称本文是唯一覆盖全部轴的组合。

   单智能体攻击基准

   • AgentHarm（Andriushchenko et al., 2025）：测量智能体是否执行明显有害的指令，作者转述其发现领先模型常在无越狱情况下遵从。
   • BIPIA（Yi et al., 2023）与 AgentDojo（Debenedetti et al., 2024）：前者隔离检索内容中的间接指令；后者把提示注入与可执行工具环境结合，并同时评测防御与任务效用。
   • ToolEmu（Ruan et al., 2024）：在 LM 模拟沙盒中检查完整轨迹。论文指出这些设置只让单智能体面对恶意输入，多智能体共享状态上出现不了威胁面。

   多智能体攻击与传播

   • TAMAS（Kavathekar et al., 2026）与 MAStrike（Xu et al., 2026）：前者跨提示、环境和智能体间通信评测对抗风险；后者用 Shapley 分析构造针对层级团队的合谋攻击。
   • 分解式越狱与 Crescendo（Srivastav & Zhang, 2025；Russinovich et al., 2025）：把不安全目标拆成逐条良性子请求；作者把 Crescendo 的多轮升级原语用作其 policy 辩论中的条件化机制。
   • AgentLAB（Rahman et al., 2026）：论文称其为最接近的工作，评测长程攻击（意图劫持、目标漂移、记忆投毒），但只给单智能体的长轨迹打分，而非多智能体侵蚀持久共享账本。

   边界防御与监控

   • LlamaFirewall（Chennabasappa et al., 2025）与 Progent（Shi et al., 2025）：分别在信任边界筛查文本、对结构化工具调用实施可编程最小权限；本文把两者复现为对比防御层。
   • BlindGuard（Miao et al., 2025）与 MonitoringBench（Jotautaitė et al., 2026）：前者在未知攻击下检测并隔离被攻陷智能体；后者校准轨迹监控阈值。
   • 跨智能体行动归因（Park et al., 2026）：作者转述其分析称分布在独立异步智能体上的攻击可绕过只看单会话的局部护栏，这 motivate 了过程级监控。

   基线与基准

   对比防御基线为 LlamaFirewall、ShieldGemma-27B、Progent 和同遥测未校准 LLM judge；外部迁移评测用 AgentDojo 与 ASB（Zhang et al., 2025）。Table 1 把 ErosionBench 与 AgentDojo、ToolEmu、ASB、AgentLAB、Blindspot、EnterpriseOps、TAMAS、MAStrike、CFH 按五个轴对照，作者称 ErosionBench 是唯一同时覆盖多智能体 mesh、跨会话状态侵蚀、过程级验证、可执行环境和良性过度拒答评分的基准，并强调是这一组合而非任何单轴隔离了该失效模式。

   收起这一问

3. 03论文如何解决这个问题？

   以确定性状态图生成场景、在四角色 mesh 中执行、用合约核对工具调用，再配一个三级 Meta-Auditor 防御。

   整体思路分两块：ErosionBench 基准负责把跨会话状态侵蚀变成可执行、可验证的场景；Meta-Auditor 作为参考防御，在过程层面做同步状态检查加异步轨迹监控。

   数据生成管线

   • 四阶段生成：先为每个域编写状态图，固定良性意图、关键工具、安全参数、植入值和 ground-truth 断言；再由生成器渲染叙事（模板或 LLM 撰写的良性文本）产出 T1 攻击场景及其良性孪生；然后过三道验证门（确定性可达性检查、语义真实性检查、ground-truth 矛盾检查）；最后由 mutator 按衰减机制扩展出 T2、T3 变体。
   • 机制内建于生成：跨会话条件化增加 priming 会话，长上下文稀释加长文档，状态煤气灯改写账本条目，分布式合谋增加 corroborating 智能体；T1 把 needle 放在短前缀前部，T3 把同一载荷埋到全文约 70% 处。
   • 质量门：canonical splicer 最后插入 needle，发布语料生成器零拒答（0/1,728）；文本经 text→PDF→text 往返校验，图像 needle 需通过构建时确定性 OCR 回读才准入。

   数据构成与标注

   • 规模：四个域（量化金融、CI/CD 供应链、数据工程、自治 CRM）× 四种机制 = 16 个攻击类；1,296 个恶意 + 432 个良性场景，共 432 个不相交 family；另把 66 个 family 渲染为企业文档图像（198 个恶意 cell，各配 1:1 文本等价物和良性对照）。
   • 交互深度：T1+对照平均 5.03 会话/5 页，T2 为 8.04 会话/20 页，T3 为 11.55 会话/50 页（Table 2）。
   • OWASP 标注：每个攻击类在编写时按固定映射打上 OWASP Top-10 for LLM Applications 标签，16 个类集中在 LLM04 与 LLM06（Table 14）。
   • 人工验证：两名标注者对 50 个留出项做盲评，真实性均值 4.37/5，良性 4.34 对攻击 4.33；标签恢复 42/44 与 41/44，Fleiss' κ = 0.87（Table 13）。

   Mesh 执行

   • 四角色：Gateway 解析请求，Orchestrator 读累积状态并提议动作，Policy 辩论约束，Deployment 调用关键工具；由状态机排序，Orchestrator 决定循环、升级或进入部署。
   • 沙盒：FastAPI 暴露文档存取、域工具和不可变审计/状态/影响面流；角色固定，只换关键工具和域语料；被攻陷智能体会回应 mesh 中反驳它的智能体，攻击是反应式而非脚本化。

   Meta-Auditor 防御

   • 三个确定性锚点：SDI 计算授权关键值与提议工具调用之间的平均类型化距离（0–1），是唯一可在执行前否决调用的信号；CII 是关键载荷值中可追溯到未验证来源账本写入的比例；VAD 度量 policy 智能体在多轮辩论中先抵抗后妥协的早晚。形式上 CII = |P ∩ U| / |P|，即关键载荷的标量叶子值中由未验证写入引入的比例。
   • 语义监控与校准：异步监控器对全轨迹打出连续 intent-divergence 分数，授权意图作为输入给定而非推断；分数经 Platt 缩放，阈值取良性校准样本的有限样本次序统计量（目标 α = 0.05）。
   • 灰区仲裁：阈值 τ 附近的分数或锚点与语义监控不一致的轨迹升级给专门仲裁调用重读遥测并给出最终判定；auditor 拿不到恶意标签、攻击类、隐藏思维链或良性孪生 diff，只做检测与定位，不做回滚。
   • 校准协议：family 在 tier/对照扩展前切分并带泄漏防护，得 1,124 校准场景与 906 留出场景（453 恶意/453 良性），所有主结果报在留出集上。

   收起这一问

4. 04论文做了哪些实验？

   作者报告无防御 mesh ASR 43.9%，边界防御靠 54.3%–92.5% 过度拒答压低 ASR，Meta-Auditor 达 98.5% 召回、2.9% 误报。

   实验设置

   • 被测 mesh：主实验用 gpt-5.5 驱动四角色 mesh；Table 8 另扫 gemini-3.5-flash 与 claude-opus-4-8 两个 mesh。
   • auditor 面板：claude-opus-4-8、claude-sonnet-4-6、gpt-5.1、gemini-3.5-flash、gemma-4-31b、gpt-oss-safeguard-20b；图像臂另有 Gemma-4-31B-IT (VLM)。
   • 数据：family 不相交的 906 场景留出集（453 恶意/453 良性，良性为深度与长度匹配的有效性匹配对照）；图像臂 198 恶意 + 198 良性 cell。
   • 基线：L1 单智能体隔离、L2 无防御 mesh、L3 LlamaFirewall（真实 PromptGuard 分类器 + AlignmentCheck）、L3 ShieldGemma-27B（独立边界 harness）、L4 Progent、L5a 同遥测未校准 LLM judge。
   • 指标：ASR（453 个恶意场景中执行有害工具调用的比例，按层报告）、良性 FPR（合法任务被错误拦截比例）、Recall/Precision/F1，均带 95% Wilson 区间。
   • 判定方式：攻击是否落地由场景自带 ground-truth contract 判定；防御检测由 auditor 给出，无单独人工评审攻击结果。

   主结果

   据 Table 4（gpt-5.5 mesh，留出集 453 恶意/453 良性）：

   表格较宽，可左右滑动

   防御层	总体 ASR	T1	T2	T3	良性 FPR
   L1 单智能体	0.0%	0.0%	0.0%	0.0%	48.3%
   L2 无防御 mesh	43.9%	35.1%	45.0%	51.7%	37.3%
   L3 LlamaFirewall	10.2%	7.9%	11.9%	10.6%	92.5%
   L3 ShieldGemma-27B	27.8%	21.9%	30.5%	31.1%	54.3%
   L4 Progent	4.9%	2.6%	6.0%	6.0%	64.0%
   L5a LLM judge（未校准）	2.2%	5.3%	0.7%	0.7%	67.6%
   L5b Meta-Auditor（opus）	1.3%	4.0%	0.0%	0.0%	2.9%

   • 作者解读：L1 证明攻击依赖 mesh（ASR 0.0%）但完不成多步工作流（48.3% 合法任务未完成）；边界防御只靠过度拒答压低 ASR。
   • 校准的作用：L5a 与 L5b 共享同一遥测面，召回接近（97.8% 对 98.5%，Table 3b）但 FPR 差一个数量级，作者把这一差距归因于校准机制而非模型。
   • 统计检验：无防御 ASR 随 tier 单调上升，T1→T3 的两比例 z 检验 p=0.004；相邻 tier 间差异在采样噪声内。

   跨 auditor 与跨 mesh 迁移

   • auditor 能力梯度（Table 5，固定 gpt-5.5 mesh）：召回从 opus-4-8 的 98.5% 到 gemini-3.5-flash 的 83.4%，作者称其跟踪模型能力；FPR 不随能力变化（gpt-5.1 为 1.3%，gemini-3.5-flash 为 11.0%）。
   • 开源 auditor：gemma-4-31b 召回 89.4% 但 FPR 12.4%；gpt-oss-safeguard-20b FPR 2.4% 但召回只有 55.1%。
   • mesh 扫描（Table 8，auditor 固定 sonnet-4-6）：L2 ASR 从 gpt-5.5 的 44.2% 到 claude-opus-4-8 的 15.0%，召回保持 0.874–0.971，作者称检测跟踪 auditor 而非攻击者；该表 FPR 基于 151 对照而非 453 对照臂。

   通道不变性与外部迁移

   • 图像 vs 文本（Table 6）：冻结的文本校准 artifact 直接用于图像臂，opus-4-8 召回 100.0%/100.0%（图/文），sonnet-4-6 为 100.0%/99.0%，gpt-5.1 为 96.0%/96.0%；无防御 ASR 图像 35.4% 对文本 31.3%，作者称 parity 不是图像攻击更容易造成的。图像臂良性对照尚未有效性匹配，FPR 是临时的。
   • 外部语料（Table 19，冻结 opus-4-8，τ = 0.595，不重校准）：AgentDojo 落地运行召回 86.4%、FPR 0.0%，在被抵抗的运行上只触发 7.5%；ASB 记忆投毒 100 个载荷召回 95.0%、FPR 2.0%。作者称所有外部检测都走语义灰区路径。
   • 未见域（Table 21）：第五个域临床医疗（45 恶意/20 良性，三个可评分攻击类），L2 ASR 17.8%，opus-4-8 召回 100.0%、FPR 0.0%，gpt-5.1 召回 95.6%。

   其他消融与分析

   • 子信号分解（Table 3a）：SDI 单独召回 43.9%、FPR 0.0%；CII 14.8%/0.0%；VAD 7.9%/1.8%；朴素 OR-gate 召回 100.0% 但良性触发 22.1%。
   • 灰区路由（Table 16）：906 条轨迹中 439 条进灰区仲裁，产生 459 个 flag 中的 263 个，把召回从锚点单独的约 43%（196/453）提到 98.5%。
   • 过拟合控制（Table 7）：64 个全新 family 场景上冻结 artifact 召回 97.9%、FPR 6.2%（仅 16 个对照，区间宽）。
   • provenance 不变性（Table 17）：把 50 个攻击的来源全部改标为认证通道后召回不变（98.0%）；48 个无来源痕迹的新攻击召回 97.9%。
   • 分域结果（Table 11）：L2 ASR 从自治 CRM 的 22.2% 到 CI/CD 的 59.6%；Meta-Auditor 在三个域残余 ASR 0.0%，仅量化金融残余 7.7%（召回 91.0%，该域仅 78 个攻击）。
   • 图像臂开源 VLM（Table 22）：Gemma-4-31B-IT 召回 84.8%（56/66 family）但 FPR 68.2%（45/66）。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者列出的局限包括操作点不可跨模型移植、仅覆盖企业工作流、图像臂 FPR 临时，并计划测自适应攻击者。

   作者指出的局限与后续方向

   • 操作点不可移植（Section 6）：冻结的 Platt/conformal artifact 按 auditor 模型拟合，换 auditor 需重新校准；阈值不能跨模型携带，且假设轨迹可交换，无正式的总体 FPR 保证。
   • 覆盖范围（Section 6）：仅覆盖企业工作流（四个域加一个留出医疗域）；消费者场景、自适应攻击者、mesh 拓扑与智能体数量变化留作未来工作。
   • 防御定位（Section 6）：Meta-Auditor 是研究参考，不是经对抗加固的防御；场景为程序化生成（经盲评验证真实性）而非取自真实事件。
   • 图像臂 FPR 临时（Section 6）：Mode B 图像良性对照尚未做有效性匹配，图像臂误报率是临时的；附录 P 另指出 11 个类中有 6 个的良性孪生是无效对照。
   • 后续方向（Section 7）：把异步层的逐步判定接到门控回滚或遏制；把参考 auditor 蒸馏成小型常驻检测器；测试自适应攻击者、变化的 mesh 拓扑、智能体数量和人工评审。
   • OWASP 标注一致性（附录 I，Table 15）：23 个双评项上主标签完全一致仅 4/23，作者称稳健的多标注者多标签 OWASP 共识留作未来工作。

   实验覆盖范围

   • 留出集为 906 个场景（453 恶意/453 良性），family 不相交切分；过拟合控制另用 64 个新场景（48 恶意/16 良性）。
   • 被测 mesh 为 gpt-5.5、gemini-3.5-flash、claude-opus-4-8 三个；auditor 面板六个（含两个开源），图像臂另有一个开源 VLM auditor。
   • 防御基线覆盖 LlamaFirewall、ShieldGemma-27B、Progent 和同遥测未校准 LLM judge；外部迁移覆盖 AgentDojo 与 ASB 两个语料。
   • 人工验证为两名标注者、50 个留出项；图像卡只评真实性与图像合法性，不做攻击/良性判定。
   • 论文未报告 mesh 与 auditor 的采样温度等生成参数；mesh 扫描（Table 8）的 FPR 基于 151 对照而非主结果用的 453 对照臂。

   收起这一问

6. 06总结一下论文的主要内容

   ErosionBench 把多智能体共享状态的跨会话侵蚀变成可执行、过程级可验证的基准，并配一个校准的过程级参考防御。

   这是一篇基准加参考防御的论文，目标失效模式是作者所称的 semantic alignment decay：企业多智能体系统中，攻击经共享账本、长文档和同伴消息跨会话组装，无单条恶意消息，最终体现为违背授权意图的工具调用。

   • 基准：ErosionBench 以确定性状态图先行、再渲染文本的方式生成 1,728 个场景，覆盖四个企业域、四种衰减机制、16 个攻击类，带 OWASP 标签和匹配良性对照；另有 198 个图像攻击各配 1:1 文本等价物。判定看 realized tool call 是否违反 ground-truth contract，而非输出文本。
   • 防御：Meta-Auditor 把同步确定性状态锚点（SDI/CII/VAD）与校准的异步语义监控和灰区仲裁组合；作者称其只检测与定位，不做回滚。
   • 主要结果（gpt-5.5 mesh，906 场景留出集）：无防御 mesh ASR 43.9%；LlamaFirewall 把 ASR 压到 10.2% 但拒答 92.5% 的合法任务，Progent 拒答 64.0%；opus-4-8 Meta-Auditor 残余 ASR 1.3%、召回 98.5%、良性 FPR 2.9%（Table 3b、Table 4）。
   • 迁移与泛化：图像与文本通道召回差不超过 1 个百分点（Table 6）；冻结 artifact 在 ASB 记忆投毒上召回 95.0%、在 AgentDojo 落地运行上 86.4%（Table 19）；未见域临床医疗上 opus-4-8 召回 100.0%（Table 21）。
   • 作者结论：在过度拒答与漏检同样昂贵的场景，可靠验证需要异质证据和显式操作曲线，而非单一结果分数；作者同时说明操作点按 auditor 校准、覆盖限于企业工作流、图像臂 FPR 临时，自适应攻击者与拓扑变化留作未来工作。

   收起这一问

相关论文