从火花到烈火：建模并缓解基于 LLM 的多智能体协作中的错误级联

LLM多智能体协作会把局部原子错误经上下文复用固化成系统级false consensus。

• 场景：作者称分工协作被默认能提高可靠性，但递归复用上下文时，事实性（factuality）或忠实性（faithfulness）上的小偏差会被反复引用，收成违背任务证据的集体共识。Figure 1把该过程画到安全破坏或运行中断。
• 现有不足：作者称提示注入、越狱和RAG真实性等工作停在单智能体，缺少对协作放大的直接刻画；给MAS加critic或改协作模式会干扰信息流，并把错误当成待过滤的静态异常。
• 假设：把消息流写成有向依赖图后，上下文复用驱动的是可跟踪传染，而不是随机扩散；早期是否放大可由结构以及传播、纠正参数检查。
• 提出内容：传播动力学与早期风险准则，六个主流框架上的三类内生脆弱性，单一种子的定向共识破坏，以及不改通信结构的谱系图治理层（消息层插件）。
• 威胁模型：
  • 资产与成功：保护协作共识完整性。外生攻击成功指在交互预算内提高false consensus占比S(t)，或使最终任务正确性低于无扰动基线。
  • 知识：gray-box，知悉图G与交互历史，无模型权重；可推广到black-box，只从交互轨迹推断功能拓扑。
  • 能力边界：仅应用层接口，包括用户提示词、不可信检索文档和注入消息。不能改隐藏指令、不能在主机执行代码、不做训练投毒；限于推理阶段和有界预算。第IV-A节的系统指令注入只用于测量，作者称不属于该能力。
  • 受害对象：LLM-MAS的最终决策或生成产物。另有非策略性内生错误，种子来自解码、有限上下文窗口和幻觉。

相关工作在第IX节，引言另讨论单智能体校验和改架构的防御。

对抗攻击

• 通信面：Ferrag等（2025）与Kong等（2025）的综述整理提示注入、上下文劫持和协议层操纵。
• 跨轮传递：恶意输出可沿下游依赖传递；间接提示注入可穿过多轮委托，覆盖系统意图并放大到起始智能体之外。
• 共识转向：偏向一个智能体或协调通道，可使合作核验变成放大路径。文中还写到拦截智能体间消息，以及网页、工具与共享记忆的组合。作者称这些观察支持编排层治理，而不是逐智能体的临时防御。

无对手时的失败

• 可靠性：Pan等（2025）报告串联智能体的可靠性增益有限，并出现多智能体特有崩溃；超过1600条轨迹被分成14种失败模式，分属系统设计、智能体间失配和任务验证失败。
• 症状：角色误解、互相覆盖上下文、无效循环，以及长交互中遗忘较早约束。
• 错误强化：没有外部验证时，共享错误会被强化；作者用SagaLLM的并行预订冲突为例，写缺少回滚和全局状态检查。

防御与检测

• 个体护栏：结构化提示、输出过滤和策略工具只约束单个智能体。作者称其看不见跨智能体依赖，会错过消息和工具调用穿过团队之后的不一致。
• 系统监控：验证者智能体、看门狗、SentinelAgent的交互图加LLM监控，以及Audit-LLM的日志审计。
• 作者的判断：智能体间链路仍under-protected；多跳攻击可避开检测器，对抗性引导会削弱共识可靠性，监控开销限制部署。文中归纳的方向是编排层的信任策略、统一日志、监督式暂停或回滚、最小权限和通信溯源。

实验基线与基准

• 基线：Reflection（发送前自查自改）、AGrail（检查每条出站消息）、CFG（对照可接受边，拒绝时尝试另一条合法路由，受ControlValve启发）。
• 场景与框架：QUANT（UCI）、RIGID（MATH）、MMLU；LangChain、MetaGPT、AutoGen、CAMEL、CrewAI、LangGraph。

作者把本文放在不改邻接矩阵A的消息层干预上，并用图动力学把传输（β与ρ(A)）和纠正（δ）分开。引言认为，只做单智能体校验或改协作结构，对不上错误作为动态流的传播。

传播动力学把协作写成有向依赖图，再用谱系图治理层只在消息路径上干预，不改通信结构。

问题设定

• 图：G=(V,E)，aij=1表示j的输出进入i的后续上下文。跟踪单一原子错误m。
• 两类错误：事实性错误相对数据集真值、评测oracle或任务指定的外部参照（含已验证工具输出、金标注）不成立。忠实性错误只在有证据束Ei(t)时定义，指主张不被该证据支持或与之矛盾。
• 采纳：Xi(t)=1表示m成为语义承诺或功能前提，包括直接蕴涵，以及从上下文去掉或否定m后结论或动作不成立。表面复述不是充分检验；显式拒绝或否定不计。
• false consensus：si(t)为采纳概率。覆盖率S(t)=1/n∑_i=1ⁿs_i(t)。S(t)超过预设阈值τ并连续若干轮保持其上，记为错误锁定。τ的数值论文未给出。

图动力学与风险准则

一步更新为s_i(t+1)=(1−δ)s_i(t)+(1−s_i(t))f_i({s_j(t)}_{j∈ N(i)},G)。δ汇总遗忘、自纠正和外部验证。默认fi是轮次独立级联的乘积形式：每个活跃上游邻居每轮有一次机会，成功一次即触发采纳，概率为β。泊松形式只在需要连续时间解释时使用。

早期si远小于1时，放大条件是βρ(A)大于δ；辅助指标R约为βρ(A)/δ。δ接近0时R病态，作者改用该不等式作主要检查，R只作诊断。作者称乘积形式更贴合一轮一次尝试，并能把智能体侧的β与结构A分开。附录A用中性codeword拟合β、δ。作者称Figure 3的拟合曲线大体落在观测不确定带内；图中位置文本不可读。

三类内生脆弱性的定位

• 级联放大：早期纠正弱时，多邻居同时提及会叠加而不是抵消。若R大于1，单一种子可沿谱半径对应的模式扩大覆盖。测量时把示踪种子写入入口智能体的系统指令，作者称这不属于第III节的攻击能力。
• 拓扑敏感：早期增长沿主特征向量；最危险的单点是该向量分量最大的节点。星型中hub分量最大。Impact Factor是hub驱动感染率与leaf驱动感染率之比。
• 共识惯性：中间产物把错误结晶成后续依赖的约束。Accumulated Polluted Rounds统计干预前错误上下文的累积量。

外生攻击流水线

注入固定在t=0、一颗种子，用来测下游暴露的上界，作者称仍在第III节能力内。三步只写到机制：构造与任务格式兼容、足以改变下游决定的原子错误；用Compliance（权威口吻）或Security FUD（把种子说成对并不存在威胁的处置）包装；gray-box打在与ρ(A)对齐的高影响节点，black-box打在从信息流推断出的聚合、摘要或最终决策角色。论文未在结果表标明每格属于哪种知识设定。

谱系图治理层

中间件截取出站消息，A保持不变。新主张默认为不可信。可信锚只有谱系中已确认的主张，以及指定验证工具的外部证据。

1. 消息拆成可独立核验的原子主张，分事实性与忠实性，再与已确认谱系比对：被蕴涵为Green并放行；矛盾为Red并阻断；否则为Yellow。
2. Yellow三档：Low-Intervention不验证，只加不确定标记且不升入可信上下文；Balanced对功能hub的Yellow做完整验证，其余同低干预；Strict验证全部Yellow。实验表的运行点名为Speed、Balanced、Strict。论文未写明Speed与Low-Intervention是否同一策略。
3. 核验后：为真升Green，为假改Red并附回滚证据，未决保持Yellow。出现Red则退回改写，重试上限为K，论文未给出K。仍失败则熔断：持续Red剔除，持续Yellow带高风险标记放行，但不进入已确认谱系。
4. 在线介入共享上下文；离线重放日志做归因，可近似S(t)，不影响执行。分解用FActScore协议与GPT-4o-mini；蕴涵用DeBERTa-v3-small；验证层用自建知识库和GPT-4o-mini。

实验设置

• 框架：链为LangChain、MetaGPT，网为AutoGen、CAMEL，星为CrewAI、LangGraph。防御每种拓扑选一个，Table V为MetaGPT、AutoGen、LangGraph。
• 任务：QUANT、RIGID、MMLU各20题。附录写QUANT用UCI Adult Income，需远程CSV与Python工具链；RIGID要求MathAPI，并称为AMC 10/12风格；MMLU改为检索式，子集为High School Physics、Chemistry、Biology，每题一个目标事实，经Wikipedia API核验。
• 攻击与重复：应用层单种子，固定t=0。策略为Baseline、Compliance、Security FUD。攻击每格20×3次，防御每格20×2次。内生实验另把示踪种子写入入口智能体的系统指令。
• 防御与基线：NONE；治理层Speed、Balanced、Strict；Reflection、AGrail、CFG。分解用GPT-4o-mini与FActScore，蕴涵用DeBERTa-v3-small，验证用自建知识库和GPT-4o-mini。
• 指标：ASR是最终产物被标为感染的任务比例；BICR定义为1−ASR；Safe Completion要求产物可用且未感染。Token/Safe与Latency/Safe只对安全完成平均。标签由确定性程序计算，不是LLM裁判。另记录S(t)。
• 论文未写明：各框架的骨干对话模型、τ、K、显著性检验。Table X把AutoGen、CAMEL写作3个智能体，Table XI写作4个。

主结果

下表据Table IV，单位为ASR（%）。M、Q、R为MMLU、QUANT、RIGID。Base.、Comp.、Sec.为Baseline、Compliance、Security FUD。因列数只列部分格子。

表格较宽，可左右滑动

框架	拓扑	Base. R	Comp. M	Sec. M	Sec. Q
LangChain	Chain	0.0	95.0	100.0	100.0
MetaGPT	Chain	46.7	100.0	96.7	76.7
AutoGen	Mesh	0.0	100.0	98.3	100.0
CAMEL	Mesh	0.0	100.0	100.0	98.3
CrewAI	Star	3.3	46.7	46.7	43.3
LangGraph	Star	11.7	100.0	100.0	98.3

• 作者概括：意图隐藏包装高于逐字插入。正文称Baseline几乎全接近0，只在MetaGPT–RIGID升到46.7%；表中另有LangGraph的Baseline R为11.7，LangChain的Baseline M为3.3。
• 作者给出的区间：CrewAI以外，Compliance的ASR大多为85.0%–100.0%，Security FUD在这些设置为76.7%–100.0%。Table IV中CrewAI的Compliance为46.7、51.7、31.7，Security FUD为46.7、43.3、33.3。
• 同拓扑差异：作者称mesh上AutoGen与CAMEL、star上LangGraph在意图隐藏下接近饱和，CrewAI更低，并认为实现层的协调与路由会影响错误被复用的方式。

内生脆弱性

• 级联：Table X最终感染率：MetaGPT、LangGraph、CrewAI、AutoGen、CAMEL为100.0%（标准差0.0%），LangChain为89.2%（22.1%）。作者称五个框架达到100%，含带reviewer或QA的设置，角色分工本身停不住传播。正文称链上S(t)逐步上升，星型在hub采纳后跳升，并称LangGraph到t=2时覆盖已高；网状在t≤3近乎立即污染。Figure 4逐点数值文本未给出。
• 拓扑：Table II，CrewAI的hub为100.0%、leaf为15.9%、Impact Factor为6.29；LangGraph的hub为100.0%、leaf为9.7%、Impact Factor为10.31。作者称LangGraph的Supervisor是严格的信息割集。
• 惯性：Table III未写框架。t=2、角色Architect时Polluted Rounds为1.0；t=4、QA Engineer为2.9；t=6、Architect为3.9。作者把该量解释为延迟干预要对付更长的错误历史。

治理层防御

下表据Table VII，为跨框架、跨攻击设置的平均。

表格较宽，可左右滑动

模式	BICR	Safe Comp.	Tok./Safe	Lat./Safe (s)
Reflection	0.32	0.32	12,749	91.8±24.0
Speed	0.89	0.88	21,227	149.7±39.5
Balanced	0.93	0.91	30,844	179.6±44.3
Strict	0.94	0.93	57,610	217.9±53.7
AGrail	0.79	0.11	19,902	98.8±20.5
CFG	0.76	0.16	13,323	65.3±25.2

• 作者解读：从Reflection换到Speed的增益最大；Balanced与Strict进一步压低残余感染，token与延迟上升。作者建议把Speed当成本敏感模式，Strict当可接受更高延迟时的高保证模式。摘要写各运行模式上至少89%的运行阻止最终感染。
• 分框架：正文称MetaGPT上Speed在Compliance、Security FUD的BICR为85.0%与100.0%，Safe Completion为79.2%与97.5%；AutoGen三种模式在这两种攻击下BICR高于95.0%，Safe Completion高于92.5%。LangGraph在Security FUD下Strict与Balanced的BICR均为76.7%；Table V中该攻击下Speed也是76.7%。作者称Figure 6里三种运行点都比NONE更早压平S(t)；图中逐点数值文本未给出。
• 对照：Reflection在意图隐藏下变弱。Compliance/Security FUD的BICR：MetaGPT为5.0%/19.2%，AutoGen为5.8%/3.3%，LangGraph为0.8%/0.8%。AGrail、CFG有时压低最终感染，但可用完成低：AutoGen在Compliance下BICR/Safe Completion为89.2%/0.0%与84.2%/0.8%，LangGraph两者均为90.0%/0.0%。

其他消融与分析

• Table VI（Strict对照）：去掉原子化BICR 40.0±49.0%（11,663 tokens）；去掉检测14.4±35.2%；去掉阻断3.1±10.1%（34,991 tokens）；None为2.2±14.7%。作者称检测需配合隔离或回滚，去掉原子化的方差使其不能做更强的稳定性主张。
• Table I：分层图product-form的MSE为8.0×10^{-4}，Poisson为1.74×10^{-2}；前者β=0.920、δ=0.005、S(T)=0.920。
• Table VIII：真实攻击轨迹上product-form平均MSE为0.029；Final ASR最低为CrewAI的0.422，CAMEL与LangGraph为0.997。
• Table IX：LangGraph-Star的Obs. S(T)从None的0.80到Speed 0.18、Strict 0.04；AutoGen-Mesh从0.76到0.17与0.08。δ接近0时作者改报βρ(A)−δ。
• Table XII：DeBERTa-v3-small准确率71.2%、FGR 2.3%、Green Precision 80.0%；gpt-4o-mini的FGR为20.5%。作者因本地算力约束把small作为在线NLI默认后端。
• 附录A：校准感染定义为输出含中性codeword，N=5、T=5、每拓扑R=20；这与正文按语义采纳判定不是同一标准。

作者指出的局限与后续方向

• 二值观测：模型用连续状态si(t)与轨迹S(t)，评测用二值Xi(t)。作者称这可能漏掉部分内化错误前提、放宽约束，或未达到严格采纳标准的语义漂移。（第VIII节）
• 平稳摘要：作者称(β, δ)与结构项A被当作平稳摘要，角色、任务或时间变化只被间接体现。谱指标R是早期分析的理论启发式，不是部署保证，也不是校准过的风险预测器。（第VIII节）
• 注入范围：注入实验是受控探针，不是对对抗行为的完整刻画。攻击者没有持久系统访问和执行层控制。（第VIII节）
• 更强对手：工具篡改、长期画像投毒，以及对中间状态作出反应或拥有更丰富访问的多阶段自适应对手，作者写明留在范围外。（第VIII节）
• 延迟：在线插件有延迟开销。同步执行会增加延迟；解耦或卸载会把防护移到非关键分析。作者称在实时延迟预算和安全目标之间取平衡，仍是未解决的部署约束。（第VIII节）
• 后续：作者计划研究更长程的工具使用流程，并点名软件工程与科研辅助；改进采纳真值、收紧从真实轨迹估计ρ(A)；把消息溯源、证据检索和验证调度耦合起来，调节在线与离线的安全–延迟取舍。（第VIII节 Future Work）

实验覆盖范围

• 攻击与级联测量包含LangChain、MetaGPT、AutoGen、CAMEL、CrewAI、LangGraph；防御主表只含MetaGPT、AutoGen、LangGraph（Table V）。
• 三场景各20题；攻击每格重复3次，防御每格重复2次。对照为Reflection、AGrail、CFG与NONE。
• 外生实验是应用层单种子、t=0的Baseline、Compliance、Security FUD。hub与leaf对比只写了CrewAI和LangGraph（Table II）。
• 动力学校准在附录A：N=5、T=5、每拓扑20次、中性codeword；另有真实攻击日志上的离线拟合（Table VIII）。NLI补充评测用来自MetaGPT、LangGraph、AutoGen日志的人工标注原子事实，并加了人工核对的合成改写。
• 论文未报告智能体骨干对话模型、τ、K、显著性检验，以及Table IV各格的gray-box或black-box标签。

作者把LLM-MAS中“小错变成集体错误共识”做成图上的可测传播，并用只改消息、不改拓扑的插件压低最终感染。

• 问题：固定编排下，事实性或忠实性的原子错误会沿上下文依赖被采纳，使最终产物锁在错误共识。作者要在不改邻接矩阵的前提下抑制这种固化。
• 做法：个体均值场更新采纳概率，早期检查βρ(A)是否大于δ。治理层把消息拆成原子主张，用谱系图做绿/红/黄筛选，对红主张阻断并回滚。外生对手被写成gray-box或black-box的应用层单种子注入。
• 攻击：Table IV中逐字注入多数接近0，但MetaGPT在RIGID上的Baseline ASR为46.7%。作者称Compliance在CrewAI以外大多为85.0%–100.0%。CAMEL在Compliance的三个情景均为100.0%。
• 内生：Table X中五个框架的最终感染率为100.0%，LangChain为89.2%。Table II中LangGraph的hub感染率为100.0%，leaf为9.7%，Impact Factor为10.31。
• 防御：Table VII的平均BICR从Reflection的0.32到Speed的0.89、Strict的0.94；Safe Completion为0.32、0.88、0.93。AGrail的BICR为0.79，Safe Completion为0.11。去掉阻断后BICR为3.1±10.1%（Table VI）。
• 作者结论：传输由β与ρ(A)推动，纠正由δ推动；检测若不配合隔离或回滚，不能稳住下游传播。R是早期分析用的理论启发式，不是部署保证。