Study: Upstream Error Messages Cause Downstream Multi-Agent LLMs to Override Correct Answers

多智能体交接中，下游已有足够证据却仍被一条错误上游消息改掉正确答案。

• 场景：多智能体系统把子任务结果经消息传给下游。作者认为错误、幻觉和格式问题会沿消息传播；更关键的是，下游即使持有独立证据，错误上游消息仍可能覆盖其正确判断（Figure 1）。
• 现有不足：从众、sycophancy与知识冲突研究多基于单模型观察或模拟投票，作者认为缺少在真实流水线中固定证据、只操纵消息内容的逐题因果分析，因而没有把通信收益和错误消息的损害分开。
• 核心观察：价值信息理论预期决策者可自由忽略额外信号时，消息价值不应为负。作者把τ<0视为自由处置在实践中失败，并把“能独立答对、收到含错误答案的消息后改成对方具体错答”定义为substitution（答案替换）。
• 本文做法：在draft-review两节点交接上，固定下游任务与证据，比较无消息、上游原消息、以及结论相反的消息；跨五个基准和五个接收者，并从消息价值、逐题位移方向和边界条件三个维度刻画。
• 威胁模型：本文是受控行为研究，不设外部攻击者。作者研究的是流水线内部的单次消息接收：上游对子任务生成消息m，下游同时看到m与任务证据e（检索段落、数据库schema或工具输出）并给出最终答案。受害对象是这条常见的顺序交接；成功与否按下游答案相对金标及是否改成上游具体错答来记。

多智能体通信可靠性

• Hong et al. (2024)、Wu et al. (2023)、Zhang et al. (2025b)、Hu et al. (2025)、Chen et al. (2024)——顺序流水线把中间结果从前一智能体传给下一智能体。
• Cemri et al. (2025)归纳14种失败模式；Jamshidi et al. (2026)与Singh & Pawar (2026)写幻觉跨阶段叠加；Becker et al. (2026)研究注入的错误信息扩散；Yang et al. (2026)指出错误答案的消息仍可能带有有用中间步骤。作者认为这些工作说明错误会传播，但没有问下游已有足够证据时错误为何仍保留。
• Zhang et al. (2025b)的AFlow在多个基准上收敛到两节点draft-review拓扑；另有工作偏向多数投票聚合（附录A.24）。本文以这一两节点交接为受控对象。

证据冲突与社会影响

• Tao et al. (2024)、Borjigin et al. (2026)研究锚定；Sharma et al. (2024)、Perez et al. (2023)、Wei et al. (2023)研究sycophancy；Qu et al. (2026)、Cho et al. (2025)、Shehata & Li (2026)研究对模拟同伴多数的从众；Shi et al. (2023)与Liu et al. (2024)分别写无关信息和位置偏差会分散模型。
• 作者称最接近的是Qu et al. (2026)：同伴意见会在多智能体讨论中诱发从众。区别是本文接收者持有足以独立答对的证据，且固定该证据只操纵消息。作者认为位移是否与群体从众同一机制仍开放。
• Xie et al. (2024a)、Chen et al. (2022)研究参数知识与上下文知识的冲突；作者称本文的冲突发生在两个外部输入之间，即同伴消息与任务证据。

自我纠正与推理忠实性

• Huang et al. (2024)报告没有外部反馈时LLM自我纠正会降低表现；Self-Refine（Madaan et al., 2023）和Chain-of-Verification（Dhuliawala et al., 2024）用结构化复查抓错误，但Huang et al. (2024)认为没有外部反馈时效果有限。
• Turpin et al. (2023)、Lanham et al. (2023)、Lyu et al. (2023)、Chen et al. (2025)讨论chain-of-thought解释可能不忠实于实际推理。作者用§4的CoT分析把两条线连起来：接收者逐步推理、引用正确证据，仍采用同伴结论。

基线与数据。比较条件是消息隐藏、原样展示和结论反转，而不是另列一组已发表攻击或防御系统。基准为BIRD、HotpotQA、LBMusique、2WikiMultihopQA（文中亦称L2W）和DROP；附录另有BIRD-Hard。理论参照是Blackwell (1953)与Howard (1966)的价值信息理论，作者称贡献是经验性的。

作者把本文定位为：在单次消息交接这一顺序流水线的原子单元上，固定证据、操纵消息，说明该效应是朝同伴具体错答的定向位移，而不是单纯的错误传播或信息冗余。

作者把顺序流水线收成一次draft-review交接：上游对子任务生成消息m，下游连同证据e作答。AFlow等系统常收敛到这种两节点拓扑，因此作者用它把下游行为归因于消息内容。

问题设定与两个量

• 因子：是否持有独立证据、是否看到同伴消息，构成2×2。消息隐藏时用中性占位符。
• 消息价值：τ(s)=Acc_shown(s)−Acc_hidden(s)。正值表示该证据条件s下消息有帮助，负值表示有伤害。
• 交互：Γ=τ(无证据)−τ(有证据)。Γ>0表示给接收者自己的证据后，同伴消息变得更没用，或转为有害。
• substitution：上游消息含错误答案，接收者在没有该消息时会答对，收到后改成同伴的那个具体错答。一项只有在仅证据、独立运行3次中至少2次答对时，才算可独立求解（k=3多数票）。

三个研究问题与对照

1. 上游出错时，同一条消息是否从有帮助转为有害：先检验Γ>0，再按上游对错分解τ（§3.2）。
2. 位移是否定向：可独立答对的题上，是否改成同伴的具体错答，而不是随机错误（§3.3）。
3. 答案是否跟随消息内容：证据固定，反转同伴结论后，答案是否跟着变（§3.4）。

作者认为仅Γ>0区分不了substitution和普通信息冗余；第2、3问以及基准内的掩蔽证据实验用来区分。另设四类对照，排除“消息因先出现而锚定”“因为标成队友才顺从”“任何第二次输入都会随机改答案”“格式变化让自动评分夸大伤害”（§2.3、§3.5）。

消息操纵与评分

• 主上游为gpt-4o-mini，另以gpt-5.4、kimi-k2.6、qwen-plus复现。主接收者为gpt-4o-mini，跨族为deepseek-v3.2、kimi-k2.6、glm-5、qwen3.6-plus，共五个接收者。温度均为0。结论反转的消息由qwen3.7-max生成。
• 结论反转：固定证据，把原本错误的结论改对或把原本正确的结论改错，保留证据引用和分步格式（token重叠60–73%，附录A.15）。最小编辑对照只改最终答案行和一句结论陈述。
• 延迟接收：先只凭证据作答并外部记录，再看到同伴消息和复查指令。来源标签对照把消息改标为未经验证的工具输出，或去掉归属。
• 评分：BIRD为执行准确率；LBM、HotpotQA、L2W为token F1，二值判定阈值0.5；DROP为exact match，多span答案有contains回退。同伴答案采纳以token-F1≥0.5或子串包含判定。

恢复干预与行为分类

• 恢复实验用oracle错误知识给出上界。同一初始答案上比较五种消息变体：原消息、泛化警告、错误的错误位置、去掉草稿答案只留推理、正确的错误位置。
• 三路分解（Table 1）在上游答错的题上比较消息移除（A）、更换接收者（B）和合计（C）。附录用gemini-2.5-pro作共享错误检测器，看上游结论是否可能错误，再把标出的题路由到不同干预；未标出的题保留原答案。
• 行为分类（附录A.4）针对“上游答错且接收者有独立证据”的题，区分无条件跟随、能独立解出仍跟随、忽略错误并答对等。CoT诊断（§4）同时当作一种自然防御，并用推理轨迹看接收者是否引用了证据。

实验设置

• 接收者：gpt-4o-mini、deepseek-v3.2、kimi-k2.6、glm-5、qwen3.6-plus。主上游gpt-4o-mini；上游变体还有gpt-5.4、kimi-k2.6、qwen-plus。结论反转用qwen3.7-max；门控检测器用gemini-2.5-pro。温度0。
• 基准与规模（附录Table 2，上游错误率为gpt-4o-mini）：BIRD，SQL，n=150，上游错误61.3%，指标执行准确率；L2W，多跳QA，n=120，13.3%，token F1；LBM，n=160，43.8%，token F1；HotpotQA，n=200，50.0%，token F1；DROP，阅读理解，n=120，18.3%，exact match。BIRD-Hard为更难子集，n=150，上游错误68.0%。
• 设计：每题四个条件（证据有/无 × 消息展示/隐藏）。可独立求解定义为仅证据3次中至少2次正确。统计包含配对bootstrap（B=10,000）和McNemar。
• 指标：τ、Γ（百分点）、c→w与w→c转移、同伴具体错答采纳率。二值F1阈值0.5。
• 审计范围不同：297/2,667覆盖全部25格；采纳审计为82次c→w（四个HotpotQA接收者加一个LBM接收者）；另有279/21格在能取得逐题上游对错时统计。作者在附录Table 2中对账这些计数。

主结果

Figure 3(a)的c→w（行按图中模型顺序，列为BIRD、LBM、2WikiMH、HotpotQA、DROP）：

Swipe horizontally to read the table

接收者	BIRD	LBM	2Wiki	HotpotQA	DROP
Qwen3.6+	21%	12%	1%	13%	7%
GLM-5	26%	14%	4%	10%	4%
Kimi	32%	22%	9%	11%	7%
DeepSeek	26%	10%	9%	6%	2%
GPT-4o-mini	17%	11%	7%	8%	5%

• 作者报告全部25格Γ显著为正（p<0.0001，Figure 2a）。Figure 2(b)中，上游答对时τ>0，上游答错时τ<0，五个基准、五个接收者均如此。
• 可独立求解的2,667题中297题被覆盖（11.1%），单格最高32%。82次c→w审计中77次（94%，bootstrap 95% CI [87%, 98%]）最终答案与同伴具体错答一致；四个HotpotQA接收者各自采纳率≥83%。21格的279次c→w中250次（90%）发生在上游答错时。
• 作者称有证据时加权平均τ=−0.6 pp（95% CI [−4.1, +3.3]），帮助与伤害接近抵消。DROP上gpt-4o-mini在有证据时τ仍为+23.2 pp（附录Table 5），消息总体仍有帮助；qwen3.6-plus在DROP有证据时τ=−1.7 pp（附录Table 6）。

结论反转与替代解释

• 结论反转（Figure 4）：11个格子（3–4个接收者 × 3个QA基准）中，改坏正确结论全部降低准确率（11/11），改对错误结论全部恢复（11/11）。最小编辑对照九格中四格达到显著；作者称效果因接收者和任务而异。L2W上改对为+46.0（95%区间[25.0, 67.9]），改坏为−72.1（[−81.4, −61.9]），n受自然上游错误较少限制。
• 来源标签（Figure 5a，HotpotQA / LBMusique）：队友、工具输出、无归属的c→w在配对McNemar下不可区分（p>0.3）。图上HotpotQA约为57%、49%一档，LBMusique约为15%、14%、17%。gpt-4o-mini与deepseek的TOST支持差异在±5 pp内；kimi部分比较因基率低而功效不足，LBM样本量不足以做结论性等价检验。作者称即使明确指示优先证据也不能降低覆盖。
• 非二次作答、非首因、非评分假象：匹配的双分支中，看到消息的分支c→w更多（BIRD，gpt-4o-mini：17 vs 2，p<0.001；deepseek：9 vs 0，p=0.004）。延迟接收在四个QA基准上保留正确消息的收益，但不能在上游错误时恢复证据使用（Figure 5b；图中立即接收一档标有59%）。Yes/No核心抽取降低但不消除覆盖率，且受影响基准限于特定子集（附录A.18）。

恢复、CoT与例外

• Table 1（上游答错题，配对bootstrap B=10,000）：消息移除在BIRD（n=92）、LBM（n=70）、L2W（n=16）上为+10.9、+6.7、+1.7 pp；更换接收者为+10.9、+24.1、+22.3 pp；合计+21.7、+30.8、+24.0 pp。上游答对时移除消息有害（−20.7至−25.4 pp，附录Table 9）。盈亏平衡检测精度约为BIRD 66%（61%上游答案错误）、L2W 94%（13%上游错误）。
• 错误位置（Figure 6a）：正确错误位置增益最大（BIRD p=0.003，LBM p=0.016）。泛化警告增益更小，错误的错误位置不提升。Figure 6(b)端到端恢复中，BIRD与LBM的若干旁路/重跑条件标有+9.3与+7.5 pp。gemini-2.5-pro检测器（附录Table 7）：BIRD精确率91.8%、召回60.9%（标出61/150）；LBM 81.1%、42.9%（37/160）；L2W 35.0%、43.8%（20/120）。
• CoT（§4，Figure 5c）：HotpotQA上四个模型中两个覆盖率有小幅下降，一个出现反向，另一个也变差，均未达显著。LBM上最强降幅仍留下近一半本可答对的题被覆盖。两名标注者对60条较强模型轨迹的“引用了相关证据仍跟随错答”一致，AC1=0.98。作者认为失败不是因为没有接触证据，是否符合锚定或其他解释仍开放。

其他消融与分析

• 掩蔽BIRD的数据库schema：准确率Δ=−24.4 pp（95% CI [−30.1, −18.8]）。
• 四个上游（准确率37–85%）在HotpotQA与LBMusique上Γ为20–43 pp（均p<0.0001，Figure 2c）；被覆盖的正确答案数量随上游能力变小。
• BIRD-Hard：无证据消息价值+28.0、有证据+1.3，Γ=+26.7；主BIRD的Γ为+25.3。
• L2W（自然上游错误仅16题）：无证据+46.6、有证据+21.8，Γ=+24.8（p<0.0001）。
• kimi-k2.6作LBM上游且答案错误时，有证据的消息价值整体+10.5 pp（n=87）；接收者能独立解出的18题为−22.8 pp，不能的69题为+19.1 pp（附录Table 3）。错消息仍有帮助的22题中20/22无消息时得分为0；86%的这类题中金标出现在kimi推理链里。
• gpt-4o-mini行为分类（附录Table 4，百分比）：“能解出仍跟随”在BIRD/LBM/HQA/DROP为9%、6%、23%、9%；“跟随上游错误”合计93%、71%、61%、95%。列样本量BIRD 92、LBM 70、HQA 100、DROP 22。BIRD上92道上游错误题中，11道受害、0道反向受益、81道不变。八个替换接收者上，恢复与单独作答准确率回归R²=0.77（附录A.8）。

作者指出的局限与后续方向

• 机制未裁定（§6）：实验缩小了解释空间，但不能区分接收者是在内部用同伴主张替换基于证据的推理，还是同时考虑两边但对消息赋了过大权重。作者称这与锚定或其他解释是否一致仍是开放问题（§4、§6）。
• 证据质量（§6）：全部实验使用oracle质量证据（金段落、完整schema）。作者认为检索不完美的部署中，substitution的发生率可能与本文测量不同。
• 任务范围（§6）：发现展示在具有离散、可验证答案的任务上；substitution是否延伸到开放式生成、迭代辩论或更长链路，作者称尚未测试。
• 通信设计仍开放（§6）：如何在上游错误时保住通信收益、同时保护独立判断，作者称受控设定尚未解决。作者认为不该停止传消息，但消息价值取决于接收者的证据状态和上游正确性，两者都要评估而不能假设。
• 提示式防御（§6，对应§4与§3.6的结果讨论）：作者称基于提示的防御不能可靠恢复独立判断；五个被测接收者族都至少在一个基准上出现该模式。
• 检测门槛（§6）：在全量题目上直接移除消息是净有害的，因为丢掉正确信号的代价超过收益。门控移除的盈亏平衡精度约BIRD 66%、L2W 94%，低于该精度则净有害。

实验覆盖范围

• 主实验为五个接收者 × 五个基准共25格；上游变体在HotpotQA与LBMusique上比较四个模型（准确率37–85%）。温度固定为0，可独立求解由k=3多数票定义。
• 结论反转为11格；最小编辑为九格中四格显著。来源标签、延迟接收、匹配调用次数和Yes/No评分对照分别写在§3.5与附录A.18、A.22。
• 恢复的三路分解覆盖BIRD、LBM、L2W的上游错误子集（n=92、70、16）；检测器为gemini-2.5-pro，Table 7给出精确率与召回。CoT轨迹标注为两个较强模型的60条，两名标注者AC1=0.98。
• L2W自然上游错误只有16题，作者在结果旁注明统计功效有限。kimi在来源标签对照的部分比较也因基率低而功效不足。
• 论文报告了DROP上有证据时消息仍可净有帮助（gpt-4o-mini τ=+23.2 pp），以及kimi-k2.6在LBM上游错误题上的总体正τ来自接收者单独解不出的题。

这项受控研究考察多智能体draft-review交接里，一条上游消息会怎样改变下游原本能做对的判断。

下游同时看到任务证据和上游消息。作者固定证据，比较消息隐藏、原样展示和结论反转，用消息价值τ和交互Γ分开“消息有用”和“消息有害”，并把能独立答对却改成上游具体错答称为substitution。

五个基准（BIRD、LBM、2Wiki/L2W、HotpotQA、DROP）和五个接收者上，Γ均为正。上游答对时消息提高准确率，答错时同一条流水线降低准确率。2,667道可独立求解题中297道被覆盖（11.1%），单格c→w最高32%；82次审计里77次（94%）复制了上游的具体错答。有证据时加权平均τ为−0.6 pp，帮助与伤害接近抵消；DROP的gpt-4o-mini是例外，有证据时τ仍为+23.2 pp。

改坏或改对结论会在11/11格上相应降低或恢复准确率。来源标签、先作答再看消息、匹配的二次推理次数和评分方式不能解释这一模式。CoT不能可靠消除覆盖。上游答错时，移除消息加更换接收者在BIRD、LBM、L2W上合计恢复+21.7、+30.8、+24.0 pp；上游答对时移除消息则损失约20.7–25.4 pp。作者认为通信协议应按上游可靠性与下游已有证据选择性地传递消息，并指出oracle证据和离散可验证答案限定了目前的范围。