ForesightSafety-TIDE:虚假证词使 LLM 多智能体系统事实恢复率从 72.50% 降至 14.17%
When Truth Is Distributed: Misinformation Derails Collective Fact Recovery in LLM-Based Multi-Agent Systems
作者用 ForesightSafety-TIDE 比较三套同质五智能体系统在诚实与单点欺骗下的事实恢复,真多数从 72.50% 降到 14.17%。
- 多智能体用通信汇集局部证据时,结果导向评测看不清专属证据是否进入讨论、以及虚假证词如何扩散。作者要测分布式事实恢复及其对误导的稳健性。
- ForesightSafety-TIDE 用 120 个五角色物体移动环境,局部观察合起来唯一决定终点。每个故事配对全诚实 C0 与关键证据持有者受控欺骗 C1,并用多阶段投票、证词采纳和证据根谱系追踪过程。
- 三套同质系统在 C0 的 R3 真多数率为 72.50%,C1 降到 14.17%,各系统均下降。虚假证词更易被采纳并传到更高阶;欺骗者退出后诚实智能体仍会转述。无一手证据的观察者压低错误共识,但不提高真值恢复。
- 作者指出环境为合成物体移动、未覆盖异构模型与更长交互,并计划扩展角色与通信结构。实验覆盖三模型、三种欺骗、退出与观察者条件;主实验每模型–环境–条件一趟,temperature 为 0。
- Evaluated models
- GPT-5.5DeepSeek-v4-proGrok-4.5
- Benchmarks
- ForesightSafety-TIDEHi-ToM(改编,120 个物体移动环境)
- Metrics
- truth-majority ratedecoy-majority rateno-consensus ratetruth-vote sharedecoy-vote shareUNKNOWN-vote sharetestimony reference ratetestimony adoption ratepropagation order
论文提出 ForesightSafety-TIDE 评测框架,将全诚实协作与关键证据持有者受控欺骗严格配对,通过多阶段投票、证词采纳和证据溯源追踪 LLM 多智能体系统的信息聚合过程。在 120 个五智能体物体移动环境中,部分观测共同决定唯一终点,作者评测了 3 个同构 LLM 多智能体系统。配对条件下,聚合事实恢复率从 72.50% 降至 14.17%,每个系统均显著下降。过程追踪与退出消融显示,单条虚假证词比真实证词更容易被采纳,传播到更高阶,并在欺骗者退出后仍通过诚实智能体持续存在;没有第一手证据的旁观者能抑制错误共识,但不会提升事实恢复率。作者认为,虚假证据通过被其他智能体采纳并在通信中继续传播而获得集体影响力。
Paper analysis
What problem does this paper attempt to solve?
在信息已足够时,多智能体能否把局部证据汇成全局事实,并扛住关键角色的虚假证词。
在局部观察合起来已唯一决定终点时,LLM 多智能体能否通过通信恢复全局事实,以及一名关键证据持有者的受控欺骗会怎样打断这一过程。
- 场景与重要性:作者认为,角色、工具和局部观察常使信息分布不均,通信成为汇集任何单方都不完整的知识所必需。部分可观察任务因此成为测试非对称信息整合的自然场景。现有评测多看最终答案,看不清专属证据是否进入讨论、是否被正确整合。
- 现有工作的不足:作者称,隐藏档案(hidden-profile)研究已指出群体会偏向共享信息和先验判断;LLM 多智能体工作开始考察真实证据披露与误导对集体结果的影响,但既没有系统追踪智能体专属证据的整合,也没有解释误导级联如何形成。
- 核心观察:群体可能在交换完成前就收敛到共享信息,或把局部错误放大成误导级联。挑战不只是集体是否握有足够信息,而是专属证据能否在偏见或干扰下进入讨论并被正确整合。
- 本文提出:作者提出 ForesightSafety-TIDE(Truth Integration under Deceptive Evidence),在部分可观察且群体信息充分的设定下,把全诚实协作与关键智能体的受控欺骗严格配对,并用多阶段投票、证词引用与采纳、以及证据根谱系传播分析汇聚过程。
What related research exists?
相关工作分协作协议、分布式知识汇集和通信驱动的错误放大三类;本文补上真假证据的传播竞争。
作者在 Related Work 中把先前工作分成三组,并指出它们多停在最终准确率或错误答案层面。
多智能体协作与决策协议
- MALLM(Becker et al. 2025):把角色、回答生成、讨论范式和决策协议模块化。
- ReConcile(Chen, Saha, and Bansal 2024):结合异构模型、置信度估计和加权投票。辩论与基于角色的评测(Liang et al. 2024; Chan et al. 2024),以及稀疏拓扑和决策协议(Li et al. 2024; Kaesberg et al. 2025)则分别用于多样化推理和控制通信。
- 系统评测(Wang et al. 2024; Smit et al. 2024):作者称这些评测没有发现相对强提示单模型的一致优势,收益取决于任务、提示词、交互强度和聚合方式。作者还称,该文献大多在共享输入下聚合候选答案和推理路径。
分布式知识与隐藏档案
- Wang et al. 2025:开始把任务相关上下文和证据分给不同智能体;作者称整合取决于治理、参与、交互顺序和上下文管理,但评测仍以最终准确率和效率为中心。
- HiddenBench(Li, Naito, and Shirado 2026):采用隐藏档案设计,分布式事实联合起来是充分的。作者称智能体能整合已披露证据,但难以发现信息不对称、也难以把未披露的专属证据提出来。
- 人类群体研究:Information Asymmetries Model(Brodbeck et al. 2007)认为有利的信息分布只有在讨论和评估中被有效处理才会产生协同。未共享信息的覆盖比讨论量更能预测决策质量(Lu, Yuan, and McLeod 2012; Stasser and Titus 1985);任务相关的未共享信息比一般开放性更能预测表现,共享信息更易主导讨论(Mesmer-Magnus and DeChurch 2009; Reimer, Reimer, and Czienkowski 2010)。披露还取决于目标、表达方式和初始偏好,并可能在重新设计的讨论结构下改善(Hollingshead, Wittenbaum, and Botero 2004; Reimer, Reimer, and Hinsz 2010)。作者称这些研究区分了集体信息充分性、证据披露和披露后整合,但主要研究非对抗设定下的真实信息。
通信驱动的错误放大
- 对抗与从众:对抗智能体可以把辩论导向预定的错误答案(Amayuelas et al. 2024);人设不稳定和谄媚会使智能体屈从同伴或强化已有答案(Baltaji, Hemmatian, and Varshney 2024; Pitre, Ramakrishnan, and Wang 2025)。即使没有恶意中继,诚实智能体也可能保留并转发误导,而面向共识的协议会压制起初正确的少数意见(Becker et al. 2026; Cui et al. 2026)。
- 同伴影响与提示扩散:同伴置信度和消息呈现塑造从众(Cho, Guntuku, and Ungar 2025);自复制提示词可沿通信链扩散(Lee and Tiwari 2024)。作者称这些工作主要检验错误答案或恶意提示词如何影响系统输出,没有细看误导在通信中如何被表征、转发,以及影响如何在群体中扩大。
基线与数据:实验内部基线是同一故事上的全诚实条件 C0,对照条件为 C1;环境由筛选并改编的 Hi-ToM(Wu et al. 2023)故事构成,共 120 个。作者将本文定位为:同时追踪真、假信息在多智能体系统中的传播,定量呈现误导如何获得优势并促成错误共识。
How does the paper address this problem?
用 120 个配对环境,在五检查点讨论中比较诚实与三种受控欺骗,并追踪投票、采纳和证据根。
作者构建 ForesightSafety-TIDE,让五个同质智能体在部分可观察的物体移动故事里恢复唯一终点,并把全诚实协作与关键角色的受控欺骗严格配对。
问题设定与环境构造
- 三条构造要求:每个环境须满足部分可观察(Partial Observability)、信息充分(Information Sufficiency)和信息重叠(Information Overlap)。失败应来自通信或整合,而不是信息不够;重叠则使通信必须交叉核对,而不是简单拼接。
- 状态链:对一个目标物体,从改编的 Hi-ToM 故事抽出初始位置和全部后续移动。状态链写作
L^{m}_{0}: l_0 \xrightarrow{a_1} l_1 \xrightarrow{a_2} \cdots \xrightarrow{a_m} l_m,其中 lt 是第 t 次移动后的位置,at 是执行该移动的角色,lm 是真值终点。重复访问同一地点记为不同状态节点,以保留移动顺序。 - 观察窗口:预定义的确定性规则把观察者分配到每次移动。窗口是角色–子链对,覆盖进入、在场时观察或执行的动作以及随后离开。角色观察在场期间的全部移动,并始终知道自己的动作。重入可产生不连续窗口。规则保证没有任何角色观察完整状态链或知道自己窗口的全局位置;每个故事至少有一个恰好三个角色的子集,其合并信息可以重建状态链;部分移动被行动者和另一在场角色共同观察。
- 通信内容:同样由确定性规则生成,并与发送者的局部视角一致。私聊 Rab(p) 只对发送者和接收者可见;广播 Ba(q) 发给所有角色。每个角色每则故事发一条消息,共两条私聊和三条广播,全部发生在状态链事件之后。
五检查点讨论协议
- T0:每个智能体只看到自己的观察窗口,独立提交终点判断。
- T1:看到本视角可见的全部通信和其他智能体的证词后,更新私人判断。
- R1–R3:每轮同时生成公开陈述,读完该轮后再更新私人判断。R1 构建候选时间线并标出证据冲突,R2 交叉核对时间连续性、来源独立性和观察覆盖,R3 评估剩余时间线、终点唯一性和未解决的不确定性。证据不能唯一确定终点时可以投 UNKNOWN。
配对条件与三种欺骗
- C0 / C1:两条条件共享状态链和观察窗口,只改关键角色的信息。关键角色的窗口覆盖 lm。C0 中全员诚实;C1 中该角色知道真值终点并试图阻止事实恢复,其通信或证词被换成与局部视角不一致的虚假内容。
- Event:在真值终点之后编造一次移动,把 lm−1 → lm 说成 lm−1 → lm → lm−1,并在通信和讨论中维持该说法。40 则中 20 则私聊、20 则广播。
- Coverage:不增加移动,把观察窗口延伸到终点移动之后,并把 lm−1 说成晚于 lm。40 则中私聊、广播各 20。
- Source:声称一份关于 lm−1 的真实但更早的私下报告是在终点移动之后收到的,从而把过时状态重述为最新确认终点。40 则全部为私聊。
智能体配置与过程指标
- 同质五智能体:每个模型单独实例化一套系统。智能体使用同一基座模型、版本和生成参数,但角色和局部信息不同;上下文独立,没有共享隐式记忆,只通过规定的证词和公开讨论记录通信。temperature 均为 0;GPT-5.5 与 Grok-4.5 的 reasoning effort 为 low,DeepSeek-v4-pro 为 none。最大输出 token 预算为 8,192。
- 结果指标:真多数率、诱饵多数率分别是分析群体在真值终点 lm 和诱饵终点上形成多数的运行比例;无共识率是以 UNKNOWN 为多数或没有多数的比例。另报告真票、诱饵票和 UNKNOWN 票份额。除非另有说明,主分析排除关键角色,多数定义为其余四人中至少三人。
- 过程指标:证词引用率是明确引用某份证词的陈述比例;采纳率是认可该证词所支持终点的陈述比例。每次可分开识别的引用计为一条原子主张。传播阶是距原始证词的最大可追溯距离:直接引用为一阶,引用携带该证据的消息为二阶,更高阶递归定义。另追踪真证据根与假证据根的谱系状态及轮次间转移。
What experiments did the paper conduct?
三模型各 120 故事配对 C0/C1;真多数从 72.50% 降到 14.17%,退出后假证词仍被转述。
实验设置
- 被测模型:GPT-5.5、DeepSeek-v4-pro、Grok-4.5,各组成一套同质五智能体系统。标识分别为 gpt-5.5、deepseek-v4-pro、grok-4.5。
- 环境:120 个由 Hi-ToM 改编的物体移动故事。Event、Coverage、Source 各 40。每个模型在 C0、C1 下各完成 120 则,各 360 次运行。每个模型–环境–条件单元格一次完整运行。
- 对照:同一故事的 C0 与 C1;后续在 GPT-5.5 上增加 Honest-Exit、Null-Exit、False-Exit,以及 C1 上的 Passive / Active Observer。
- 指标:群体层面为 truth-majority、decoy-majority、no-consensus;个体层面为三类投票份额。过程层面为引用率、采纳率、传播阶和证据根转移。主分析排除 C1 中被指定为欺骗者的那个角色,C0 同样排除该角色。
- 生成:temperature 0;GPT-5.5 与 Grok-4.5 的 reasoning effort 为 low,DeepSeek-v4-pro 为 none;最大输出 8,192 token;未提供采样种子。主实验时间为 2026 年 7 月 19–21 日,退出与观察者实验在 7 月 23 日前完成。
- 统计:作者报告配对比较的百分点差、95% 置信区间和 p 值;故事级模型间比较使用配对比较。论文未报告与人工标注的一致性。
主结果
主分析在 R3、排除关键角色。三模型合计:C0 真多数率 72.50%,C1 为 14.17%,下降 58.33 个百分点;真票份额下降 50.62 个百分点。C0 未达真多数的 99 次运行以无共识为主;C1 未达真多数的 309 次中,无共识与诱饵多数大约各占一半。无共识份额上升 19.72 个百分点。
Swipe horizontally to read the table
模型 C0→C1 真多数下降 C0→C1 真票下降 诱饵票份额上升 GPT-5.5 未报告 未报告 44.0 附近的分模型值:作者给出 95% CI [36.5, 51.3] 的点估计见正文“age points”,完整点估计在转录中与前句粘连,不单列 DeepSeek-v4-pro 未报告 未报告 44.4 pp(95% CI [37.5, 51.0]) Grok-4.5 79.17 pp 63.75 pp 37.9 pp(95% CI [32.1, 44.0]) 三模型合计 58.33 pp(72.50%→14.17%) 50.62 pp 44.0 pp(全文欺骗) 据正文与 Figure 2。Grok-4.5 在 C0 最好、在 C1 最差。故事级配对比较的诱饵票效应在模型之间 p ≥ .20,两两 95% CI 均含 0。作者称 DeepSeek-v4-pro 把错误集中在登记的目标上,Grok-4.5 更常返回 unknown 并失去共识。作者称诚实条件下较强的局部证据汇聚并不必然意味着证据被污染后仍可靠。
- 时间进程:T0 时 C0 与 C1 相同,都没有真多数;真票和诱饵票各约 7%,UNKNOWN 超过 75%。分歧主要出现在 T1,真多数差距已达到最终 R3 差距的大约 85%。此后讨论再把差距扩大 8.89 个百分点。C0 下讨论把真多数率提高 10.83 个百分点;C1 下讨论主要把不确定性转成诱饵多数,该比率上升 15.83 个百分点。作者认为讨论本身并不纠错,而是放大初始汇集时已经确立的证据方向。
- 引用与采纳:每个运行恰好两个角色的窗口覆盖 lm,分别称为关键角色和 2nd-key 角色;分析排除二者,看其余三人在 R1–R3 的引用。Figure 3 中,C0 下两份证词的原子主张数相同;C1 下关于关键角色的主张比关于 2nd-key 的多 17%。两份证词的引用率相近,采纳在 C1 分开:关键角色证词的采纳升至 70.7%,增加 9.3 个百分点;2nd-key 证词的采纳略降至 25.4%。每阶段、360 次运行中其余三名成员共 1080 条陈述。作者认为欺骗者不阻止正确信息进入讨论,但妨碍披露之后的整合与采纳。
- 证据根:真证据根来自 2nd-key 关于真值终点的证词,假证据根来自关键角色的虚假证词。Figure 4:R1 没有成员同时持有两根;双根持有者比例在 R2 为 49.4%,R3 为 57.6%。R1 只持有真根的成员中,82.87% 在 R2 获得假根;反向转移只有 38.31%。双根持有者中投票给真值的不足 45%。单根持有者的平均传播阶:真根与假根在 R1 均为 1.00,R2 为 1.44 与 1.83,R3 为 1.33 与 2.66。作者认为错误共识来自虚假证词更易被采纳、渗入真根路径,并在真证据在场时仍传播得更深。
欺骗者退出
在 GPT-5.5、同一 120 个故事上,关键角色于 T1 提交证词后退出,不参加 R1–R3,也不投最终票。Honest-Exit 提交与 C0 匹配的真证词,Null-Exit 提交不含任务信息的系统占位,False-Exit 提交与 C1 匹配的假证词。Figure 5(a):C0、Honest-Exit、Null-Exit 的结果大体相近;Null-Exit 在 93 次运行中达到真多数。相对 Null-Exit,False-Exit 的真多数率下降 46.67 个百分点,并接近 C1。三种机制下这一相似性保持:Event 干扰最大,Coverage 主要产生无共识,Source 在 False-Exit 和 C1 下都最可恢复。
Figure 5(b):C1 与 False-Exit 在 R1 几乎相同;此后假证词引用只在 C1 继续扩大。引用假证词的智能体中,各阶段、两条件大约 70%–72% 采纳它;真证词引用率一直超过 90%。False-Exit 的 R3 仍有 273 名诚实智能体引用假证词、197 名采纳其目标。Figure 5(c):R1 的真根、假根分布相近;到 R2、R3,只持有真根的参与者在 C1 下近乎消失,在 False-Exit 下仍相当多。作者认为假证词在进入系统时就获得主要整合优势,欺骗者继续参与主要是强化并重塑传播;退出减弱反复强化,但不阻止诚实智能体转发、采纳和维持虚假信息。
观察者干预
在 C1 的五个故事角色之外加入三名没有局部信息的观察者。Passive:讨论冻结后只读公开记录并提交判断,四名非欺骗参与者的结果不变。Active:在 O1、O2、O3 发言,分别紧随故事角色的 R1、R2、R3,消息在后续轮次可见。多数阈值分别为参与者 3/4、观察者 2/3、全体七人 4/7。
Figure 6(a):Passive 观察者在 32 次运行达到真多数,参与者为 31 次;诱饵多数为 18 对参与者的 51。Active 下真多数和诱饵多数都下降,总体诱饵多数下降 90%。作者认为主动观察者是缓冲风险而不是纠正错误:降低决断性,但不提高真值恢复,并不成比例地阻止收敛到诱饵终点。
Figure 6(b):观察者对两份原始证词的引用率与参与者相近,但很少采纳任何一份。把 R1–O3 视为六个交错传播轮。参与者的平均传播阶从 R1 的 0.851 升到 R2 的 2.975、R3 的 4.028。观察者在 O1 为 1.914,O2 降到 0.867,O3 回到 4.806。作者认为观察者先转发参与者陈述,再回到原始证词,然后重新吸收后期讨论;这种溯源使他们谨慎但不具纠错性,减少错误共识的方式是把它转成不确定性。
其他消融与分析
- 机制不变性:False-Exit 与 C1 在 Event、Coverage、Source 上的相对模式保持一致;论文未在正文给出三种机制各自的真多数率数字,Figure 5(a) 标注了若干环境计数(如 C0 一侧 94、97、93,以及 26、23、27),但转录未标明各柱对应哪种结局,故不把这些计数指派到具体结局。
- 模型间诱饵票:全文欺骗使诱饵票份额上升 44.0 个百分点;分模型为 GPT-5.5 的置信区间 [36.5, 51.3]、DeepSeek-v4-pro 的 44.4 个百分点 [37.5, 51.0]、Grok-4.5 的 37.9 个百分点 [32.1, 44.0]。故事级配对比较未检出模型间差异。
- 双根投票:同时持有真根和假根的成员中,投真值者少于 45%(Figure 4 及相关正文)。
- 附录统计:作者称更多统计结果在附录;正文已给出的置信区间和 p 值如上。附录 Figure D.10 报告 Active Observer 在 T1、R1、R2、R3 的群体结局轨迹,阈值分别为 3-of-4、2-of-3、4-of-7;图中具体柱值在所给文本中未保留。
- 重复:每个单元格一次运行,论文未报告多次重复。
What are some points that can be further explored?
结论建议区分一手证据与反复转述并核验证据来源;实验停在三模型、120 个合成故事和单次运行。
作者指出的局限与后续方向
论文没有单独的 Limitations 或 Future Work 小节。结论中与设计直接相关的表述是:系统设计应区分一手证据和反复转述,并显式核验证据来源、来源独立性和传播路径,而不是只追求共识(Conclusion)。伦理考量说明研究在受控合成环境中进行,不涉及人类参与者、个人数据或真实用户对话;这段描述的是研究做法,不计入局限。
- 设计目标:作者在贡献列表中称,退出与观察者实验为高风险多智能体系统的稳定性设计和事实纠正目标提供信息(Introduction)。这是对结果用途的陈述,不是已完成的新系统。
实验覆盖范围
- 模型与系统:正式实验的被测模型为 GPT-5.5、DeepSeek-v4-pro、Grok-4.5,各一套同质五智能体系统;退出与观察者实验使用 GPT-5.5(Experimental Setup;In-Depth Analyses)。
- 环境与条件:120 个故事,Event、Coverage、Source 各 40;主实验为配对的 C0 与 C1,每模型每条件 120 次,合计各 360 次(Main Results)。
- 过程与干预:主结果覆盖 T0、T1、R1、R2、R3 的投票,以及引用、采纳和证据根传播阶;干预包括 Honest-Exit、Null-Exit、False-Exit 和 Passive、Active Observer(Figure 2–6)。
- 运行配置:temperature 为 0,每模型–环境–条件单元格一次完整运行,未提供采样种子;最大输出 8,192 token(Appendix E.3)。
- 判定:终点多数由智能体投票定义,多数阈值在主分析中为其余四人中至少三人;观察者实验另用 3/4、2/3、4/7。论文未报告人工一致性。
Summarize the main content of the paper
配对诚实与单点欺骗后,三套系统的真多数从 72.50% 降到 14.17%,假证词会在欺骗者退出后继续传播。
ForesightSafety-TIDE 评测 LLM 多智能体在部分可观察任务中恢复全局事实的能力,以及这一过程对一名关键证据持有者虚假证词的稳健性。
- 问题:120 个五角色物体移动环境中,局部观察合起来唯一决定终点,但没有任何角色看到完整轨迹。作者认为只看最终答案会掩盖专属证据是否进入讨论、以及误导如何扩散。
- 做法:每个故事配对全诚实 C0 与受控欺骗 C1。欺骗有 Event、Coverage、Source 三种,各 40 则。五个检查点记录私人判断和三轮公开讨论。分析排除关键角色后的多数投票,并追踪证词采纳和真、假证据根的传播阶。模型为 GPT-5.5、DeepSeek-v4-pro、Grok-4.5,均为同质系统,temperature 为 0。
- 主结果:三模型合计 360 次运行中,R3 真多数率从 C0 的 72.50% 降到 C1 的 14.17%,下降 58.33 个百分点,每个系统都下降。Grok-4.5 在 C0 最高、在 C1 最低,真多数率和真票份额分别下降 79.17 和 63.75 个百分点。分歧主要在证词进入的 T1 出现。C1 下关键角色证词采纳率为 70.7%,比其对照高 9.3 个百分点;假根比真根更容易进入对方路径,R3 平均传播阶为 2.66 对 1.33。
- 边界:在 GPT-5.5 上,关键角色提交假证词后退出,真多数率相对无信息退出下降 46.67 个百分点,并接近其继续在场的 C1。R3 仍有 197 名诚实智能体采纳假证词目标。三名没有一手证据的主动观察者使总体诱饵多数下降 90%,同时不提高真值恢复。
- 作者的结论:讨论既能汇集分布式证据,也是虚假信息的传播通道。假证据的集体影响来自它被采纳,以及进入通信后由其他智能体持续传播。作者认为稳健性还取决于其他智能体在误导进入系统之后如何传播、维持或抑制它,并建议核验证据来源与传播路径,而不是只追求共识。