Study: gains decline when dissent is suppressed in multi-agent discussion
Multi-agent discussion gains less when dissent is withheld
作者用含压抑异议率 c 的意见动力学模型解释多智能体讨论何时优于多数投票,并报告讨论增益随 ĉ−c∗ 增大而下降。
- 多智能体讨论有时比多数投票更准,有时收敛到错误共识,经验报告互相冲突。作者认为关键在于成员是否压抑异议。
- 模型用四类行为刻画二选一讨论:压抑异议、内化已说答案、看见异议后重审、重审时纠正。临界压抑率 c∗=γ/(γ+a)。作者用贝叶斯方法从对话日志估计 c、a、γ,并与 c∗ 比较。
- 在自建 hidden profile、HiddenBench 和 MedEInst 上,讨论增益随 ĉ−c∗ 增大而下降;MuSiQue 上关系不清楚且净纠正始终为负。要求不压抑异议会提高增益;关闭推理降低内化率 a、提高净纠正,从而增大增益。
- 作者称研究限于抽象任务、短轮讨论、同质智能体、固定通信和单次会话;重审概率正比于所见异议这一前提无法由日志识别,私下回答也不保证是模型内部信念。实验覆盖四个基准和九个 LLM,采样温度 0.7,运行于 2026 年 8–9 月。
- Evaluated models
- glm-flashseedlingnemotronlunaqwen3.8geminimixtralgpt-4o-mini
- Benchmarks
- hidden profile taskHiddenBenchMuSiQueMedEInst
- Metrics
- gain from discussioncollective accuracywithholding rate cinternalization rate anet correction rate γc*evidence pooling rateevidence utilization rate
The study proposes a parsimonious model explaining when LLM multi-agent discussion improves accuracy and when it forms false consensus. The model is based on four types of repeatedly observed agent behaviors: suppressing dissent, internalizing stated answers, reconsidering after seeing dissent, and revising toward the correct answer. The model shows that discussion can overturn an incorrect initial majority only when the suppression rate c is below the critical rate c* = γ/(γ + a), where γ is the net revision rate and a is the internalization rate. The authors estimate these rates from conversation logs using Bayesian methods and validate on benchmarks such as HiddenBench and MedEInst: as the suppression rate rises, the gains from discussion shrink; instructing agents not to suppress dissent increases gains; disabling reasoning also increases gains, because reasoning raises the internalization rate a, causing agents to stop reconsidering minority answers.
Paper analysis
What problem does this paper attempt to solve?
讨论何时能推翻错误多数、何时停在错误共识,取决于压抑异议率是否低于临界值。
多智能体讨论何时比独立多数投票更准,何时停在错误共识。
- 场景:Galton 的群体智慧依赖投票彼此独立。人或 LLM 智能体讨论时会相互影响:多数形成从众压力,群体可能收敛到同一答案却并不更准(Asch, 1956;Lorenz et al., 2011);少数正确成员若发声,也可能把群体从错误多数里拉回来。
- 现有报告不一致:一些研究称多智能体辩论优于单独推理或投票(Du et al., 2024;Liang et al., 2024;Chen et al., 2024),另一些报告没有效果(Smit et al., 2024;Wang et al., 2024b;Kaesberg et al., 2025)。作者认为,从众是有益还是有害取决于 LLM 与任务,但哪些因素造成这些分歧仍不清楚。
- 核心观察:作者把已有观察的交集收成四类行为——压抑异议、把已说出的答案内化成私下信念、看见异议后重审、重审倾向于到达正确答案。压抑去掉可见异议,内化则把顺从的公开表态变成私下信念,因此即使起初多数正确,团队也可能停在错误共识。
- 提出的模型:作者给出一个简约意见动力学模型,用压抑率 c 与单智能体准确率 p 划分讨论优于多数投票和停在错误共识的区域。错误初始多数能被推翻,仅当 c 低于临界率 c∗=γ/(γ+a),其中 γ 是净纠正率、a 是内化率。作者用贝叶斯方法从对话日志估计这些率,把 LLM 团队相对 c∗ 定位,并在 hidden profile、HiddenBench、MedEInst 和 MuSiQue 上检验讨论增益是否随远离阈值而缩小。
What related research exists?
相关工作分辩论是否优于投票、公开–私下差距、人类隐藏档案,以及多数规则意见动力学。
辩论是否提高多数准确率
- 同质智能体辩论:Choi et al. (2025)、Estornell & Liu (2024)、Huang et al. (2024)、Wang et al. (2024a)、Smit et al. (2024)、Zhang et al. (2025) 认为,没有系统偏向正确答案时,辩论结果接近简单平均,往往纠正不了初始错误。
- 报告讨论更优的工作:Du et al. (2024)、Liang et al. (2024)、Chen et al. (2024) 报告讨论可以超过个体推理或投票。作者用 c 是否低于 c∗ 把这两类报告放进同一相图。
从众与公开–私下差距
- 多数从众:Weng et al. (2025)、Zhu et al. (2025)、Zhang et al. (2024) 报告 LLM 智能体倾向顺从多数;在被保证隐私时反应不同(Baltaji et al., 2024;YS, 2026;Haider & Vosoughi, 2026;Ghaffarizadeh et al., 2026),出现公开与私下回答的差距。作者用这两类回答估计压抑、内化与净纠正,并写明不把私下回答解释为真实信念(Cummins et al., 2025;Yang & Jia, 2026;Ren et al., 2025)。
隐藏档案与信息扣留
- 人类群体:Stasser & Titus (1985)、Greitemeyer & Schulz-Hardt (2003)、Wittenbaum et al. (2004) 描述群体依赖共享信息、为初始偏好寻找确认,从而在隐藏档案任务上失败;异议有助于恢复(Schulz-Hardt et al., 2006)。
- LLM 扣留未共享信息:Li et al. (2026)、Zhang et al. (2026)、Yadav et al. (2026)、Cemri et al. (2025)。作者称自己把这些定性模式从对话日志里量化,并给出讨论优于投票的一个条件。
意见动力学与 LLM 群体
- 公私意见与多数规则:Jędrzejewski et al. (2018)、Gastner et al. (2018)、Garcia-Millan (2020)、Kamińska et al. (2026) 分开私人与公开意见;Galam (2002)、Krapivsky & Redner (2003) 用多数规则;Hisakado & Mori (2010; 2011) 研究羊群投票下的集体准确率变化。
- 应用到 LLM 群体:De Marzo et al. (2026b;a)、Okawa (2026)、De Nobili (2026) 识别共识阈值和亚稳态错位;作者称其中多数要么没有正确答案,要么假设信息完全共享。同期 Fukushima (2026)、Pavlova & Tanaka (2026) 把这类模型扩展到寻求真相的设定;作者称自己的模型只建立在 LLM 智能体反复被观察到的四类行为上。
基线与基准:比较对象是讨论开始前、同一多数规则下的准确率,增益为讨论后集体准确率减去该值。任务为自建 hidden profile,以及改编后线索分给不同智能体的 HiddenBench(Li et al., 2026)、MuSiQue(Trivedi et al., 2022)和 MedEInst(Chen et al., 2026)。
作者把本文定位为:用压抑率相对临界阈值的位置,把先前互相冲突的讨论效果报告对应到不同区间,并从日志估计 c、a 与 γ,而不假设信息完全共享。
How does the paper address this problem?
四条更新规则给出临界压抑率 c∗=γ/(γ+a),再用贝叶斯从公开陈述和隔离查询估计参数。
作者用一个只跟踪答案对错的意见动力学,把讨论能否推翻错误多数归结为压抑率 c 是否低于 c∗=γ/(γ+a)。智能体是服从概率规则的抽象单元,不是 LLM 本身;第 3 节再把信念和陈述标成对或错,套到 LLM 日志上。
问题设定与更新规则
- 二选一:团队在一个正确、一个错误的选项之间选择,对应 Condorcet 陪审团定理的标准设定;多选题可化成这种形式(附录 A.3)。每个智能体有私下信念 z 和公开陈述 y,二者都是二值,只记录是否与正确答案一致。只有公开陈述对他人可见。初始正确信念独立、概率为单智能体准确率 p;平均场下初始正确信念比例 Z0=p。
- 看见局部多数:每轮智能体观察 q 个邻居的意见,按多数规则形成局部多数 m(q 取奇数以避免平局)。多数与自身信念一致时直接说出信念;不一致时,以概率 c(压抑率)说出多数,否则说出自己的信念。
- 内化、重审与纠正:顺从并说出多数的智能体,以概率 a 把所说内容内化为自己的信念。直接说出信念的智能体,以与可见异议比例 di∈[0,1] 成正比的概率 ρdi 重审,并以概率 r 经重审到达正确答案。作者把后一过程称为纠正。Figure 1a–b 画出私有信念、公开陈述和这几条分支。
临界压抑率
- 宏观量:信念准确率 Zt 是持有正确答案的比例,陈述准确率 Yt 是说出正确答案的比例。平均场下每个陈述独立以概率 Yt 正确。看见恰好 k 个正确陈述的概率为 w_k(Y),局部多数正确的概率为 M_q(Y)=∑_{k>q/2} w_k(Y)。
- 更新:陈述有两条通路,透明说出正确信念,或顺从者跟随正确的局部多数,故 Y_{t+1}=(1−c)Z_t+c M_q(Y_t)。信念更新为 Z_{t+1}=(1−Z_t)T(0;Y_t)+Z_t T(1;Y_t),其中 T(z;Y) 是信念为 z 的智能体一轮后持有正确答案的概率,显式形式在式 (3) 与附录 A.1。
- 临界线:作者考察几乎全错、只有很小正确少数的邻域 (Z,Y)=(0,0)。此时正确智能体总面对错误局部多数,于是要么压抑并内化错误答案,要么说出信念并重审。线性化后正确少数的放大因子为 Λ(c)=c(1−a)+(1−c)(1+γ),其中净纠正率 γ≡ρ(2r−1)。Λ(c)>1 等价于 (1−c)γ>c·a,边界为 c∗=γ/(γ+a)。若 a→0 则 c∗→1,作者据此称没有内化时,单靠压抑不会把团队锁进错误共识。γ>0(即 r>1/2)时全对状态对任意 c 稳定;c 高于 c∗ 时两个稳定态共存,p 决定去向,分界是相边界 p∗(c)(Figure 1c)。作者把 p∗(c)<p<1/2 称为恢复区。该阈值要求局部多数且 q≥3;只观察一个对等者时不出现阈值(附录 A.2)。
从日志估计参数
- 两个二值变量:公开陈述 y_{i,t} 是智能体 i 在第 t 轮贴出的答案;私下信念 z_{i,t} 来自一次隔离查询,查询告知答案不会展示给任何人并问同一问题(附录 B.2)。正确性每轮对照任务答案核对,答案由任务生成器固定,提示词中不出现。作者把该回答当作私下信念的测量对应物,并不声称它就是 LLM 所相信的内容,并把“压抑”和“信念”严格定义为这些操作化测量。
- 计数:z_{i,t−1}≠m_{i,t} 的轮次是异议机会 n^c_ℓ。若说出多数(y_{i,t}=m_{i,t})则计为压抑 k^c_ℓ;若同轮私下答案还与该陈述一致(z_{i,t}=y_{i,t})则计为内化 k^a_ℓ。因为两次调用使用同一输入,且私下查询不向智能体展示它即将作出的陈述,内化度量的是一轮之内两个答案的一致,而不是先说出再后来采纳。
- 贝叶斯:每个设定(基准、指令、LLM、推理开关)下,任务 ℓ 的压抑率 c_ℓ∼Beta(cϕ,(1−c)ϕ),k^c_ℓ|c_ℓ∼Binomial(n^c_ℓ,c_ℓ);内化 a 用同一推断。浓度 ϕ 控制各任务率围绕设定级 c 的分散。净纠正 γ 估计为:面对异议时从错改对的速率减去从对改回错的速率。c∗ 和裕度 ĉ−c∗ 由 c、a、γ 的联合后验得到(附录 B.2)。
任务、指令与成功判定
- 隐藏档案:只有汇集私人线索才能得到正确答案(Stasser & Titus, 1985)。单智能体准确率定为 p=n_inf/N,即给 n_inf 个智能体足够独自解题的证据,从而固定 Z0=p。每轮可见行只携带一个候选推荐和至多一条私人线索,没有自由形式的自然语言论证。
- 三种指令:从众压力递增,A 为诚实作答,B 为无指令,C 为重视凝聚(附录 B.1)。外部基准 HiddenBench、MuSiQue、MedEInst 被改编成正确解题所需线索分属不同智能体。
- 判定:一轮中最常见的最终陈述正确则该任务记团队正确,平局记为不正确。集体准确率是团队答对的任务比例;讨论增益是该准确率减去讨论开始前同一规则的准确率。全部智能体采样温度为 0.7。
What experiments did the paper conduct?
九个 LLM、四种任务上,讨论增益随 ĉ−c∗ 增大而下降;MuSiQue 上该关系不清楚。
实验设置
- 模型:九个 LLM。默认先推理再作答的称为推理模型;gpt-4o-mini 与 mixtral 不这样做。Figure 2–3 中出现的名称还包括 glm-flash、seed、ling、nemotron、luna、qwen3.8、gemini。托管模型经 OpenRouter 或 Google Vertex AI,两个开源权重模型在自有硬件或自托管服务器上运行。全部采样温度 0.7。运行时间为 2026 年 8 月至 9 月。托管端点是带版本的专有接口,同一标识符日后可能对应不同版本。
- 任务:自建 hidden profile;外部基准 HiddenBench、MuSiQue、MedEInst,均改编为线索分给不同智能体。团队规模、通信图、任务数、设定数、排除标准和调用预算写在附录 B.1,正文未给出这些数字。Figure 3 不画出 LLM 一道题都未解出的设定,以及 qwen3.8 的 MedEInst 运行。
- 条件:指令 A(诚实)、B(无指令)、C(重视凝聚);部分模型另有推理开与关。后续实验在四个 LLM 上把 c 外生固定为 0 或 1(附录 C.1)。
- 指标:压抑率 ĉ、内化率 â、净纠正 γ̂、临界值 c∗、裕度 ĉ−c∗、讨论增益。证据汇集率是共享证据足以确定正确答案的轮次比例;证据利用率是此时团队答对的概率。区间为 95%。
- 评审:对照任务生成器固定的答案核对,不用另一个 LLM 打分。团队正确与否由最终一轮陈述的众数决定,平局算错。
- 估计与分解:每个设定用分层贝叶斯从异议机会的二项计数估计率。式 (9) 在四个基准上把 logit c 分解为总偏移、LLM、基准、相对 B 的指令效应、LLM 与基准的交互以及残差。
主结果
正文和 Figure 2–3 没有给出可逐格抄录的增益或 ĉ 数值表。Figure 2d 的纵轴标有 0.6、0.4、0.2、0、−0.2,横轴为 ĉ−c∗,标注约 0.2 与 0.6;Figure 3a–c 的增益轴分别标到约 0.9、0.25、0.16 与负值,但点未逐个标数。下面只记录作者对图的读法。
- 指令与阈值:从众指令加强时,ĉ(异议机会中说出多数的比例)上升(Figure 2b)。推理模型在全部三种指令下都留在阈值以上:它们的 ĉ 较低,但内化率 â 高,从而压低 c∗。作者称,讨论增益随裕度 ĉ−c∗ 增大而下降,结果与该预测一致(Figure 2d,二次拟合及 95% bootstrap 带)。指令 C 的设定集中在高压抑一端,团队更常失败。
- 关闭推理:同一 LLM 关闭推理后,压抑没有一致方向的变化(Figure 5a),但内化下降;净纠正率和讨论增益上升(Figure 2e–g)。作者称,指令和推理设置同时移动 c 与 a,c∗ 随内化上升而下降,决定结果的是裕度 ĉ−c∗。
- 外生固定 c:四个 LLM 上,把 c 外生固定后,观察到的增益沿理论预测的方向移动。强制 c=1 几乎去掉增益;强制 c=0 只提高 gpt-4o-mini 的增益,该模型的公开陈述与私下答案已经分叉。其余三个模型(其中包括 gemini-3.8-flash)私下与公开已经一致,因而开始时就没有可观增益(附录 C.1)。
其他基准
- 测了什么:在 HiddenBench、MuSiQue、MedEInst 上用同一协议和指令 A、B、C 估计 ĉ、â、γ̂。
- 结果:HiddenBench 与 MedEInst 上,讨论增益随 ĉ−c∗ 增大而下降(Figure 3a、c);MuSiQue 上关系不清楚(Figure 3b)。HiddenBench 上增益大,MuSiQue 与 MedEInst 上增益小;MuSiQue 上净纠正始终为负,因此 c∗ 停在 0。
- 作者的解读:式 (9) 的分解中,基准与指令对压抑的移动幅度相当(Figure 3d)。作者称基准效应的排序对应一条私人线索能否挑战多数:HiddenBench 上最低,因为每条私人线索排除一个选项;MuSiQue 更高,因为一段私人文字只覆盖多步答案中的一步;自建 hidden profile 再高,因为一条线索只把计数改 1,不足以推翻共享简报所支持的答案;MedEInst 最高,因为多数私人线索是中性的,即使那条关键线索相对共享病例描述也很弱。
证据分享与模型预测
- 选择性分享:在 hidden profile 上比较 GPT-4o-mini 与推理模型。推理模型倾向分享支持自己选择的证据,扣留指向正确答案的证据(Figure 3e)。
- 汇集与利用:指令 A 下,GPT-4o-mini 的证据汇集率更高、利用率更低,推理模型相反(Figure 3f;各指令见 Figure 4)。作者称,因为团队在共享证据不足时几乎从不完全答对,准确率近似等于两个率的乘积。推理模型总体压抑更少、更有效利用共享证据,但选择性分享仍使团队缺少决定性证据;GPT-4o-mini 汇集更多决定性证据,因此尽管是更弱的模型,讨论增益更大。
- 分开估计:裕度对设定的排序在率与结果用不同任务、不同轮次估计时仍然保持(Figure 7,附录 C.1)。模型能按裕度给设定正确排序,但低估第 0 轮多数错误的团队后来恢复的频率;这些恢复发生在隐藏线索进入共享证据时,而模型没有这条路径(Figure 8,附录 C.1)。Figure 8 中,第 0 轮多数已经正确时,后验预测贴近观测;第 0 轮多数错误却恢复时,预测低于观测。
其他消融与分析
- Figure 1c:a=0.5、ρ=1、r=0.8、q=3 时,基于智能体的模拟(颜色)与平均场边界(黑线)一致;p<1/2 时,只有 c 低于 c∗,讨论才到达正确答案。
- Figure 9:hidden profile 主运行与关闭推理的运行中,把计为压抑的轮次按可见证据支持、持平或反对多数,以及私下答案是否跟着多数移动来堆叠;推理模型里可见共享证据和私下答案在大多数轮次站在多数一侧,二者分叉主要出现在 gpt-4o-mini 和指令 C。
- q=1:附录 A.2 称只观察一个对等者时不出现阈值,因为一条正确陈述对观察它的智能体就是多数。
- 全对态:附录 A.2 称 γ>0(r>1/2)时全对状态对任意 c 稳定。
- 平局项:偶数 q 且 k=q/2 时没有多数可顺从;q≥4 时靠近全错态的平局至少需要两条正确陈述,为 O(Y^2),不改变 c∗。
- 最大口径:附录 A.1 用最大口径(maximum caliber)固定轨迹测度;作者称四条规则破坏细致平衡,集体行为不能写成瞬时状态上的能量。
What are some points that can be further explored?
作者称研究限于抽象任务、短轮、同质智能体和固定通信,且两条建模前提无法由日志确认。
作者指出的局限与后续方向
- 范围:Discussion 写明,研究限于抽象任务、短轮讨论、同质智能体、固定通信和单次会话,许多实际方面仍开放。
- 前提一:智能体按所见异议的比例重审;作者称日志无法识别这一前提(Discussion)。
- 前提二:LLM 可以作出与其实际所信不同的陈述。私下答案被定义为操作化测量,不保证反映 LLM 内部持有的信念(Discussion,并引用 Song et al., 2025;Rupprecht et al., 2026;Röttger et al., 2024)。
- 设计启示:作者称框架指出三点——c 与 c∗ 决定讨论是否有效,并可通过任务设计和智能体指令调节;个体推理有利于单智能体,却可能因内化已暴露答案、只分享支持自己答案的证据而损害团队准确率,抑制推理反而可以改善群体结果,因而需要激励信息分享和透明推理的训练方法;信息如何分布、哪些保持私有,直接影响 c 与 c∗,讨论协议应提供有用但不过量的信息。后两点是作者给出的设计含义,不是已完成的实验。
- 模型缺一条恢复路径:附录 C.1 与 Figure 8 写明,当前模型不包含“私下持有的证据进入团队”这条恢复路径,因此低估第 0 轮多数错误时的恢复。
实验覆盖范围
- 模型与温度:实验使用九个 LLM,Figure 2–3 列出 glm-flash、seed、ling、nemotron、luna、qwen3.8、gemini、mixtral、gpt-4o-mini;全部智能体温度 0.7,运行于 2026 年 8–9 月(Reproducibility Statement、第 4 节)。
- 基准与指令:四个基准为自建 hidden profile、HiddenBench、MuSiQue、MedEInst;指令为 A、B、C。部分模型比较推理开与关。附录 B.1 列出团队规模、通信图、任务数和调用预算,正文未给出这些数字。
- 外生 c:附录 C.1 在四个 LLM 上把 c 外生固定,并点名 gpt-4o-mini 与 gemini-3.8-flash。
- 图中省略:Figure 3 不画 LLM 未解出任何题目的设定,以及 qwen3.8 的 MedEInst 运行。
- 估计协议:率由对话日志的贝叶斯后验估计,区间为 95%;裕度排序在分开的任务和轮次上复核(Figure 7)。论文未报告评审模型,正确性对照任务答案核对。
Summarize the main content of the paper
讨论增益由压抑率相对 c∗=γ/(γ+a) 的裕度决定,关闭推理或减少压抑可增大该增益。
作者用一个只含四类行为的意见动力学,解释 LLM 团队讨论何时优于多数投票、何时停在错误共识。
- 问题:已有报告对多智能体辩论是否提高准确率彼此冲突。作者认为,分歧对应单智能体准确率 p 和压抑率 c 在同一相图上的不同区域。
- 机制:每个智能体有私下信念和公开陈述。面对不一致的局部多数时,以概率 c 说出多数并以概率 a 内化;否则说出自己的信念,按所见异议比例重审,并以一定概率纠正。错误少数能够增长的条件是 c 低于 c∗=γ/(γ+a),γ=ρ(2r−1) 为净纠正率。没有内化时 c∗ 趋于 1。q≥3 的局部多数才会出现该阈值。
- 估计:公开陈述与隔离私下查询定义操作化的压抑和内化;贝叶斯分层模型从异议机会的二项计数估计 c、a,并由面对异议时改对与改错的速率差估计 γ。讨论增益是最终众数准确率减去讨论前同一规则的准确率,平局算错。
- 结果:在自建 hidden profile 上,从众指令抬高 ĉ;推理模型因高内化而在三种指令下都处于自身阈值之上,增益随 ĉ−c∗ 增大而下降。关闭推理不带来一致的压抑变化,但降低内化、提高净纠正和讨论增益。外生强制 c=1 时,四个 LLM 的增益几乎消失;强制 c=0 只提高公开与私下已经分叉的 gpt-4o-mini。HiddenBench 和 MedEInst 上增益同样随裕度下降;MuSiQue 上关系不清楚,且净纠正始终为负、c∗ 为 0。推理模型更常分享支持自己答案的证据,GPT-4o-mini 汇集更多决定性证据因而讨论增益更大。模型能按裕度排序设定,但低估由隐藏线索进入共享证据所带来的恢复。
- 作者的结论:决定讨论是否有用的是 ĉ 到自身 c∗ 的距离。减少压抑的指令能关上“沉默”这条通往错误共识的路;若内化高、净纠正低,光把异议说出来仍不够。更强的推理本身不能避免错误共识,除非智能体仍愿意修改答案并分享相反证据。