研究:异构 AI 模型间的说服效果取决于配对而非模型规模
Peer Influence across Heterogeneous AI Models
七个开源模型在三项二分类分歧样本上互测影响,分数常超0.5,且更取决于judge易感性。
- 异构语言模型智能体做一次分歧交换后,谁改变判断不能从单体规模或孤立确定性推出。作者称这关系到决策输出稳定性,以及开放工作流中较小对立智能体能否翻转结论。
- 七个4-bit开源模型在三项二分类上做双轮judge–peer,只在标签分歧时用M=10的经验概率偏移定义影响分与回弹分,并比较同质/异质与同家族大小模型。
- 作者称影响分多数超过0.5。易感性标准差0.19,高于说服力0.10。Sarcasm上gemma-27b易感性0.89,gpt-20b为0.28。异质并不一律升高或降低易感性。
- 作者称只做了单轮二分类与开源量化模型,等权汇总与经验分布不一致。实验为七个4-bit模型、三项任务;敏感性主要在Sarcasm一对模型上。
- Evaluated models
- gemma-3-4bgemma-3-27bllama-3.1-8bllama-3.3-70bqwen-2.5-7bqwen-2.5-72bgpt-oss-20b
- Benchmarks
- SocKet Sentiment AnalysisCommonsenseQA 2.0SocKet Sarcasm Detection
- Metrics
- influence score Δbackfiring scoresusceptibilitypersuasivenessclassification certaintyF1 difference
一项研究测量了不同 AI 模型在意见分歧时的说服效果,发现当模型意见不一致时,接收方往往在看到同伴的答案和解释后放弃自己的初始判断。研究测试了七个开源权重模型在三个语言理解任务上的表现,发现单独的确定性或模型规模都无法可靠预测说服动态:在孤立状态下决策几乎完全一致的模型可能最容易受说服,小模型作为说服者可以匹敌大模型,也能同样有效地抵抗影响。研究还表明,判断偏移的大小更多取决于听者的易感性而非说者的说服力,说服模式因模型配对而异,异构性在某些组合中放大说服、在另一些组合中抑制说服,使运行小模型的异议智能体能够推翻大得多的模型的判断。研究结论是,交互模型的行为无法从其个体属性推断,必须在它们实际运行的组合中评估。
Paper analysis
What problem does this paper attempt to solve?
异构智能体分歧后谁说服谁,不能由单体规模或孤立确定性推出。
异构语言模型智能体在一次分歧交换后,谁改变判断、改变多少,不能从单体规模或孤立确定性推出。
- 场景:作者称去中心化多智能体系统靠消息传递协同决策;量化同伴对 judge 的影响,才能估计系统级结果,以及稳定性、脆弱性与对齐。
- 缺口:作者称现有工作多评系统整体基准,或在同质模型上跟踪一般话题立场,很少刻画异构模型在共同任务上的微观影响。模型异构在开放系统和可自生成智能体的系统里越来越常见。
- 要估计的关系:影响如何随模型配对、相对规模、以及孤立做任务时的分类确定性变化。作者称组合行为不能由个体属性外推。
- 做法:用最小双轮 judge–peer 设定,在七个开源模型、三项二分类、合计 238,682 条文本上,以概率偏移定义影响分与回弹分。
- 作者给出的安全含义:Discussion 称开放工作流中注入较小模型驱动的对立智能体,就可能翻转系统结论,对抗能力不由规模把关。实验本身只测分歧条件下的单轮影响。
What related research exists?
意见模拟多在同质模型与一般话题上,异构任务的微观影响少被测量。
意见动力学与从众
- Chuang 等(2024)用 LLM 智能体网络模拟意见动力学;Breum 等(2024)讨论大语言模型的说服力。
- 作者归入同伴压力与从众的工作包括 Bozdag 等(2026)、Mehdizadeh 与 Hilbert(2025)、Zhao 等(2025),以及 Bellina 等(2026)、Cho 等(2025)、Cau 等(2025)、De Marzo 等(2026)、Song 等(2025)。作者称这类影响可造成孤立模型上看不到的群体偏差,并导向失准与性能下降(引 Ashery 等 2025、Coppolillo 等 2026、Wynn 等 2025)。
- 作者对这一支的两点限制是:多跟踪一般话题立场而非共同完成任务;底层语言模型同质(引 Yang 等 2026 关于多样性)。这是作者的批评,不是被引论文自述。
异构多智能体的系统级评测
- Davidson 等(2024)用谈判评语言模型能动性。
- Davidson 等(2025)的 Collaboration Gap、Ye 等(2025)的 X-MAS 评异构系统的整体表现。作者称这些工作不刻画微观影响。
架构选择与情境敏感
- Park 等(2023)、Yang 等(2026)AgentNet 等 MAS 工作,作者称主要看架构如何影响整体基准,而非微观影响。Du 等(2024)被引为这类系统最基本的消息交换形式。
- Kumar 等(2026)报告智能体行为策略对记忆情境改变敏感。作者据此认为同伴影响可能更细。
基线与数据
- 无独立外部方法基线。对照是同质配对、同家族大小模型配对,以及 Round 1 孤立分类。数据为 SocKet Sentiment Analysis(91,964)、CommonsenseQA 2.0(9,264)、SocKet Sarcasm Detection(137,454)。
作者把本文定位为:用最小二元设定测量异构决策系统中的微观同伴影响,而不是再评系统整体分数或同质意见模拟。
How does the paper address this problem?
双轮judge–peer用标签概率偏移定义影响分,并按配对情形宏平均。
以 judge–peer 双轮框架 隔离一次消息传递的影响:两名智能体先独立分类,再只把分歧输出交给 judge 重判。每轮重复 M=10,模型可同质或异质。
任务与交互
- Round 1:judge α 与 peer β 对同一样本独立给出二分类标签和自然语言解释。主分析只用标签分歧样本;标签一致的情形放在 S6。
- Round 2:judge 同时看到自己的 Round 1 输出,以及 peer 的对立标签和解释,重新给标签、不再给解释。角色对调后再跑 Round 2,使同一批样本上双方互为 judge 与 peer。
- 七个模型均为 4-bit bitsandbytes 量化。提示词短、语气中性(S3 给出全文)。采样用仓库默认,或先前工作给出的参数(S2)。主实验配各家族最大模型;规模实验只在同家族内配大小模型。
影响分与回弹分
- Round 1 用 M 次里标签 y 的经验频率作孤立概率;Round 2 用条件于 peer 的 M 次频率。两个方向来自两次独立实验,所以 Round 2 的两个标签概率不必相加为 1。
- 单次偏移为 Δyα|β(i)=pyα|β(i)−pyα(i),即 peer 使 judge 选择标签 y 的概率变化。正向偏移相加得到实例影响分,范围 0 到 1:0 为分布不变,1 为交互后总是改判。负向偏移另记为回弹分,范围 -1 到 0,并另报回弹发生概率。
- 再对实例平均。作者称这样处理是为了分开正负偏移,并让不同模型对之间可比,计入生成随机性、标签偏向和标签组合的经验可得性。标准误按 Bernoulli 公式向上传播。Figure 1 注:所有 judge、peer、数据集组合的 95% 误差边际 ≤0.01。
配对情形与等权汇总
- 可形成分歧的情形为 B:1、B:0、0:B、1:B、1:0、0:1、B:B;每个实例只落入一种。B 表示 Round 1 两个标签都出现过。同质系统只能在 B:B 上构造分歧对。
- 1:0 与 0:1 在已有 M 次上测一个方向;其余情形把标签–解释对上采样到每个方向 M 次。作者称上采样是因为部分模型–样本标签分布偏斜,且要让各情形的交互次数一致。
- B:1 与 B:0 的影响分按定义低于 1,做 min-max 归一化到 [0,1]。每种情形单独计算后再宏平均,使合法标签组合等权。每种情形最多 7,000 样本;M=10 时,每种模型×情形×数据集最多 70,000 次生成。
读数方式与敏感性设定
- 说服力是作 peer 时影响分的平均(矩阵行边际);易感性是作 judge 时的平均(列边际);分类确定性是 Round 1 在 M 次中标签完全一致的样本比例。
- 敏感性因算力只在 Sarcasm 上做,除说明外只配 qwen-72b 与 llama-70b:peer 温度取 0.2、模型默认和 1.2;Round 2 去掉 judge 自己的先验;双方都去掉解释、只留标签;另把 llama-70b 与 gpt-20b 的标签–解释对互换。所用提示词在 S9。
What experiments did the paper conduct?
影响分多数超过0.5,幅度更随judge变化,异质效应因模型而异。
实验设置
- 模型:gemma-3-4b、gemma-3-27b、llama-3.1-8b、llama-3.3-70b、qwen-2.5-7b、qwen-2.5-72b、gpt-oss-20b,文中简称 gemma-4b/27b、llama-8b/70b、qwen-7b/72b、gpt-20b。摘要写 Llama 72B,Table S1 与正文为 llama-3.3-70b。全部 4-bit 量化。
- 数据:SocKet Sentiment 91,964 条、CommonsenseQA 2.0 9,264 条、SocKet Sarcasm 137,454 条;标签平衡在 50%–54%。作者称难度从 Sentiment 到 Sarcasm 递增。S1 对 Sarcasm、Sentiment 做了过滤;格式非法的 Round 1 输出数量见 S4,作者称很少并剔除。
- 对照:同质配对(矩阵反对角)、同家族大小配对、Round 1 孤立输出。无外部方法基线。
- 指标:影响分、回弹分、回弹概率、说服力、易感性、分类确定性;附录另报 Round 2 与 Round 1 的 F1 差。无 LLM 评审。主分析不对照 ground truth。
- 重复:每样本 M=10。跨家族主结果是四个最大模型两两配对。Figure 1、Figure 3 注误差边际 ≤0.01(95%)。论文未报告整套实验跨随机种子的重复次数。附录部分图注把 judge 写成 receiver。
主结果
Figure 1A 的列边际是易感性,行边际是说服力。下表只列四个最大模型;gemma-4b、llama-8b、qwen-7b 不在这张跨家族矩阵里。
Swipe horizontally to read the table
judge Sarcasm易感 Commonsense易感 Sentiment易感 Sarcasm说服力 gemma-27b 0.89 0.78 0.89 0.59 gpt-20b 0.28 0.46 0.69 0.67 llama-70b 0.57 0.65 0.67 0.39 qwen-72b 0.40 0.42 0.48 0.49 据 Figure 1A。Commonsense 说服力行边际为 0.56、0.68、0.49、0.59;Sentiment 为 0.75、0.70、0.57、0.70(同一模型顺序)。
- 作者称影响普遍大,多数超过 0.5,并常有超过 0.75 的峰值。gemma-27b 在三数据集上易感性最高,作者称其回弹接近零;Figure 1B 列边际为 -0.02、-0.10、-0.03。回弹分有低于 -0.5 的格子,如 Sarcasm 上 llama-70b 作 peer、qwen-72b 作 judge 为 -0.58。
- 作者称固定配对内影响有方向性:qwen-72b 对 llama-70b 作 peer 时影响分更高、作 judge 时更低。模型级上高说服力不必对应低易感性。gpt-20b 在 Sarcasm 上作 peer 的格子为 0.53–0.89,作 judge 的易感性为表中最低。
- 易感性标准差 σ=0.19,说服力 σ=0.10。作者称最终分类结果更由 judge 决定。确定性与易感性的 Spearman ρ=0.61(p=0.036)。作者称这与 Cho 等(2025)“初始不确定时更易偏移”相反。正文写 gemma-27b 在 Sarcasm 上 99.95% 样本标签一致;Table 1 的 +/- 为 0.021,一致比例为 0.979。
作者称回弹概率平均约 15%(Sarcasm)、12%(Commonsense)、7%(Sentiment),部分组合超过 40%。qwen-72b 作 judge 的回弹分边际为 -0.27、-0.41、-0.24。
同质与异质
- 测的是同一 judge 在同质系统与异质同伴下的影响分、回弹分(Figure 2、Table S3)。作者称同一 judge 的各同伴聚得较紧,judge 比 peer 更决定结果;从 peer 视角重画没有一致模式(S8)。图中星号与圆点的具体位置文本未给出。
- Table S3:gpt-20b 同质/异质平均影响分为 Sarcasm 0.67/0.14、Commonsense 0.57/0.42、Sentiment 0.79/0.65。作者称转到异质后影响分下降 17%–79%。llama-70b 为 0.51/0.58、0.54/0.69、0.56/0.71;作者称异质下更易受影响 13%–27%,同时更少回弹。Table S3 对 Sarcasm 的 llama-70b 给出 Diff=-0.14,与 Het>Hom 以及表注“正差表示更易受影响”不一致。
- 作者称异质并不一律升高或降低易感性,而是按模型重塑影响。gemma-27b、qwen-72b 两种设定的分离较弱。
模型规模
- 同家族大小配对(Figure 3)。作者称聚合时大模型说服力更高,但这主要来自同质系统;只看异质时,gemma、llama 的小模型影响分相当或更高,小 qwen 对大 qwen judge 不强。Sarcasm 异质:gemma-4b→gemma-27b 为 0.80,反向 0.90;llama-8b→llama-70b 为 0.47,反向 0.41;qwen-7b→qwen-72b 为 0.16,反向 0.49。
- 回弹上,作者称小 peer 总体触发更强回弹,gemma 与 qwen 更清楚,llama 差距较小。作者称这与一种直觉相容:小模型较差的理由会被 judge 读成强化原判断的证据。这是作者的相容性说法,不是单独测过理由质量。
敏感性分析
Table 2,数据集为 Sarcasm。温度、memoryless、无解释的配对是 llama-70b 与 qwen-72b;互换配对是 llama-70b 与 gpt-20b。下表只报影响分的主实验与敏感性列。
Swipe horizontally to read the table
条件 方向 主实验 敏感性 温度 high/low llama←qwen 0.53 0.53 / 0.52 温度 high/low qwen←llama 0.13 0.12 / 0.13 去掉 judge 先验 qwen←llama 0.13 0.76 去掉解释 qwen←llama 0.13 0.53 解释互换 llama←gpt 0.58 0.43 解释互换 gpt←llama 0.11 0.39 据 Table 2。llama←qwen 在去掉先验后影响分仍为 0.53;去掉解释后为 0.45。
- 作者称温度变体与主实验几乎无差别;表中影响分差为 0.00 或 -0.01,回弹差在 -0.02 到 +0.01。正文把温度设为 0.2、默认和 1.2,未把 high/low 逐一对应到这两个数值。
- 去掉先验或去掉解释后,llama-70b 变化小,qwen-72b 正向影响上升、回弹下降(无解释时回弹从 -0.58 到 -0.09)。作者认为把先验写进提示词会减轻易感性,解释也有助于稳定。
- 解释互换后,作者认为内容比呈现者身份更重要,且 gpt-20b 的解释更有说服力。S10 称 gpt-20b 解释均长 23 词,llama-70b 为 7 词。附录给了解释示例。
其他消融与分析
- 回弹概率(Figure S7 列边际,judge 序为 gemma-27b、gpt-20b、llama-70b、qwen-72b):Sarcasm 0.01、0.25、0.16、0.19;Commonsense 0.06、0.11、0.13、0.21;Sentiment 0.01、0.03、0.09、0.14。峰值包括 Sarcasm 上 llama-70b→gpt-20b 的 0.43,以及 Commonsense 上 qwen-72b 同质的 0.50。
- 同意交互只在 Sarcasm 报告(S6):回弹多为 0.00 到 -0.02,llama-70b 同质为 -0.07。作者称符合“几乎不改判”的预期。
- F1 差为 Round 2 减 Round 1(Figure S11)。Sarcasm 列边际 0.04、0.06、0.15、0.02;Sentiment 列边际 -0.06、-0.00、-0.07、-0.06。作者称难任务受益更多、Sentiment 总体下降、同质差于异质、小 judge 配大 peer 受益更多。Sentiment 有反例:gemma-27b 同质 -0.05,gpt-20b 作 peer 为 -0.09;qwen-72b 同质 -0.10,llama-70b 作 peer 为 -0.12。Figure S12 的 Commonsense 上 gemma-4b←gemma-27b 为 -0.14,与“小 judge 配大 peer 更受益”不同向;Sarcasm 上 qwen-7b←qwen-72b 为 0.18,反向约 0。
- S5:作者称除 gpt-20b 外,交互后确定性的条件质量集中在 0 或 1,对角质量低。正文又称 Round 2 把质量集中到 peer 所建议标签、靠近 1。热图单元格的空间分布此处不转述。
- Table 1:gpt-20b 的混合标签比例为 Sarcasm 0.581、Commonsense 0.358、Sentiment 0.163;llama-8b 在 Commonsense 为 0.435。作者称 Sarcasm 上完全一致的样本多偏向正类,并认为弱信号使标签塌向模型偏向。
What are some points that can be further explored?
作者列出单轮二分类、开源量化模型与等权汇总三项实验局限。
作者指出的局限与后续方向
- 框架只含单轮交互和二分类。作者称单轮是为隔离消息传递、二分类是为意见偏移可量化,但仍需要在大规模自组织系统与开放任务上探索涌现决策模式(Discussion)。
- 结果来自开源量化模型,采样参数范围窄。作者称不保证推广到其他 LLM,或很大的商业模型(Discussion)。
- 作者称量化也可能以难以预测的方式影响结果(Discussion)。
- 最终估计对所有影响构型等权,而这是有意让每种构型都被同等查看;经验分布集中在一部分构型(Discussion,见 S12)。
实验覆盖范围
- 被测模型为 Table S1 的七个 4-bit 开源模型;任务为 Section 2.2 的三项二分类,规模分别为 91,964、9,264、137,454。
- 跨家族矩阵只含各家族最大模型;规模对比只在同家族内配对(Section 2.3,Figure 1、Figure 3)。
- 每样本 M=10,每种 match case 上限 7,000,影响分按情形宏平均(Methods)。论文未报告整套实验跨随机种子的重复次数。
- 敏感性分析在 Sarcasm 上,主配对为 qwen-72b 与 llama-70b,温度取 0.2、默认和 1.2;解释互换为 llama-70b 与 gpt-20b(Section 3.4、Table 2)。同意交互只在 Sarcasm 给出(S6)。
- F1 差在 Figure S11、Figure S12。作者称主目标是估计影响,而不是对照 ground truth(Discussion)。Discussion 把 logits 确定性当作对照直觉,实验里的确定性是 M 次生成的经验频率,论文未报告 logits 确定性。
Summarize the main content of the paper
一次分歧交换就能大幅改判,且组合行为不能从个体属性外推。
这篇工作测量异构语言模型智能体在共同分类任务上的单次同伴影响,而不是评多智能体系统的整体基准分。
- 问题:去中心化系统里,judge 的输出同时依赖本地上下文和同伴消息。作者要知道分歧时谁说服谁,以及这能否从规模或孤立确定性推出来。
- 做法:judge 与 peer 先独立做二分类并给出解释,再让 judge 看着自己的输出和对方的对立输出重判;角色对调。七个 4-bit 开源模型、三项任务、每样本 10 次。影响分是两个方向上正向概率偏移之和,按分歧配对情形宏平均;负向偏移另记为回弹。
- 主结果:Figure 1A 中易感性在 Sarcasm 上为 gemma-27b 0.89、llama-70b 0.57、qwen-72b 0.40、gpt-20b 0.28。作者称多数影响分超过 0.5。易感性标准差 0.19,说服力 0.10,作者称幅度更由听话的模型决定。
- 反差:确定性与易感性 Spearman ρ=0.61(p=0.036)。同家族异质里,小 gemma、小 llama 的说服力可以不低于大模型,小 qwen 则不能(Figure 3)。gpt-20b 从同质到异质的平均影响分,在 Sarcasm 上从 0.67 到 0.14(Table S3)。作者称异质并不一律加强或削弱影响。
- 作者的结论:交互系统的行为不能从个体属性推断,必须在将要部署的模型组合上评估。作者认为模型搭配是一阶设计选择,开放场景里较小的对立智能体也可能翻转结论;只按单体能力选智能体,会留下相应的攻击面。