贝叶斯辩证论证(BDA):面向持续对抗下多 LLM 委员会的可校准聚合
Counting Moves, Weighing Voices: Bayesian Dialectical Argumentation for Calibrated Multi-LLM Councils under Persistent Adversaries
AI 导读
针对多 LLM 委员会在部分智能体持续不可靠时置信度无法反映正确概率的问题,研究者提出贝叶斯辩证论证(BDA),把委员会中提议、质疑、让步等类型化动作视为带每个智能体可靠度的标注者模型观测,从而将多智能体审议转化为可靠度估计问题。BDA 按推断出的智能体可靠度加权证据,输出候选答案的可校准后验概率,并能反转而非仅票数压制持续不可靠的智能体。在二分类与多分类基准上,BDA 在零额外 LLM 调用成本的委员会聚合方法中取得最佳校准,并在持续对抗联盟下提升鲁棒性,干净场景中仍具竞争力。