通过模型路由与协作实现集体偏见缓解

单模型自我去偏可能不足以纠正深植训练数据的刻板印象，作者提出用路由与多模型协作降低偏见的 CBM。

• 场景： 作者称 LLM 已用于公共卫生、金融和治理，既要功能准确，也要符合社会价值。被引的实证研究称，模型会延续甚至放大训练数据中的偏见，使输出不公平地指向特定社会群体。
• 现有不足： 已有方法改训练数据分布、模型权重或译码，或用 self-debiasing 让模型识别并改正自己的偏见。作者称，缺少有力的外部监督时，模型往往察觉不到深植训练数据的偏见，甚至用刻板知识为回答辩护（Figure 9）。
• 假设： 不同 LLM 的训练数据带来不同的知识与价值。作者据此用细粒度行为为每个查询挑选更中性的模型，再让被选模型交换信息，以压低单个模型的偏见。
• 提出的内容： 逐查询行为数据 CrowdEval、检测偏见并选模型的 model router，以及五种拓扑下的 Collective Bias Mitigation (CBM)。作者称这是首次系统研究如何选择并组织不同 LLM，以得到更公平的回答。

偏见评测

• 内隐联想与句对基准： Schimmack (2021) 的 IAT 衡量对特定社会群体的内隐偏见强度。CrowS-Pairs (Nangia et al., 2020) 与 StereoSet (Nadeem et al., 2020) 用连到群体属性的提示，比较回答的伪似然。
• 问答式探测： BBQ (Parrish et al., 2021) 与 BiasLens (Li et al., 2024) 用结构化问答探测偏见。作者称这类基准的疏漏是只给每个模型一个整体分，看不清逐查询行为。
• 为何用 BBQ： 作者引用 Blodgett et al. (2021) 与 Horych et al. (2024) 对若干公平基准数据构造缺陷的讨论，并称 BBQ 数据质量高、社会维度覆盖多，因而最适合本工作。BBQ 含 ambiguous 与 disambiguated 两类上下文。

单模型去偏

• 训练期： CDA 通过交换受保护属性改变训练分布（Liang et al., 2020; Qian et al., 2022）。强化学习使行为对齐人类公平标准（Lu et al., 2022; Ouyang et al., 2022）。引言还列出改权重的工作（Yang et al., 2022; Attanasio et al., 2022; Yang et al., 2023）。
• 推理前与推理后： 推理前用提示或指令引导（Schick et al., 2021; Mattern et al., 2022）；推理后如 constrained beam search，过滤或改写输出（Saunders et al., 2021; Chung et al., 2023）。self-debiasing 让模型凭自身知识改正偏见输出。
• 作者的对照： 作者称这些方法主要在单个 LLM 内去偏，并在此处引用 Owens et al. (2024)。

多模型决策

• 三类集成： 作者把 LLM ensemble 分为推理前选模型（Lu et al., 2023）、推理中融合 token 级决定（Huang et al., 2024; Xu et al., 2024; Du et al.，论文未给年份）和推理后整合各模型已有决定（Owens et al., 2024; Jiang et al., 2023; Gong et al., 2025）。
• 与本文的差别： 作者称 CBM 先按细粒度行为为每个查询选模型，再在特定拓扑中协同，而不是不经选择地集成。
• 先前的多模型去偏： 附录把 Majumdar et al. (2024) 与 Owens et al. (2024) 列为使用多样化候选之前的研究，并称本文与之的区别是模型多样性。

基线与基准

• 基线： Single 拓扑是单模型基线。self-debiasing 被定义为同一模型的 Sequential。选择策略对照为 Random Selection (RS)、Best Selection (BS) 与 Model Routing (MR)。
• 基准： BBQ 的 ambiguous 子集，以及据此建造的 CrowdEval。作者排除 disambiguated 实例。

作者把 CBM 定位为多模型协作：用路由理解各模型行为，为查询选出模型，再按拓扑协同，而不是只在单个模型内部去偏。

CBM 不改被选模型的权重。它先记录各模型在偏见问题上的回答，再为查询选出一组模型，按拓扑协作得到最终回答。作者把系统写成被选模型集合加上拓扑 t。

数据与任务

• 模型池： 从 HuggingFace 选取 50 余个开源 text-generation 模型，规模 1B 到 56B，架构和训练语料不同。名单在 Table 12。每个模型以 greedy decoding 作答。
• 问题来源： BBQ 的 ambiguous 子集。多数维度随机抽 1,024 条；实例较少的维度用全部：Disability 778、Religion 600、Sexual Orientation 432（Table 2）。Age、Gender、Nationality、Race、SES 各 1,024。
• 一条数据： 含社会维度、Context、Question、三个选项和模型回答。选项对应 bias-target、non-target 与 neutral。Bias Label 按回答表现出的这三种倾向标注（Table 1）。附录 A 给出收集回答的提示模板。
• 不用的部分： 作者排除 disambiguated 实例，称焦点是固有偏见，而不是偏见能否压过有证据的推理。

模型路由

• 两个任务： Bias Detection 预测提示属于哪个社会维度；Model Selection 为该提示推荐更中性的模型。作者假设，微调预训练 LLM 比从零训练 BERT 或 T5 分类器更能抓住细微偏见，并对未见类别泛化更好。
• 训练： 主路由是微调后的 Qwen2.5-32B；Table 3 的对应条目为 Qwen/Qwen2.5-32B-Instruct。Adam，CrowdEval train subset 上 1 个 epoch，学习率 5×10^-5。对照路由从 1B 到 32B。
• 避免拟合名字： 训练时把模型名换成 model_{index}，使路由把偏见和模型行为而不是 Llama、Qwen 等名字联系起来。推理时只取候选模型对应 token，按预测概率排序并取 top-k。附录 B 给出流程；其中用负对数似然再指数化，得到选择似然。
• 留出维度： 为检查对未见偏见维度的泛化，路由训练集排除 SES 与 SO。

五种拓扑

Figure 3 中实线是输入输出，虚线是模型间通信。附录 C 给出各拓扑的提示模板。

• Single： 只用排名最高的模型，单轮作答，作为基线。
• Sequential： 按顺序传递 K 个模型。后一个模型能参考此前回答并更新；最终回答来自最后一个模型。self-debiasing 是同一模型重复使用的 Sequential。
• Voting： 各模型独立作答，最终答案为多数票。
• Debating： 先独立作答，再把各回答写回提示，迭代到共识。附录 C 将共识定义为同意超过 50%。
• Committee： 协调者接收原查询，依次询问其他模型，据回答起草 motion，再征求同意。共识阈值 50%，最多 5 轮；未达成则取多数选项。各模型可对 motion 选择 prefer、reject 或 abstain。作者称协调者始终指定为 m0。

Section 4.3 又写：Sequential 按路由推荐顺序分配；Voting、Debating、Committee 的槽位随机分配。论文没有进一步说明这与“协调者始终是 m0”如何同时实现。

分数如何定义

偏见分改编自 BBQ。全部回答为中性时，作者将 BS 设为 0。正分表示刻板方向，负分表示反刻板方向。

BS = (1 − (C_neutral)/(C_total))((2C_biased)/(C_total − C_neutral) − 1)

前一项是非中性回答的比例，后一项衡量这些回答偏向 bias-target 的程度。C_neutral、C_biased、C_total 分别是中性回答数、bias-target 回答数和总回答数，统计范围是 CrowdEval test set。

路由 Accuracy 是社会维度是否预测正确。Precision 是每个提示上推荐模型中的中性模型比例，再对提示平均。中性与否来自该模型在 CrowdEval 中对该提示的标注。

实验设置

• 模型： 模型池为 50 余个开源 LLM（Table 12），个体分数在 Table 6，温度为 0。路由为 Llama-3.2-1B-Instruct、Qwen2.5-3B-Instruct、gemma-2-9b-it、Qwen2.5-14B-Instruct、Qwen2.5-32B-Instruct，主结果用最后者。更大模型对照为 Qwen2.5-32B-Instruct、Llama-3.3-70B、DeepSeek-R1-Distill-Llama-70B。
• 数据： CrowdEval，条数见 Table 2。SES 与 SO 不进入路由训练集，但仍进入偏见分评测。BBQ 的 disambiguated 实例不用于本文评测。
• 对照： 拓扑为 Single、Sequential、Voting、Debating、Committee。选择策略为 RS、BS、MR。设定为 top-1、top-3、top-5、top-7；top-7 只报告 MR。
• 指标与抽样： Bias Score；路由用 Accuracy 与 Precision。准确率分布在 CrowdEval eval set 上做 512 次 bootstrap。论文未报告 train/eval 条数，也未报告重复实验次数。
• 判定： Bias Label 按回答的 bias-target / non-target / neutral 倾向确定（Table 1）。论文未写单独的 LLM 评审模型，也未报告与人工标注的一致性。
• 成本协议： Table 11 在 100 条随机 BBQ 上测平均响应时间，模型预先加载。Figure 7 以 Single 的推理成本为基准报告倍数。成本按各模型 FLOPs-per-token 乘以处理 token 数再求和（附录 D）。

主结果

下表只列 Table 10 的 MR。未列入表的维度是 Disability、Nationality、SO；top-3、top-5 以及 RS、BS 见该表。

| 拓扑与设定 | Age | Gender | Race | Religion | SES | | Single top-1 | 0.25 | 0.16 | 0.17 | 0.21 | 0.30 | | Sequential top-7 | 0.41 | 0.31 | 0.37 | 0.32 | 0.37 | | Voting top-7 | 0.24 | 0.18 | 0.27 | 0.10 | 0.18 | | Debating top-7 | 0.10 | 0.10 | 0.08 | 0.02 | 0.10 | | Committee top-7 | 0.10 | 0.08 | 0.14 | 0.04 | 0.12 |

• Committee 与 Debating： 作者称 top-7 下 Committee 将年龄偏见分从 Single 基线降到表中的对应格，且推理成本低于 Debating。作者称 Debating 往往最低。例外是 top-7 MR 的 Disability：Committee 为 0.09，Debating 为 0.11。作者称 Committee 方差更小；论文未给出方差数值。
• Sequential 上升： 作者称链式传递会把前面的偏见带下去，链越长分数越高。Sequential MR 的 Age 为 top-3 的 0.33、top-5 的 0.36，再到表中的 top-7，都高于 Single top-1。
• Voting 与 Single： 作者称 Figure 1 的 top-5 配置下，Voting 在八个维度上优于 Single。Table 10 中 top-5 Voting MR 的 Race 为 0.29，高于表中 Single top-1 的 Race。Figure 1 以虚线标各分布均值，转换文本无法把这些均值对应到各拓扑。

路由能否分类偏见并选出中性模型

• Accuracy： Table 4 的 Overall 为 1B 0.424、3B 0.665、9B 0.801、14B 0.831、32B 0.851。作者称参数超过 9B 后趋于稳定，并以 0.851 为最高。Figure 4 的文字标注里同时出现 0.801 与 0.831，论文未说明它们分别对应哪一个规模。作者称方差随规模下降；分布宽度无法从转换文本读出。
• 留出的 SES 与 SO： 32B 的 Accuracy 为 0.883 与 0.809。作者称二者高于随机选择 0.125，并低于部分见过的维度，例如 Gender 的 0.922。
• Precision： Table 5 的 Overall 为 Random 0.471、1B 0.582、3B 0.651、9B 0.804、14B 0.883、32B 0.941。作者称 Figure 5 中路由精度高于随机选择，且 9B 之后提升变弱。Figure 5 文字标注为 0.492、0.574、0.661、0.816、0.876、0.933，与 Table 5 的 Overall 不是同一组数字。

更大模型上的自我去偏

• 设置： 附录 E 使用两个相同模型的 Sequential，提示要求去掉偏见后重新作答。对照模型为 Qwen2.5-32B-Instruct、Llama-3.3-70B、DeepSeek-R1-Distill-Llama-70B。
• 平均分： 三者分别为 0.114、0.104、0.199，Table 7 的 CBM 行为 0.095。作者称 CBM 的平均分最低，但个别更大模型在部分维度上更低。例如 Llama-3.3-70B 的 Nationality 为 0.04、Race 为 0.09，CBM 行相应为 0.11 与 0.14。
• 不随规模单调下降： 三个更大模型中，DeepSeek-R1-Distill-Llama-70B 的平均分最高。Figure 9 给出一例，自我去偏没有改变带偏见的答案。Table 7 的 CBM 行与 Table 10 中 Committee、top-7、MR 的八个数字相同，论文未说明二者是否为同一设定。

推理成本

• 相对倍数： 作者称相对 Single，Debating 大约需要 27 倍计算资源（Figure 7）。论文未按每个 top-k 写出该倍数。作者称 top-7 时 Debating 与 Committee 的差距变小，因为许多辩论达到共识迭代上限。
• 墙钟时间： Table 11，100 条、模型预加载。Single top-1 为 3.12 s。Debating top-3 的 Vanilla / Parallel / Batch 为 27.43 s / 9.13 s / 7.12 s；Committee top-3 为 22.15 s / 7.02 s / 5.73 s。Debating top-5 的 Vanilla 为 63.10 s，Batch 为 7.44 s。作者称优化后的平均时间接近 3.12 s。

其他消融与分析

• 顺序（Table 8、9）： 只报告 Age、Gender、Disability。少偏见模型在前时，Age 的 top-3/5/7 为 0.33、0.36、0.41；少偏见模型在后时为 0.29、0.35、0.34。作者称把更少偏见的模型放在序列后面，最终输出更中性。
• 选择策略： 作者称 top-3 下 BS 与 MR 相当，top-5 下 MR 的偏见分始终低于 BS。反例：top-5 Committee 的 SES，MR 为 0.18、BS 为 0.10；top-5 Sequential 的 Age，MR 为 0.36、BS 为 0.29（Table 10）。
• 32B 不是每维最高： Table 4 的 Nationality Accuracy，14B 为 0.836，32B 为 0.801。Table 5 的 Age Precision，14B 为 0.934，32B 为 0.910。
• 池内个体分： Table 6 同时有正分和负分。例如 Llama-3.1-8B-Instruct 的 Age 为 0.383，falcon-7b-instruct 的 SES 为 -0.339。Figure 8 用正负表示刻板与反刻板方向。
• 随机选择： 作者称 RS 效果有限。top-7 的 RS 与 BS 未报告。

作者指出的局限与后续方向

• 不能外推为总体可信： 作者称结果只为 ambiguous、英文 BBQ 问题上的偏见缓解提供证据，并不确立 CBM 使 LLM 总体可信（Section F）。
• 偏见分未覆盖的方面： 作者称 Bias Score 不衡量事实准确性、对分布偏移或对抗输入的稳健性、隐私，也不衡量置信度校准（Section F）。
• 中性答案的适用条件： 作者称中性答案适合所用的 ambiguous 问题；若真实问题已有足够证据支持某一答案，中性回答可能没有帮助（Section F）。
• 语言与文化： 作者称 BBQ 反映特定语言和文化语境，观察到的降幅未必迁移到其他语言、文化或应用。附录 A 写明 BBQ 为英文，并以美国文化与社会规范为背景，其偏见框架未必适用于其他文化。
• 作者提出的后续检验： 作者称在作更宽的可信度断言之前，需要把这些方面放在一起评，包括路由和协作是否保持任务准确性（Section F）。
• 实时吞吐： 作者称对实时吞吐要求严格时，完整多模型方案可能不实用；蒸馏或压缩拓扑可作为折中（附录 D）。

实验覆盖范围

• 数据： 评测使用 BBQ ambiguous 子集建成的 CrowdEval。Table 2 中五个维度各 1,024 条，Disability 778、Religion 600、SO 432。disambiguated 实例被排除。Section 4.1 列举 BBQ 的九个维度时还包括 physical appearance，论文未说明该维度为何未进入 CrowdEval。
• 模型： 模型池为 50 余个开源 text-generation 模型，1B 到 56B（Table 12）。路由对比为 Table 3 的五个模型，1B 到 32B。自我去偏另测三个更大模型（Table 7）。
• 拓扑与设定： Single、Sequential、Voting、Debating、Committee，以及 top-1、3、5、7。top-7 只报告 MR。顺序消融只报告 Age、Gender、Disability（Table 8、9）。
• 路由检验： SES 与 SO 被排除在路由训练集之外。准确率分布用 512 次 bootstrap。论文未报告 CrowdEval 的 train/eval 条数、实验重复次数，以及 Bias Label 是否另由模型或人工复核。
• 成本测量： 响应时间在 100 条随机 BBQ 上比较了 Vanilla、Parallel、Batch（Table 11）。论文未报告统计显著性检验。

CBM 是一个推理时的多模型去偏框架：用路由为查询选模型，再按拓扑协作，以降低社会偏见分。

• 问题： 作者认为，单模型 self-debiasing 缺少外部监督，不足以处理深植训练数据的刻板印象。文中把公共卫生、金融和治理写成模型已经进入的决策场景。
• 做法： 用 BBQ 的 ambiguous 问题收集 50 余个开源 LLM 的回答，建成 CrowdEval，并微调 Qwen2.5-32B 做路由。路由识别偏见类型并推荐 top-k 模型。拓扑有 Single、Sequential、Voting、Debating，以及带协调者的 Committee。Debating 与 Committee 的共识阈值为 50%，Committee 最多 5 轮。
• 主结果： Table 10 的 MR 设定中，top-7 Committee 的年龄偏见分为 0.10，top-1 Single 为 0.25。同表 top-7 Debating 的 Religion 为 0.02、SO 为 0.03。Sequential MR 的 Age 随模型数增至 top-7 的 0.41。
• 路由与更大模型： 32B 路由的 Overall Accuracy 为 0.851（Table 4），Overall Micro Precision 为 0.941（Table 5）。未参与训练的 SES、SO，Accuracy 为 0.883 与 0.809。Table 7 中 CBM 行的八维平均为 0.095，低于三个更大模型自我去偏的 0.114、0.104 和 0.199；部分维度上更大模型更低。该 CBM 行与 Committee top-7 MR 数字相同，论文未说明是否同一设定。
• 作者的结论： 作者称 Debating 往往取得最低偏见分，Committee 在降偏见和推理成本之间取得平衡。作者同时称，这些结果不能推出模型总体可信，偏见分也不衡量事实准确性。