研究：认知偏差可削弱辩论式 AI 安全监督

利用认知偏见的修辞，能否在辩论结构里把人类裁决推向被操纵方，而不管该方是否在指控真凶。

• 场景：作者称 RLHF 的偏好会反映长度、说服力或与标注者观点一致等非正确性特征，优化这些判断可能鼓励讨好评估者；这与 sycophancy、无根据的自信，以及有说服力但有缺陷的推理相联系。辩论被提出来让双方互相反驳，使证据和正确性更直接进入人类评估。
• 现有前提：作者称辩论是否有效，取决于对抗审查下真实论证是否比虚假论证更容易辩护，因为每一方有动机指出对方的缺陷。若与正确性无关的特征系统性地影响裁决，模型可能因利用这些特征、而不是辩护正确答案而获得奖励。
• 做法：作者用已知凶手的侦探谜题构造 68 段 LLM 对话，对 anchoring、fallacy oversight、pro-jargon、verbosity 做受控干预，并分别施加于真凶方或无辜嫌疑人方，以便把干预的影响和立场是否正确分开。
• 裁决设定：未读原故事的人要指出自己认为有罪的嫌疑人。双方辩手可使用同一证据池，可以竞争性地解释证据，但不得引入外部证据或编造事实。干预只作用于被操纵方在第 3–6 轮中的发言，开场两轮各条件共享。
• 预注册假设：H1 为偏见的存在会使判断偏向 bias-active 方。H2a 问每种偏见是否单独把判断推向该方；H2b 问偏移幅度是否因偏见类型而不同。

作者把相关工作分成辩论监督、人类裁决偏见和 LLM 评判偏见，并用已知正确答案的设定考察刻意引入的修辞。

• AI safety via debate：Irving、Christiano 与 Amodei（2018）用相互挑战的智能体改进用来训练系统的人类判断；Ji 等（2025）的对齐综述被一并引用。作者称其动机来自现有训练信号的限制：RLHF 判断可能偏好 sycophantic 回应（Sharma 等，2023），评估输出有困难（Casper 等，2023），也取决于偏好如何引出和建模。RLVR 减少对人类判断的依赖，但不完整的验证器可能接受未满足任务的输出（Helff 等，2026）。引言还引用 Michael 等（2023）与 Khan 等（2024），称对抗性协助可以在裁决者缺乏专业知识或信息时改善裁决。作者认为，指出缺陷只有在裁决者把它识别为缺陷时才有用。
• 人类裁决偏见：作者引用日常与职业判断中的偏见（Mason，2019；Lopes，2025；Berthet，2022），并称即使受过训练的法官也会出现 anchoring、后见之偏和统计推理错误。提出的补救包括清单、明确决策标准和促使仔细考虑证据的训练（Guthrie 等，2007）。呈现顺序影响注意与选择；先验信念和未注意到逻辑不一致会导致错误结论。与 AI 辅助评估相关的工作包括把辩论用作人类评估的辅助（Rahman 等，2025）、人类监督中的 confirmation bias（Recchia 等，2026），以及陪审团式集体裁决的收益与脆弱点（Gordon 等，2022；Voudouris 等，2026）。作者称本研究建立在 Irving 与 Askell（2019）关于在对抗论证下检验人类判断的呼吁上。
• LLM 评判偏见：LLM 越来越多地按任务标准评估回应（Li 等，2024）。作者称它们和人类一样对呈现方式敏感（Thakur 等，2025），例如会偏好更长回应，即使增加的文字没有提高质量（Saito 等，2023）。有些 LLM 判断偏见类似人类，有些不同（Liu 等，2025）。作者称这些发现为本研究提供对照；本研究关注修辞干预对人类裁决者的影响，并用 LLM 裁决者筛选候选辩论。
• 基线与材料：每种故事有一条未操纵对话，作为四种偏见的共享 baseline。故事来自 True Detective；无辜对手按 5-Minute Mystery 读者投票中“有罪减无辜”的净值选取。论文没有把外部辩论系统当作实验对照。

作者把本文定位为：在有已知正确答案的辩论里，检验刻意引入的修辞策略是否让一方占优，而不是只描述人类或 LLM 的一般偏见。

作者把 侦探辩论语料 与被试间人类裁决结合起来：先固定证据和已知解答，再只改一方的论证风格，使风格影响可以与立场是否正确分开。

辩论协议

• 每则故事由两名 LLM 辩手各指控一名嫌疑人：一方指控 culprit，另一方指控 innocent suspect（rival）。完整多轮交换称为 dialogue；裁决者的任务是指出凶手。
• 协议分三阶段、共六轮，每阶段每方一次发言：scene reconstruction（第 1–2 轮）向没读过原故事的人介绍案件，只呈现有利于己方的预选事实，不明确解释证据或提出指控；arguments（第 3–4 轮）据此提出指控并挑战其他解释；rebuttals（第 5–6 轮）回应对方并加强己方指控，可以解释已有证据，但不得引入新证据。Figure 1 给出六轮结构。
• 作者给出的两条理由是：双方平等接触固定证据，不需要外部检索；证据允许多种解释，而故事有已知解答。Side A 始终先发言。说话顺序被当作设计因子，不作为四种偏见干预之一。

四种干预

• 候选来自人类裁决、LLM 评估和算法偏见文献。作者先保留至少两个来源讨论过的偏见，再排除难以只靠文本操纵的，例如 confirmation bias。文中的 bias 指旨在利用某种认知偏见的论证风格。
• anchoring：把开场已经陈述的事实或解释当作参照，后面的反驳和总结围绕该参照组织，同时仍回应对方。它需要改内容计划，使先前信息在论证中的位置改变。
• verbosity：用更多词语和支持细节表达同一总体论证。它在 baseline 内容计划之外增加一条支持理由、相关事实，以及这些事实如何支持结论的说明，且不改变说话者的结论。
• fallacy oversight：从 12 种常见谬误中保留 7 种适合文本操纵的类型，即 hasty generalization、straw man、false dilemma、post hoc ergo propter hoc、genetic fallacy、moral equivalence、begging the question。提示包含定义和例子；附录 A.3.2 给出完整规格，这里不复述例句。
• pro-jargon：用专门、法律化、法医式或职业化用语让论证显得更可信或更严谨，即使术语不增加实质信息或推理。

语料生成

• 排除涉及严重犯罪的故事。故事被切成有序、唯一编号的句子，作为生成时的证据引用。给定故事、两名嫌疑人和解答后，为每名嫌疑人生成两条归罪理由和两条开脱理由，每条有两种对支持事实的解释。该理由生成使用 openai/gpt-4.1，temperature 为 0，最多 1,500 个 output tokens。隐藏的解答只用于选择和解释公开证据，不得直接引用。
• 内容计划规定每轮论证什么、用哪些证据；除 anchoring 与 verbosity 外，干预沿用 baseline 内容计划。风格计划给出定义、判定标准、例句，以及与 baseline 的差别，不改变所用证据或该轮应论证的内容。
• 每则故事先生成一条无偏见 baseline。有偏对话只重生成被操纵方的 argument 与 rebuttal，对方轮次不变；第 1–2 轮在各条件间共享。附录 A.3 给出模板与 rollout 提示。
• 规模为 4 则故事乘以（1 条 baseline，加 4 种偏见、2 个施加方、每种 2 个变体），共 68 段。Side A 在两则故事中论证真凶有罪，在另两则中论证对手有罪，且在同一故事的各条件中固定。Table 2 列出全部编号。

筛选、人类协议与统计模型

• 辩论质量沿用 Rubric-as-Reward 的思路，把 Public Forum 量表改到本设定。LLM 裁决者按书面清晰度、组织、证据、论证、回应和举止六维打分，每维 1 到 5、步长 0.5，六维相加满分为 30。双方都至少 27/30 才通过，否则按反馈重生成。该质量评审的模型名论文未说明。
• 偏见有效性用六个 LLM 当模拟被试，各自以新上下文裁决。与对应 baseline 比较后，至少一模型偏向偏见方且无一模型反向偏移才保留，否则重生成。因此进入人类实验的操纵对话是按这一标准选出的。
• 人类实验为被试间设计，每人裁决一段。计划 N=400：每段操纵对话 5 人，每段 baseline 20 人，并按预先排定的分配保持平衡。偏见问卷放在裁决之后，以避免事先引导。
• 令 Yi=1 表示被试 i 选择 Side A。Xi 取 +1、0 或 -1，分别对应偏见施加于 A、baseline，以及施加于 B。H1 的模型是 logit P(Y_i=1)=α+β X_i：α 是 baseline 判断，正的 β 表示偏向 bias-active 方。概率尺度的偏移是 Δ=1/2[σ(α+β)−σ(α−β)]，σ 把对数几率转为选择概率；Δ 以百分点报告，95% 区间来自非参数 bootstrap。原假设 β=0 用相对仅截距模型的单自由度似然比检验。单偏见模型让四种偏见共享同一 baseline 截距，并对四次检验做 Holm 校正。

实验设置

• 被试：Prolific 招募，批准率 100%，英语流利。基础报酬 4.50 美元，按预期 15 分钟计为每小时 18 美元；选对指控真凶的一方再加 0.50 美元。400 份完成提交中排除 31 份：故事检查失败 2 份，阅读速度达到或超过每分钟 400 词的 29 份。分析样本 N=369，其中操纵对话 297 人、baseline 72 人（Table 32）。
• 材料：四则 True Detective 故事，即 Our Quarterback Is Missing、The Diamond Necklace、The Missing Briefcase、The Mystery of the Leprechaun's Trophy；语料 68 段。每名被试只看分配到的对话，不看原故事。
• 模型：理由生成使用 openai/gpt-4.1。偏见筛选使用 Claude Haiku 4.5、Claude Sonnet 4.6、Gemini 2.5 Flash、Gemini 3.1 Pro Preview、GPT-4.1 Mini、GPT-5.4。对话 rollout 的模型名，以及辩论质量门的评审模型名，论文未报告。
• 指标与检验：主结果是裁决选择，并由此得到正确性和是否选择 bias-active 方。H1 报告 Δ 及 bootstrap 95% CI。H2a 对每个 βb=0 做单自由度似然比检验并做 Holm 校正。H2b 用同一次重抽样得到四个效应的联合协方差，再做三自由度 Wald 检验。补充分析对准确率或 bias-following 做逻辑回归，报告双侧 Wald p 值。
• 其他测量：七分制信心、可选书面理由、是否注意到偏见、认为哪一方有偏、每方最明显的偏见类型，以及年龄组、教育、职业、辩论经验和对侦探任务的熟悉度。附录 B.1 记录相对预注册的偏离，包括奖金由 1 美元改为 0.50 美元、未分析预注册的人类—LLM 差异，以及主报告由优势比改为概率尺度 Δ。
• 未报告项：论文未报告人类实验的重复次数；设计是每人一段。也未报告质量门或偏见筛选的重生成次数汇总。

主结果

主结果是人类裁决是否偏向被操纵方。下表的单独效应来自 Table 1；合并效应来自 §6.1，不在 Table 1 中。

表格较宽，可左右滑动

条件	效应	95% CI	检验
四种合并（§6.1）	+8.6 pp	[+2.9, +14.2]	χ²(1)=9.31，p=.002
Anchoring（Table 1）	+9.2 pp	[−2.4, 20.4]	原始 p=.105，Holm p=.315
Fallacy（Table 1）	+7.1 pp	[−3.9, 18.0]	原始 p=.201，Holm p=.401
Pro-jargon（Table 1）	+7.2 pp	[−3.9, 17.8]	原始 p=.201，Holm p=.401
Verbosity（Table 1）	+11.1 pp	[−0.8, 22.3]	原始 p=.052，Holm p=.209

• 作者报告，加入 bias-active 方这一预测变量后模型拟合改善，并称这支持 H1。作者认为，论证如何呈现可以影响裁决，即使底层故事证据不变；由于真凶方和对手方都会被操纵，该偏移偏向被操纵方，而不是偏向正确性。
• 作者称四种单独估计的方向都与 H2a 一致，但校正前和 Holm 校正后都没有为任何一种偏见确立效应。作者给出的原因是：每个单独系数只由看到该偏见的裁决者估计，只占全部裁决的一小部分，标准误大于合并系数。
• 四个效应相等的 omnibus 检验为 χ²(3)=0.32，p=.956；Table 1 中观察到的最大类型差为 4.0 pp。作者称 H2b 没有定论：数值不同，但类型间差异相对抽样不确定性较小。

发言顺序

• 说话顺序在设计中被平衡，使它与真相方、偏见施加方都不混淆。总体正确率在真相方先发言时为 63%（179 人），后发言时为 41%（190 人），OR=0.42（95% CI 0.27–0.63），χ²(1)=17.22，p<.001（Table 43）。
• 无操纵子集中，真相方先发言的正确率为 75%（32 人），后发言为 32%（40 人），OR=0.16（95% CI 0.06–0.45），p<.001。
• 被操纵方先发言时被选中的比例为 67%（148 人），后发言时为 50%（149 人），差为 −16.6 pp（95% CI [−27.6, −5.5]），p=.004。作者认为这是另一个可能影响人类辩论裁决可靠性的因素，并称先发言时更高的跟随比例很大程度上来自先发言优势。

偏见识别

• Table 40：操纵组 297 人中，164 人（55.2%）报告注意到偏见，88 人（29.6%）指出被操纵方，33 人（11.1%）指出具体类型。baseline 的误报为 35/72（48.6%）。按类型正确指出具体偏见的比例为 fallacy 7.9%（6/76）、pro-jargon 8.0%（6/75）、anchoring 8.1%（6/74）、verbosity 20.8%（15/72）。正文把识别比例写成 30% 与 11%；与 Table 40 不一致时这里以表为准。
• Table 42：正确指出被操纵方的 88 人选择该方的比例为 47.7%，未指出者为 63.2%，p=.014。正确指出类型的 33 人为 45.5% 对 60.2%，p=.108。正文写的是 48% 对 63%，以及 46% 对 60%。作者认为，识别可能促使被试折扣该论证，但做到的人少，从而进一步削弱“人类是可靠裁决者”这一假定。
• Table 41 是对应的负面结果：三个识别层次与是否选对真凶都没有统计检验意义上的关联。指出偏见存在者为 54.3% 对 48.1%（p=.292）；指出被操纵方者为 52.3% 对 51.2%（p=.865）；指出类型者为 39.4% 对 53.0%（p=.143）。

书面理由、信心与自报专长

• 245 人留下自由文本，排除 3 份非英文后为 242 份。两名编码者在主要理由类别上的会前一致为 80%，共识会解决了该类别的全部分歧（附录 B.5）。以 physical evidence 为主要依据者正确率为 77%（43/56），其余代码为 46%（86/186）。作者认为这提示可以把注意力导向与正确性直接相关的证据；附录 C.6 同时写明，该关联并不确立“引导注意就会提高正确率”。
• 在含偏见的 196 份编码回应中，被试站在被操纵方的比例为 62%（121/196）。作者称没有任何一种主要理由代码使裁决者免受偏见影响：物证 69%（31/45）、opportunity 67%（50/75）、behavior 62%（18/29）。以 inconsistency 为依据者选被操纵方的比例为 2/8，对照其余代码为 119/188。
• 四则故事的自由文本样本正确率分别为：Our Quarterback Is Missing 72%，The Diamond Necklace 66%，The Mystery of the Leprechaun's Trophy 51%，The Missing Briefcase 29%。inconsistency 的 9/9 与 character 的 10/11 出现在正确率最高的故事。作者认为这些代码的高正确率难以与故事难度分开。The Diamond Necklace 中，引用物证者为 85%（29/34），不引用者为 25%（4/16）；以 opportunity 为依据者为 2/13。
• 操纵组中信心为 6 或 7 的有 86/297 人。作者称最高信心组的正确率低于 50%；Figure 7 的正文没有给出该组的确切百分比。跟随被操纵方的优势比为每提高 1 分信心 OR=1.19（95% CI 1.00–1.42，p=.048，n=297）。自报侦探熟悉度高者正确率 42%（n=86），低者为 58%（OR=0.53，95% CI 0.28–1.00，p=.048）。对对话中所用偏见的熟悉度与跟随该方无关（OR=1.00，95% CI 0.87–1.14，p=.946）。

其他消融与分析

• H1 观察值：baseline 72 人中 70.8% 选 Side A；偏见在 A 时 148 人中 66.9%；偏见在 B 时 149 人中 49.7%（Table 36）。拟合系数 β=0.366，OR=1.442（95% CI 1.137–1.828，p=.002）（Table 37）。
• H2a 单元格：anchoring 74（A 38、B 36），fallacy oversight 76（36、40），pro-jargon 75（38、37），verbosity 72（36、36）（Table 38）。
• H2b 的联合 bootstrap 标准误为 anchoring 5.8、fallacy oversight 5.5、pro-jargon 5.5、verbosity 5.8 个百分点（Table 39）。
• 辩论评判经验与跟随被操纵方的二次项 p=.077（附录 C.5）；作者没有把它写成已确立效应。
• 附录 Table 31 列出六个筛选 LLM 在 68 段上的选边和六模型中选对真凶方的人数。这些对话已按“至少一模型偏向偏见且无模型反向”保留，论文未把该表作为人类主结果，也未做人类与 LLM 的正式比较（附录 B.1）。

作者指出的局限与后续方向

• 本研究考察的是侦探故事中的人类裁决。作者称，尽管该设定与启发研究的法庭式对抗有共通之处，所观察效应在科学话语等其他领域可能不同（§7.1）。
• 作者称，科学解释和新假设的评估常常超出核对最终答案；辩论能否支持这类判断，以及认知偏见如何影响它们，是后续工作中特别重要的方向（§7.1）。
• 作者称，本工作用高度受控的辩论隔离单个偏见；约束更少时，多种偏见可能相互作用，诱发它们的策略也可能比这里测试的更隐蔽（§7.1）。
• 作者明确指示 LLM 使用特定论证策略，没有研究这些策略是否会通过训练出现，也没有研究模型是否会学会利用人类判断中的弱点（§7.1）。
• 作者称，结果确立了对所测偏见干预的易感性，但不能确定此类策略在这些实验室条件之外出现的频率（§7.1）。
• 在 Discussion 中，作者称把清单、结构化的多因素考虑和评分量表改写到 AI 辩论“warrant further evaluation”。作者还称，关注物证与更高正确率的关联并不确立引导注意就会提高准确率，但促使进一步研究；既有评估提示也促使检验：让用户核对每条论证背后的证据，是否有助于更准确地裁决（§7）。

实验覆盖范围

• 语料来自 True Detective 的 4 则故事、68 段对话：每则故事 1 条共享 baseline，以及四种偏见、两个施加方、每条件两个变体（§3.2、Table 2）。
• 人类分析样本为 N=369，被试间，每人裁决一段；计划分配是操纵对话各 5 人、baseline 各 20 人，完成提交 400 份（§5、附录 B.3）。
• 进入人类实验的操纵对话经过六个具名 LLM 的筛选，保留标准是至少一模型偏向偏见且无一模型反向偏移（§4.2）。
• 说话顺序在设计中平衡，并在附录 C.3 作为位置效应报告。人类与 LLM 裁决的数据存在，但附录 B.1 写明未作正式比较。
• 论文未报告辩论质量门的评审模型名，也未报告除理由生成所用 openai/gpt-4.1 以外的对话生成模型名（§4、附录 A.2.4、A.4）。排除严重犯罪故事；招募条件为 Prolific 批准率 100% 和英语流利（§4、§5.2）。

作者用已知凶手的侦探辩论，检验 AI safety via debate 的一个前提：对抗审查下，真话是否比假话更好辩护，因而人类裁决能否作为监督信号。

• 问题：作者称 RLHF 的偏好可能奖励说服和迎合。若与正确性无关的呈现特征能左右辩论胜负，模型就可能因利用这些特征而不是辩护正确答案获得奖励。
• 做法：从 4 则 True Detective 故事生成 68 段六轮对话。anchoring、fallacy oversight、pro-jargon、verbosity 只重写被操纵方的论证与反驳，并可施加于真凶方或无辜方。开场轮次共享，对方发言保持不变。六个 LLM 按“至少一模型偏向偏见且无反向偏移”筛选后，369 名被试各裁决一段。
• 合并结果：作者报告，四种干预合并使裁决偏向被操纵方 8.6 个百分点（95% bootstrap CI [+2.9, +14.2]；χ²(1)=9.31，p=.002）。作者认为该偏移指向被操纵方，而不是正确性。
• 分类型：Table 1 的单独效应为 +7.1 至 +11.1 pp，Holm 校正后均未拒绝原假设。类型间幅度是否不同的检验为 χ²(3)=0.32，p=.956。作者称单独贡献仍不确定。
• 其他模式：真相方先发言时正确率 63%（179 人），后发言 41%（190 人）。被操纵方先发言时被选中 67%，后发言 50%。操纵组中 29.6%（88/297）指出被操纵方，这些人选该方的比例为 47.7%，低于未指出者的 63.2%。以物证为主要书面理由者正确率为 77%（43/56）。
• 作者的结论：作者称，人类裁决即使处在辩论结构中，仍对针对性的论证操纵敏感，胜负与正确性的联系可能被削弱。作者同时称辩论并非没有希望，并认为协议应考虑人类裁决的认知脆弱性；这些结果不能说明此类策略会在训练中出现，也不能说明它们在实验室外的频率。