刻画语言模型辅助决策中的修辞失配

核心问题：LLM在事实上对齐（factually aligned）的情况下，仍可能通过修辞呈现（rhetorical presentation）诱导人类做出次优决策，作者称这一现象为修辞失配（rhetorical misalignment）。

• 问题场景与重要性：随着LLM日益进入高风险人机决策（如临床诊断），作者认为需要理解其输出是否会放大人类认知偏见、如何影响人类决策、以及是否会导致有害后果。例如，将相同数据描述为"70%患者改善"与"30%患者出现不良反应"可能因损失厌恶而改变医生的选择。
• 现有研究的不足：作者指出，以往工作多评估LLM自身在不确定性决策中的认知偏见（intrinsic bias），但LLM通常作为信息设计者影响人类决策；现有基准尚未测量模型如何通过呈现方式（presentation）诱导人类用户的认知偏见。
• 核心观察：人类决策常系统性偏离贝叶斯理性（如框架效应、锚定效应、权威偏见）。作者假设，即使LLM提供的信息完全准确，其语言选择也可能利用这些偏见，改变人类的最终行动。
• 论文贡献：作者提出了一个决策论框架来形式化修辞失配，通过人体实验（USMLE临床决策）实证其存在，并实例化该框架用LLM模拟决策者进行可扩展测量。
• 风险行为界定：论文未设定恶意攻击者，而是研究部署中的LLM作为信息设计者时，其语言使用本身成为风险源；受害系统是使用LLM辅助决策的人类（如医生），伤害定义为从正确答案改为错误答案。

LLM中的认知偏见

• Koo et al. (2024) 建立了评估LLM作为评估者时认知偏见的基准；Itzhak et al. (2025, 2024) 分别研究了预训练动态对偏见的影响及指令微调如何放大偏见。
• Schmidgall et al. (2024) 和 Ke et al. (2024) 探索了减轻医学LLM认知偏见的方法。
• 作者指出，这些工作测量的是模型内部推理的偏见，未测量模型如何通过语言呈现诱导人类用户的偏见。

人机决策协作

• Bansal et al. (2019, 2021a,b)、Wilder et al. (2021)、Peng et al. (2025) 等实证研究表明，人机团队可能无法超越单独的人类或AI系统。
• Guo et al. (2024) 建立了理性贝叶斯智能体在人类与AI建议间选择的理论框架，作为人机团队预期表现的上界。
• 作者指出，这些框架通常从概率推断角度建模AI辅助，未将自然语言呈现本身作为独立变量形式化。

链式思维（CoT）安全评估

• Baker et al. (2025)、Korbak et al. (2025) 等研究了CoT监控作为检测有害意图、奖励投机等失配行为的渠道。
• Turpin et al. (2023)、Chen et al. (2025) 指出模型可能生成看似合理但具误导性的CoT。
• 作者指出，该文献关注模型内部推理的保真度，而本文扩展了安全评估范围，研究语言呈现如何降低下游人类决策质量。

定位：作者称本文从测量模型内在偏见转向引入可扩展框架，研究模型通过呈现方式诱导人类偏见相关的失配问题，并将语言呈现形式化为独立变量。

作者提出修辞失配（rhetorical misalignment）的决策论框架，将AI的语言表示（language representation）形式化为影响人类决策的独立变量，并通过人体实验与计算模拟进行测量。

问题设定与形式化

• 决策场景：考虑AI辅助决策，人类决策者使用AI模型进行决策支持。状态空间 Y = {0, 1}，行动空间 A = {0, 1}，其中 A = 0 是安全默认选项，A = 1 是有风险行动。
• 收益函数：r(a, y) 定义为：当 (a, y) = (1, 1) 时收益为 r⁺；a = 0 时收益为 0；(a, y) = (1, 0) 时收益为 −r⁻。
• 语言表示：ℓ ∈ L 是将AI信息 (x₀, x₁) 映射到话语（utterance）的规则，即 ℓ: X₀ × X₁ → U。

基准与失配定义

• 理性基准（Rational Benchmark）：R_ℓ^∗ = E_P[r(a_ℓ(X₀, X₁; P), Y)]，表示理性贝叶斯决策者在语言表示 ℓ 下的最大期望收益。
• 行为决策者（Behavioral Decision-Maker）：ã_ℓ(x₀, x₁; P) 表示人类在观察到AI消息后的行动，其信念 p̃_ℓ 和行动依赖于语言表示。
• 修辞失配：当 E_P[r(ã_ℓ(X₀, X₁), Y)] < E_P[r(a_ℓ(X₀, X₁; P), Y)] 时发生，即人类在AI语言下的期望收益低于理性使用AI信息的期望收益。价值损失定义为 R_ℓ^∗ − R_ℓ。

人体实验设计

• 数据集：从USMLE（美国医师执照考试）三个步骤整理363道多选题，排除需要图像解读的题目，每题有单一正确答案。
• 参与者：通过Prolific招募162名自报有医学培训或临床经验的标注者，共产生939条标注。参与者先独立作答并报告置信度，然后阅读AI生成的分析，可修改答案和置信度，最后解释修改理由。
• 测量指标：Helpful Rate（从错误改为正确的比例）、Harmful Rate（从正确改为错误的比例）、Net Impact（Helpful minus Harmful）、Change Rate（改答率）。

计算模拟测量

• 模拟决策者：使用DeepSeek-V3.1实现理性决策者（提示遵循贝叶斯决策原则）和行为决策者（提示遵循不同认知偏见）。
• 受控设置：固定底层信息 (x₀, x₁)，比较模型自然输出（Model Representation）与中性重述（Neutral Representation）下的决策差异。使用Gemini-2.5-Pro生成综合分析并分解为原子主张（atomic claims），再中性化以去除修辞变异。
• 自然设置：模型自行生成分析，不预定义主张池，同时决定信息与框架。
• 成功判定：通过比较理性与行为模拟决策者在相同信息不同语言表示下的收益差距（R̂_ℓ^∗ − R̂_ℓ）来实证测量修辞失配。

实验设置

• 被测模型：闭源模型GPT-5.1、Gemini-2.5-Pro、Claude-Haiku-4.5；开源模型DeepSeek-V3.1、Llama-3.3-70B-Instruct、Llama-3.1-8B-Instruct及其Tülu 3 SFT/DPO变体；额外分析包括OLMo-3-7B、OLMo-3.1-32B、Llama-3.1-70B及其变体。
• 数据集：USMLE三个步骤的363道多选题。
• 基线：无AI辅助的初始人类决策；模拟实验中的中性语言表示（Neutral Representation）。
• 指标：Helpful Rate、Harmful Rate、Net Impact、Change Rate、Disagreement Rate、Accuracy。
• 评审方式：人体实验由作者编码参与者书面理由；模拟实验使用LLM标注认知偏见类别。
• 样本量：人体实验162名标注者、939条标注；模拟实验使用DeepSeek-V3.1作为模拟决策者。

主结果

表格较宽，可左右滑动

模型	准确率	改答率	有害率	有助率	净影响
GPT-5.1	86.7%	37.8%	2.4%	25.6%	+23.2%
Gemini-2.5-Pro	93.4%	30.0%	0.0%	20.0%	+20.0%
Claude-Haiku-4.5	84.5%	31.2%	1.2%	20.0%	+18.8%
DeepSeek-V3.1	85.1%	28.4%	3.7%	22.2%	+18.5%
Llama-3.3-70B-Instruct	81.8%	25.3%	2.7%	14.7%	+12.0%
Llama-3.1-8B-Instruct	54.1%	18.0%	2.7%	10.7%	+8.0%
Llama-3.1-Tülu-3-8B-SFT	50.0%	30.9%	6.6%	15.1%	+8.6%
Llama-3.1-Tülu-3-8B-DPO	50.6%	19.0%	3.2%	10.1%	+7.0%

据Table 1。作者指出，LLM辅助决策在所有模型上均产生净正面效应，但除Gemini-2.5-Pro外所有模型均引入非平凡伤害；较小模型有害率更高。

参与者理由分析

• 编码结果：58.9%的编码案例与权威偏见相关，平均信念改变0.234；也观察到锚定偏见和损失厌恶的模式。
• 作者解读：参与者明确因认为AI分析是可靠或专家来源而 defer；这些理由为识别LLM语言影响决策的复发机制提供了证据。

模型准确性的影响

• 条件概率：模型正确时，初始错误的人类答案被改为正确的比率为36.4%，初始正确的被改为错误的比率为5.6%；模型错误时，这两个比率分别为17.4%和10.3%。
• 例外情况：在32个案例中，错误的模型答案后跟随改为正确答案；在19个案例中，正确的模型答案后跟随改为另一个错误答案。

模拟实验：受控设置

表格较宽，可左右滑动

模型	理性准确率	行为准确率	不一致率	差距
GPT-5.1	92.3%	91.9%	1.1%	+0.6%
Gemini-2.5-Pro	93.6%	94.2%	0.8%	-0.3%
Claude-Haiku-4.5	86.2%	85.9%	2.8%	0.0%
DeepSeek-V3.1	89.2%	89.8%	3.3%	+0.8%
Llama-3.3-70B-Instruct	85.1%	84.8%	6.1%	+0.8%
Llama-3.1-8B-Instruct	80.1%	74.0%	14.6%	+6.4%
Llama-3.1-Tülu-3-8B-SFT	76.8%	71.0%	16.0%	+5.2%
Llama-3.1-Tülu-3-8B-DPO	74.9%	72.1%	8.6%	+3.0%

据Table 2。作者指出，在信息受控相同的情况下，较小模型仍呈现理性与行为决策者之间的差距，表明仅语言使用即可导致决策差距；较大模型在受控设置下未呈现显著差距。

模拟实验：自然设置

• 结果：模型自行生成分析时，不一致率普遍高于受控设置（Table 3）。例如Llama-3.3-70B-Instruct不一致率19.3%，Llama-3.1-8B-Instruct为18.0%。
• 作者解读：当模型同时选择并呈现信息时，决策者分歧更频繁。

其他消融与分析

• 模型家族与训练变体：OLMo-3-7B-SFT差距最大（+10.5%），OLMo-3.1-32B-DPO差距+5.5%（Table 4）。
• 认知偏见标签：模拟行为决策者平均每案例3.39个偏见标签，理性决策者0.61个（Table 5）。
• 验证实验：在60个手工构建的决策问题上，行为决策者在偏见诱导框架下比理性决策者获得更多偏见标签（Table 6）。

作者指出的局限与后续方向

• 领域局限：实证评估聚焦于USMLE临床决策任务，虽然提供了高风险场景，但可能无法完全捕捉其他领域的修辞失配（Limitations节）。
• 后果测量：研究未直接测量下游后果，如患者结局、经济成本或机构影响（Limitations节）。
• 覆盖范围：虽然评估了多个闭源和开源模型，但对模型架构、部署设置和提示策略的覆盖必然不完整（Limitations节）。
• 未来方向：作者提出未来工作应改进评估协议以更好理解修辞失配，将分析扩展到更广泛的决策领域，并设计改进修辞对齐的训练算法（Limitations节）。

实验覆盖范围

• 被测模型：人体实验包括GPT-5.1、Gemini-2.5-Pro、Claude-Haiku-4.5、DeepSeek-V3.1、Llama-3.3-70B-Instruct、Llama-3.1-8B-Instruct及其Tülu 3变体共8个；额外分析包括OLMo-3-7B、OLMo-3.1-32B、Llama-3.1-70B及其变体。
• 模拟决策者：使用DeepSeek-V3.1实现理性和行为模拟决策者。
• 数据集：USMLE三个步骤的363道多选题；验证实验使用60个手工构建的决策问题。
• 样本量：人体实验162名标注者、939条标注；论文未报告人体实验的重复次数。
• 信息池构建：使用Gemini-2.5-Pro生成综合分析并分解为原子主张。

作者研究LLM在高风险决策中的修辞失配（rhetorical misalignment）问题：模型即使事实准确，也可能因语言呈现方式不当诱导人类认知偏见，导致次优决策。

• 问题：随着LLM进入临床等高风险人机决策场景，需要理解其输出是否通过修辞呈现放大人类偏见。作者称这是此前未被认识的安全问题：模型可以事实对齐却仍通过呈现方式诱导伤害。
• 方法：建立决策论框架，将语言表示形式化为独立变量，区分信息价值与语言使用的影响。通过162名医护参与者的USMLE人体实验（363题）测量决策改变，并使用DeepSeek-V3.1模拟理性与行为决策者进行可扩展测量。
• 人体实验结果：参与者平均准确率从45.7%升至57.5%，平均改答率27.58%，平均有害改答率（从正确改为错误）2.81%。Llama-3.1-Tülu-3-8B-SFT有害率最高（6.6%），Gemini-2.5-Pro为0.0%。58.9%的参与者自述理由与权威偏见相关。
• 模拟实验结果：在信息受控相同的情况下，较小模型呈现更大的理性-行为决策差距（如Llama-3.1-Tülu-3-8B-SFT不一致率16.0%），表明仅语言使用即可影响决策。自然设置下不一致率普遍更高。
• 结论：作者认为修辞失配是部署LLM于高风险领域时的一个安全问题，需要评估不仅关注信息设计，也关注影响人类决策的语言使用。作者指出评估限于USMLE任务，未测量患者结局等下游后果，未来需扩展领域并设计改进修辞对齐的训练算法。