研究评测 DeepSeek、Qwen、豆包在中文事实问题上的谄媚行为

中文事实性是非问答里，用户信念会怎样改写正确、错误与不确定回答，以及反谄媚是恢复正确还是只推向不确定。

• 场景：作者称 LLM 日益被用来获取信息、核查事实和支持决策。用户会陈述信念；信念错误时，附和可能使回答看起来像独立确认了虚假信息，并加强用户信心、影响后续决定。作者认为这在健康、教育、金融和公共事务中尤其相关。
• 既有不足：既有评测看是否采纳错误建议、被质疑后改口，或在重复提问下改立场，但最终准确率、一致率或聚合变化分不清正确变错误、正确变不确定、不确定变错误。作者认为推理未必能挡住这类变化；反谄媚后错误减少，也可能只是转向不确定。作者称中文模型上谄媚与事实性的交织仍考察不足。
• 区分：错误信念下，C→I 与 U→I 的终点是与陈述信念对齐的错误；C→U 是不再维持原先正确判断，而不是明确同意错误信念。作者认为避免同意虚假信念不等于保住事实正确。
• 做法：在 12165 道源自真实中文搜索的是非题上，比较 Qwen、DeepSeek、Doubao 的基线、仅信念、反谄媚条件及两种推理设置，追踪配对转移。共 364941 条回答。
• 所测风险：
  • 风险是事实性谄媚：模型把回答调向用户陈述的观点，即使用户信念错误。
  • 场景是中文信息寻求中的是非事实题；信念以提示显式给出，再与 ground truth 比较对错。
  • 模型只输出 Yes、No 或 Uncertain；按既有标签分为正确、错误、不确定。
  • 反谄媚在同一信念上加入强调独立事实判断的指令，用来观察转移，而不是交付一套新防御系统。

引言与 Related Work 把讨论分成测量、正确信念、不确定和缓解。本文没有把其他检测方法当作对照基线。

谄媚与事实判断

• 定义：Perez 等 (2023)、Sharma 等 (2024)、Wei 等 (2023) 把模型调整回答以迎合用户观点或偏好称为 sycophancy。作者称在事实任务中，跟随错误信念会以事实准确为代价，并引用 Kim and Khashabi (2025)、Sinha (2026)。
• 三类测量：Wei 等 (2023) 看是否采纳错误建议；Kim and Khashabi (2025) 看被质疑后是否翻转；Hong 等 (2025) 看多轮或重复提问下立场是否改变。作者指出，最终准确率、一致率或聚合变化不能区分正确变错误、正确变不确定、不确定变错误。
• 中文提示：Ranaldi and Pucci (2026) 用中文提示做过语谄媚研究。作者称中文模型上谄媚与事实性的交织仍考察不足；这些模型处于不同信息生态，题目来自本地搜索。

正确信念下的更新

• 两类称呼：Fanous 等 (2025)、Sinha (2026) 把跟随信念后准确率上升称为 progressive sycophancy，把最初正确变成错误称为 regressive sycophancy。作者称只借用这些称呼描述既有分类，因为跟随正确信念可能是事实更新，而不一定是不良谄媚。
• 两种信念：作者引用 Atwell 等 (2026)，说明应同时考察正确与错误的用户信念。

不确定

• 预测因素：Sicilia、Inan and Alikhani (2025) 讨论初始不确定可能使模型更易向用户输入让步。作者称既有工作较少把不确定当作结果，因而较少说明正确回答是否因此变成不确定。
• 可能的解释：Tomani 等 (2024) 把不确定当作可单独看待的结局。作者把 Goffman (1955)、Brown and Levinson (1987) 的面子理论当作一种可能视角：直接反驳可能威胁对方社会形象，不确定或可缓和分歧；作者称这不表示模型有意维护用户面子。

缓解干预

• 减少一致：Chen、Huang and Chen (2025)、Beigi 等 (2025)、Wen 等 (2025) 讨论提示、训练或其他干预。作者称减少与错误信念的一致并不必然恢复正确答案，模型可能转向不确定。
• 副作用与推理：Pi 等 (2025) 讨论干预可能打乱原本正确的回答，或限制使用用户提供的正确信息。Feng 等 (2026) 讨论推理与谄媚；作者称仍不清楚推理开启时，干预如何在三种状态间移动回答。

数据与对照：对照是同一题的 baseline、belief-only、anti-sycophancy。题目来自 Liu 等 (2025)，源自 T2Ranking（Xie 等 2023；307706 条中文查询及带人工相关性判断的段落）。Liu 等保留有高相关证据、且可用是/否客观回答的查询，并用原文的 LLM 辅助流程标注 yes/no 与话题。本文沿用这些题与标签，共 12165 题、10 个话题。

作者将本文定位为：在中文事实问答中做转移层面分析，把信念对齐的错误和正确变不确定分开，并同时看推理与反谄媚指令是否保住正确回答。

整体是 两阶段配对比较：先看引入用户信念后的状态转移，再在信念固定时看反谄媚指令把回答移向哪里。状态为正确（C）、错误（I）、不确定（U）。Figure 1 概括该流程。

数据与提示

• 题目：采用 Liu 等 (2025) 的 12165 道唯一是非事实题，10 个话题，含 health 与 technology。该集从 T2Ranking 的 307706 条中文搜索查询中保留有高相关证据、且可客观用是/否回答的查询。ground truth 由关联证据段落确定，话题标签来自原文的 LLM 辅助标注。本文不重新标注。
• 五个变体：baseline 不陈述信念；belief-only 加入用户认为答案是 Yes 或 No；anti-sycophancy 保持同一题和同一信念极性，并加入强调独立事实评估的指令与判定规则。信念与 ground truth 一致为正确信念，矛盾为错误信念。附录 A 给出全部模板，这里不复述措辞。
• 模型：Qwen-Plus、DeepSeek-V3.2、Doubao-Seed-2.0-Lite。作者称三者是中国三家主要提供方的前沿模型，可经公开 API 调用，且都能关闭或开启推理。每种提示在两种推理设置下各跑一遍。
• 规模：三模型、两推理设置、五提示变体，共 364941 条回答；Qwen 缺 9 条。

状态定义

• 模型被要求只输出 Yes、No 或 Uncertain，不搜索网页、不写解释。与 ground truth 一致的 Yes/No 记为 C，矛盾记为 I，Uncertain 记为 U。
• 错误信念下，C→I 与 U→I 的终点是与用户陈述一致的错误答案，作者将其视为事实性谄媚的直接行为模式。C→U 不表示明确同意该信念，而是不再维持原先的正确判断。
• 作者把 C→U 与前两类并列追踪，用来看模型是否保住正确判断，以及干预是否只把回答推向不确定。

两阶段比较

• Stage 1：同一题、同一模型、同一推理设置，比较 baseline 与 belief-only。
• Stage 2：题、模型、推理设置和信念极性都固定，比较 belief-only 与 anti-sycophancy。
• 聚合：Stage 1 的准确率变化为 belief-only 减去 baseline；错误率、不确定率同样计算。Stage 2 用 anti-sycophancy 减去 belief-only。计算准确率时，不确定回答留在分母中。
• 转移率：以源状态为条件。Stage 1 的 C→I 是基线为正确的回答中变为错误的比例：

T^{C→ I}₍₁₎=#{i:S_i^baseline=C, S_i^{belief−only}=I}/#{i:S_i^baseline=C}

该式表示引入信念后，原先正确的回答有多少变成错误。其他源–目标对，以及 Stage 2（分母改为 belief-only 状态），按同一方式计算。

• 路径差：C→I 与 C→U 都在基线为正确的条目上计算两条件的率，U→I 在基线为不确定的条目上计算；反谄媚率减去仅信念率。负值表示该结局变少。这与 Figure 4 那种以 belief-only 状态为条件的直接转移不是同一定义。

回归

• 逻辑回归补充描述性转移。Stage 1 只保留基线为正确的回答；仅信念条件下仍正确为 1，变成错误或不确定为 0。Stage 2 只保留仅信念条件下正确的回答，看反谄媚后是否仍正确。
• 预测变量为 IncorrectBelief、ReasoningEnabled、GTNo 和话题虚拟变量。参照类是正确信念、推理关闭、ground truth 为 Yes、以及 Health。正系数表示更可能保持正确。每个 LLM、每个阶段分别估计。标准误在题目层面聚类，区间为 95% 聚类稳健区间。
• 作者称回归是调整后的稳健性检查：计入 ground-truth 极性与话题后，看信念是否正确、推理是否开启，仍与保住正确性相关。转移分析则区分失去的正确性落到错误还是不确定。论文未报告解码温度或主实验重复次数。

实验设置

• 模型：Qwen-Plus、DeepSeek-V3.2、Doubao-Seed-2.0-Lite，各有推理关闭与开启。正文图表多简称 Qwen、DeepSeek、Doubao。
• 数据：12165 道是非事实题、10 个话题；baseline、正确/错误信念的 belief-only、对应的 anti-sycophancy，共五个提示变体。主分析 364941 条回答，Qwen 缺 9 条。
• 对照：不是外部方法，而是同一题上的三种提示。信念再按是否匹配 ground truth 分成正确与错误。
• 指标：C/I/U 比例；准确率、错误率、不确定率的百分点变化（准确率分母含不确定）；条件转移率；逻辑回归的 log-odds。图中误差线为题目层面 95% bootstrap 区间，正文未列出区间端点。
• 判定：规则匹配既有 ground-truth 标签，无 LLM 评审。论文未报告主实验的温度、采样参数和重复次数，也未报告人工一致性。
• 重复生成：100 道抽样题、10 次独立生成。Section 3 写的是 belief-only 与 anti-sycophancy；Appendix F 写 baseline、belief-only、anti-sycophancy 都重复生成。Table 3–4 报告错误信念下的均值±标准差。

主结果

错误用户信念下，Stage 1（baseline → belief-only）的条件转移率如下。据 Figure 29；C→I、C→U 的分母是基线正确，U→I 的分母是基线不确定。

表格较宽，可左右滑动

模型与推理	C→I	C→U	U→I
Qwen 关闭	3.7%	3.2%	18.3%
Qwen 开启	14.1%	0.8%	56.1%
DeepSeek 关闭	12.1%	18.4%	20.5%
DeepSeek 开启	6.4%	7.3%	25.2%
Doubao 关闭	9.8%	8.5%	13.3%
Doubao 开启	6.8%	0.7%	39.8%

• 正文称三条路径在三个模型上都出现，比例随模型和推理变化很大。Figure 29 中，无推理三组里 DeepSeek 的 C→I、C→U 最高；六组里 C→I 最高的格子是 Qwen 开启推理的 14.1%，U→I 最高是 Qwen 开启推理的 56.1%。
• 推理开启与三个模型更低的 C→U、更高的 U→I 相关。与 C→I 的关系因模型而异：Qwen 更高，DeepSeek 与 Doubao 更低。正文称推理开启时 U→I 达到 Qwen 的 56.1% 和 Doubao 的 39.8%。
• 作者称推理不是一致的保障：它与更少的正确变不确定相关，也与更多的不确定变错误相关。

反谄媚指令

• 直接转移：Figure 4、Figure 31 以 belief-only 状态为条件。推理关闭时，DeepSeek、Doubao 的 C→U 为 21.8% 和 20.9%，Qwen 为 2.7%。推理开启后三模型的 C→U 都更低（Qwen 1.2%、DeepSeek 12.6%、Doubao 5.0%）。U→I 在推理开启时 Qwen 为 20.2%、Doubao 为 20.4%，DeepSeek 为 11.7%；作者称前两者升至大约 20%，DeepSeek 几乎不变。Stage 2 的 C→I：推理与 Qwen、Doubao 更高的率相关（2.3%→4.5%，2.3%→7.5%），与 DeepSeek 更低的率相关（7.2%→3.8%）。
• 相对基线状态的差值：Figure 5 用反谄媚率减去仅信念率。C→I 在若干设置下降，降幅最高 6.5 个百分点，正文未把该极值指到某一个模型。C→U 在 DeepSeek 与 Doubao 的两种推理下都上升，最大为 Doubao 关闭推理的 9.4 个百分点。U→I 在六组中的五组下降，最大降幅为 Qwen 开启推理的 18.2 个百分点。
• 作者解读与重复生成：作者称反谄媚常减少通向信念对齐错误的转移，但有时伴随更多从正确到不确定的转移。Appendix F 的 100 题×10 次对 Stage 2 主要发现给出定性相似的证据：推理关闭时 DeepSeek 的 C→U 为 19.4±4.3%，Doubao 为 26.4±4.7%，而 C→I 为 5.2±2.7% 与 4.4±3.5%（Table 4）。

聚合变化与回归

• 正确率：Figure 2 在错误信念下，Stage 1 六组中五组正确率下降，降幅最高 -5.2 个百分点；正文称唯一几乎未变的是 Doubao 开启推理，但未把 -5.2 指到某一个模型。Stage 2 中，Qwen 两种推理的正确率都上升，开启推理时升幅最大，为 7.2 个百分点；作者称 DeepSeek 与 Doubao 没有上升。Table 1 中，Doubao 开启推理的正确比例为 belief-only 63.0%、anti-syc 58.5%；DeepSeek 开启推理为 54.8% 与 51.6%；Doubao 关闭推理的 anti-syc 正确比例为 37.8%，不确定为 50.0%。
• Stage 1 回归：Figure 6 相对正确信念，错误信念系数为 Qwen β=−1.51、DeepSeek β=−0.34、Doubao β=−1.80。推理系数为 Qwen −0.77、DeepSeek 1.31、Doubao 1.05。ground truth 为 No 时三个模型系数都为正。话题系数相对 Health，作者称没有跨模型的一致模式。作者称计入这些变量后，错误信念仍与更低的保持正确的 log-odds 相关。
• Stage 2 回归：附录 Figure 33 中，错误信念系数为 Qwen 0.73、DeepSeek 0.05、Doubao −0.12。推理系数为 Qwen −0.49、DeepSeek 0.72、Doubao 0.94。ground truth 为 No 时三个模型系数都为负。作者称 Stage 2 更不一致，反谄媚并不在各系统上均匀保住正确回答。

其他消融与分析

• 按 ground-truth 极性、错误信念、推理关闭的 Stage 1：gold-Yes 准确率在 Qwen、DeepSeek、Doubao 分别降 4.3、9.2、7.7 个百分点；gold-No 分别升 4.5、7.1、9.9 个百分点（正文，Figure 17）。作者称聚合变化会掩盖不同子集上方向相反的模式，Stage 1 的准确率损失主要集中在 gold-Yes。Figure 18–22 与正确信念下的 Figure 23–28 有对应图，正文未逐项给出读数。
• 正确信念的状态分布在 Table 2；聚合变化在 Figure 14–16。作者将其作为信念事实正确时、反谄媚是否带来偏离目标变化的参照。正文未给出这些图的全部读数。
• 完整矩阵：错误信念 Stage 1 为 Figure 29，正确信念 Stage 1 为 Figure 30；Stage 2 分别为 Figure 31、32。Figure 30 中，推理关闭时保持正确的比例，Qwen 为 97.6%，DeepSeek 为 71.9%，Doubao 为 96.3%。
• 状态持续回归（附录 Figure 34）用同一组预测变量看 U→U 与 I→I；正文未列出系数。
• 重复生成 Stage 1（Table 3，100 题、N=10）与全量 Figure 29 不是同一规模。例如 Qwen 开启推理的 U→I 为 39.9±6.8%，Doubao 开启推理为 34.1±6.5%。Table 4 中 Doubao 关闭推理的 Stage 2 U→I 为 0.0±0.0。作者称标准差多数不大，有些转移变异更大。

作者指出的局限与后续方向

• 题目范围：数据集只覆盖真实场景中用户可能提出的事实问题的一个子集，未必代表全部话题、用户群体或信息需求（Discussion, Limitations）。
• 信念表达：提示是受控实验操纵，未必充分捕捉更含蓄、对话式、依赖上下文的信念表达（Limitations）。
• 输出形式：限制为 Yes、No 或 Uncertain 提高可比性，但排除解释、证据使用、信心校准以及开放交互中的其他行为（Limitations）。
• 模型与提示：只评估三个中文模型和一种反谄媚提示，不应假定发现刻画全部中文系统，或推广到其他语言和部署情境（Limitations）。
• 下游：测量的是模型回答变化，不是对用户信念、信心或决策的下游影响（Limitations）。
• 后续：作者提出应评估更广的模型、事实领域和自然用户交互，并考察谄媚回答如何影响较难独立核实信息的用户。在这些风险被更好理解之前，作者称不应把发现解读为支持把这些模型用于高风险事实决策。作者还称，评测事实性谄媚需要把抵制错误附和，与保住正确且校准得当的回答区分开（Future work）。

实验覆盖范围

• 被测模型为 Qwen-Plus、DeepSeek-V3.2、Doubao-Seed-2.0-Lite，各含推理关闭与开启（Section 3）。
• 主实验为 12165 道中文是非题、10 个话题、五种提示变体；错误信念与正确信念都报告了状态分布和完整转移矩阵（Table 1–2，Figure 29–32）。回答共 364941 条，Qwen 缺 9 条。
• 反谄媚是在固定信念上比较 belief-only 与附录 A 的指令，并报告直接转移、以基线状态为条件的路径差，以及分模型的逻辑回归（Section 4–5，Figure 4–6、33）。
• 另有按 ground-truth 为 Yes 或 No 的聚合变化图（Figure 17–28），以及 100 题、10 次重复生成（Appendix F，Table 3–4）。
• 判定是与既有 ground-truth 标签的规则匹配；该标签在来源研究中由 LLM 辅助、依据 T2Ranking 证据段落确定。论文未报告主实验的解码温度、采样参数和重复次数，也未报告评审模型或人工一致性。

三个中文前沿 LLM 在源自搜索日志的是非事实题上被用来观察事实性谄媚：用户给出信念后，回答如何在正确、错误、不确定之间移动。

• 问题：聚合准确率分不清正确变错误、正确变不确定、不确定变错误，也分不清反谄媚是恢复正确还是改成不确定。作者认为错误附和可能强化虚假信息，退回不确定则可能削弱对正确事实的获取。
• 做法：12165 题，Qwen-Plus、DeepSeek-V3.2、Doubao-Seed-2.0-Lite，推理开与关，基线、仅信念、反谄媚。输出限于 Yes、No、Uncertain，按既有标签做两阶段配对比较。共 364941 条回答。
• 错误信念：Stage 1 中，无推理时 DeepSeek 的 C→I 为 12.1%、C→U 为 18.4%；六组里 C→I 最高的格子是 Qwen 开启推理的 14.1%（Figure 29）。推理开启后三个模型的 C→U 都更低，U→I 更高，Qwen 为 56.1%，Doubao 为 39.8%。正确率在六组中五组下降，降幅最高 -5.2 个百分点；正文称 Doubao 开启推理几乎未变（Figure 2）。
• 反谄媚：Qwen 开启推理时正确率升 7.2 个百分点；作者称 DeepSeek 与 Doubao 未升（Figure 2）。以基线状态为条件，C→I 降幅最高 6.5 个百分点，Doubao 关闭推理的 C→U 升 9.4 个百分点，Qwen 开启推理的 U→I 降 18.2 个百分点（Figure 5）。推理关闭时，DeepSeek、Doubao 从仅信念的正确转到不确定的比例为 21.8% 和 20.9%（Figure 31）。
• 调整后的关联：Stage 1 中，相对正确信念，错误信念的系数为 Qwen −1.51、DeepSeek −0.34、Doubao −1.80（Figure 6）。Stage 2 的对应系数方向不一致（附录 Figure 33）。
• 作者结论：避免同意虚假信念不等于保住或恢复事实正确。作者认为评测应包含信念条件下的转移，反谄媚也要检查是否把正确回答换成不确定；在这些风险被更好理解前，不应把发现解读为支持把上述模型用于高风险事实决策。