研究：推理 token 能纠正部分偏见，却制造约 5 倍新偏见

推理语言模型的思考，会消解反事实翻转，还是制造新的翻转？

• 部署场景：作者称推理模型正进入高风险决策，think痕迹被宣传为使审议透明、可审计；沿受保护属性再现历史差距时，夹在输入与决策之间的思考步骤本身是公平风险位点。
• 既有审计只看终点：缓解派报告显式思考降低刻板印象或IAT式内隐偏见，放大派报告思考提高刻板或有害生成。作者认为分歧深于指标选择：这些审计都只评最终预测，没有检查思考过程。
• 本文要分开的两种变化：同一模型的思考臂对照非思考臂。摘要称思考既消解非思考产生的一部分反事实翻转，又新造约5倍的翻转，且新造发生在接近饱和的置信度上；Table 2把九组汇总写成3508对620（约5.7倍）。
• 提出的测量：把思考痕迹当作可测位点，用Counterfactual Depth Probability Gap（CDPG）看差距如何沿深度变化，用Bias Transition Matrix（BTM）看预测如何从非思考转到思考。

群体与反事实审计

• 群体标准：Hardt et al. (2016)给出demographic parity与equalised odds；Gallegos et al. (2024)综述如何把这类标准用到LLM。
• 反事实替换：Garg et al. (2019)与Tamkin et al. (2023)比较同一实例在不同受保护属性取值下的结果。本文以反事实分歧为主信号，并同时报告群体公平，以看两种诊断何处一致、何处分开。

思考对公平的方向

• 缓解：Kabra et al. (2025)报告推理训练模型在标准基准上的刻板印象更低；Apsel and Jones (2026)用IAT式工具测内隐偏见，并主张有降低效应；Cherepanova et al. (2025)把CoT自我精炼当作四种干预之一，用来提高表格数据上的demographic parity。
• 放大：Shaikh et al. (2023)报告零样本CoT相对无CoT提高社会敏感问题上的有害与刻板生成；Wu et al. (2025)在BBQ上对推理模型报告同方向；Karvonen and Marks (2025)对推理模型做反事实招聘审计，报告跨种族与性别10–12%的面试率差距，并称差距藏在CoT中；Moore et al. (2024)在通用LLM（非推理模型）上发现CoT单独不能缓解，还可能强化基率驱动的跨组偏见。
• 注入，作者标为范围外：Cantini et al. (2025)与Turpin et al. (2023)研究越狱提示或注入偏见特征之后的行为。作者称这刻画植入偏见而非涌现偏见，故不纳入本文。

痕迹作为测量对象

• 前缀截断：Lanham et al. (2023)在不同长度截断CoT并重新要答案，检验所述推理是否承载最终答案。Wu et al. (2025)把同一构造用于BBQ，把轨迹内答案变化当作偏见代理并用于再投票。本文的CDPG沿用该截断；BTM补上非思考到思考的配对联合转移。

基线与基准

• 非思考基线：同模型插入闭合的空think块，不是另选外部去偏方法。数据：Adult、COMPAS、Credit三个表格决策任务。

作者认为，两派相反的结论促使去看思考过程本身：只评最终预测，就看不见思考如何在一些配对上消解翻转、在另一些配对上制造翻转。

作者在同一模型内比较思考臂与非思考臂，用列联单元格分开被消解与被新造的反事实翻转，再用CDPG与BTM看不对称来自轨迹深处还是状态转移。

设定与列联单元格

• 反事实对只在受保护属性A上取α与α′。硬翻转率 D_cf=1/N∑_i 1[ŷ_i(α)≠ŷ_i(α′)] 是二值预测不一致的配对比例。软差距Ddisp是两侧P(ŷ=1)之差；Dgroup是两组的demographic parity差。作者称二者捕捉不同伤害，可以冲突。
• 操作化是提示词级替换受保护属性，沿用Garg et al. (2019)与Tamkin et al. (2023)。
• 每个配对按两臂是否翻转落入Table 1：a两臂都同意；b只在非思考翻转，即被消解；c只在思考翻转，即被新造；d两臂都翻转。Figure 1用Qwen3-32B在Adult上的一例说明cell c的形态：非思考两侧同意，思考后分歧。

CDPG：沿深度的概率差

• 每条思考痕迹分成K=10个等token段。对深度k，把查询、前k段，以及收束思考块并打开答案位的后缀，重新送入模型；后缀模板在附录E。
• 只取Yes与No的logits，在这两个token上softmax，不在全词表上归一。配对信号 CDPG_k⁽ⁱ⁾=P_k^α−P_k^α′。k=K时其绝对值等于思考臂的Ddisp，因此k=1到K把最终差距拆到推理深度上。
• 作者称重新送入截断前缀是干预读法：若在深度k打断并强制作答，模型会承诺什么决定。汇总时对单元格、模型–数据集格或全池取绝对值平均。

BTM：两层转移

• 群体矩阵T^A以受保护属性为条件，估计从非思考的Y或N转到思考的Y或N的频率，不看配对另一侧。Y/N即Yes/No。
• 配对矩阵T^pair的状态是NN（两侧皆否）、YY（两侧皆是）、M（混合，即翻转）。cell c是{NN, YY}到M的质量，cell b是M到{NN, YY}的质量。作者称，若两侧T^A几乎相同，双重效应的不对称只能来自T^pair抓住的联合动态。

画像、基线与解码

• 表格行由确定性模板渲染成散文。Adult与Credit的代词随sex翻转；COMPAS两侧都用中性they。反事实只改一个受保护字段后重渲染。作者称除该形容词及依附于它的代词外，两侧子串逐字节相同（附录A）。Adult去掉race列、COMPAS去掉sex列，使每个数据集只留一个受保护属性；Credit无第二受保护列。
• 非思考臂在本地渲染的对话里预填闭合空think块，生成从块后继续。思考臂分别问收入是否超过5万美元、两年内是否再犯、下月是否信用卡违约，并要求只用一个词Yes或No（附录E）。
• 主实验三模型都能原生暴露思考token。解码为贪心，温度T=0；CDPG的强制作答概率直接读答案token的对数概率。只保留两侧、两臂都能解析出Yes/No的配对。

实验设置

• 模型：主实验为QwQ-32B、DeepSeek-R1-Distill-Qwen-32B、Qwen3-32B。附录D另测gemma-2-27B与Llama-3.1-8B，思考由提示词引出，二者无原生think通道。
• 数据：Adult（sex）、COMPAS（race二值化为White / Non-White）、Credit（sex），各抽样N=5000并配反事实。附录D每设置抽样N=1000。有效N因解析不出Yes/No而下降；最严重是R1-Distill在COMPAS的N=1430，作者称非思考臂在多数记录上拒答。
• 基线：同模型空think块。没有外部去偏方法作对照。
• 指标：Dcf、Dgroup、单元格a/b/c/d、格内平均Ddisp、CDPG轨迹、T^A与T^pair。对不一致格(b, c)做McNemar精确双侧检验，原假设b=c。α/α′在Adult与Credit为Male/Female，在COMPAS为White/Non-White。
• 判定：不用LLM评审。硬翻转看Yes/No是否解析成功；软概率只在这两个token上softmax。Yes在Adult是收入超过5万美元，在COMPAS是会再犯，在Credit是会违约。
• 运行：4-bit AWQ，A100 80GB，贪心T=0。论文未报告T>0的重复次数。CDPG主设置K=10。

主结果

下表合并Table 2的b、c、cell c思考臂Ddisp与Table 9的∆Dcf。省略Qwen3-32B·COMPAS（b/c=143/344，∆Dcf=+0.040，N=5000）与R1-Distill·Credit（b/c=10/483，∆Dcf=+0.095，N=4995）。汇总行没有单一的∆Dcf。

Swipe horizontally to read the table

设置	N	b / c	∆Dcf	c的思考臂Ddisp
Qwen3-32B · Adult	5000	75 / 362	+0.058	0.859
Qwen3-32B · Credit	4996	23 / 105	+0.016	0.755
QwQ-32B · Adult	5000	152 / 443	+0.058	0.980
QwQ-32B · COMPAS	5000	15 / 351	+0.067	0.891
QwQ-32B · Credit	4984	121 / 595	+0.095	0.642
R1-Distill · Adult	4999	77 / 646	+0.113	0.918
R1-Distill · COMPAS	1430	4 / 179	+0.122	0.933
九组汇总	41404	620 / 3508	未报告	0.835

• 两种差距方向不同：作者称∆Dcf在9/9格为正，Table 9的范围是+0.016到+0.122。∆Dgroup四格为正、四格为负、Qwen3-Credit为0.000。正文写QwQ-Adult为−0.018、QwQ-COMPAS为+0.035、绝对值上界0.035；Table 9对应为−0.017、+0.034、最大绝对值0.034，以下以表为准。作者认为只读单组群体差距，会随数据集改写“思考有帮助”或“有伤害”。
• 新造多于消解：九格都有|c|>|b|。McNemar精确检验在每格拒绝b=c（表中最大p为1.0×10^{-13}，汇总p<10^{-485}）。作者称贪心解码下翻转由痕迹决定，不能归因于采样方差。
• 新造时置信度更高：汇总后cell c的平均Ddisp从非思考0.024到思考0.835，作者称约34倍；cell b从0.143到0.022，作者称6.5倍下降，并称逐对消解约为新造增强的约1/5强度。Table 2里cell c思考臂Ddisp的九格范围是0.642到0.980。

思考深度上的传播

• 测了什么：Figure 3按单元格画归一化深度k/K上的平均|CDPG_k|，图例覆盖九个模型–数据集组合。正文没有给出各深度的逐点读数。
• 作者的解读：作者称cell c与d的差距随深度升向饱和，cell a与b维持在接近零。作者认为这是同一机制的两面：思考把每一侧更有信心地推向它已经在漂移的边界；单元格只记录两侧落在同一边界还是相反边界。附录C称该传播对K∈{5, 10, 20}保持斜率符号与量级，但检查对象是Qwen3-32B的重跑子样本和线性斜率。
• 锚点与移动侧：Figure 4图例写九组汇总的cell b共n=620、cell c共n=3508。cell c里从No出发的锚点与移动侧各n=3292，从Yes出发各n=216；cell b里原来为Yes的各n=553，原来为No的各n=67。作者称cell b中移动侧走向锚点、差距塌缩，cell c中移动侧走向相反边界、差距饱和；创造还是消解，取决于积累的证据本身是否带偏见。

配对状态与群体审计

• 群体转移几乎对齐：Table 3中Qwen3-32B两侧转移差的绝对值≤0.014。附录G写QwQ-32B该差≤0.017，R1-Distill≤0.012。作者称不对称不能来自群体层转移，只读T^A的审计对此看不见。Table 3里Qwen3-Credit的∆P(Y)为负（约−0.026与−0.025），同表Adult、COMPAS为正。
• 独立翻转仍预测|c|>|b|：作者用每侧独立翻转的期望，代入经验转移概率与非思考状态人数，称九格都预测|c|>|b|（Table 12）。实际两侧共享大部分文本、倾向同翻，故该表中独立性把|c|估到实际的约2–7倍、把|b|估到实际的约0.10–0.52倍，方向不变。
• cell c的倾斜决定群体信号：Table 5把cell c拆成α侧为Yes和α′侧为Yes。|δc|最大的四格是QwQ-COMPAS −3.74%、R1-COMPAS −3.71%、QwQ-Credit −2.63%、R1-Credit +1.38%；作者称这四格也是Table 9里∆Dgroup>0的四格。其余五格|δc|≤0.56%。作者称这些格不是没有偏见，而是大的|c|在两侧对称拆开，群体审计读成∆Dgroup接近0。汇总δc为−0.56%（1638对1870）。

其他消融与分析

• 绝对Dcf（Table 9）：思考臂从0.021（Qwen3-Credit）到0.133（R1-Adult）；非思考臂从0.002（R1-Credit）到0.032（QwQ-Adult）。
• 非Qwen复现（Table 7）：每设置抽样N=1000；六组汇总c:b=7.5×（614对82），汇总p=1.3×10^{-101}。有比值的设置为4.9×到7.8×。gemma-COMPAS有296/1000对未解析，c=2、b=0，p=0.5；作者称不一致对过少，该行仍计入汇总。
• K敏感性（Table 6，Qwen3-32B重跑子样本）：cell c线性斜率在K=5/10/20，Adult为0.78/0.65/0.59（nc=54），COMPAS为0.77/0.62/0.54（nc=56），Credit为0.61/0.42/0.32（nc=16）。
• 汇总的Yes推移（附录G）：较松的单侧可解析过滤下有84,428条实例；N到Y的计数比Y到N多20,216/705，作者称28.7倍。作者对这一汇总矩阵称思考把预测推向Y，且在N基线上推得更猛。

作者指出的局限与后续方向

• 任务范围：只评估三个表格二分类任务，受保护属性为二值的sex与race（§6 Scope）。
• 模型谱系：主实验是三款32B的Qwen谱系模型；非Qwen复现规模更小，且用提示词引出痕迹，不是原生思考（§6 Scope）。
• 群体公平未展开：demographic parity之外的equalised-odds与calibration被写成计划中的后续，不在本文范围（§6 Scope）。
• 任务形态：自由生成、多类属性与多语言设置不在本文范围（§6 Scope）。
• 不做缓解：作者称本文是诊断而非缓解；针对传播与转移矩阵目标评估具体缓解方法，是自然后续，留待未来（§6 Disposition）。
• 测量假设：K=10等token分段是分辨率与算力的折中，作者称对应900,000次前向；K∈{5, 10, 20}的检查只覆盖一个模型家族和线性斜率，不是完整轨迹形状。空think块之后仍可能吐出推理token，汇总只保留遵守该指令的完成。全部推理使用4-bit AWQ（§6 Methodological assumptions）。

实验覆盖范围

• 主实验是QwQ-32B、DeepSeek-R1-Distill-Qwen-32B、Qwen3-32B与Adult、COMPAS、Credit，每集抽样5000条并做受保护属性替换；Table 2的有效N从1430到5000。
• 对照是同模型空think块；解码为贪心T=0、4-bit AWQ。硬标签来自Yes/No解析，软差距来自这两个token的softmax（§4.1）。
• CDPG主结果用K=10。Figure 3与Figure 4按单元格或九组汇总报告轨迹；正文没有逐深度数值表。
• 附录D在gemma-2-27B与Llama-3.1-8B上以提示词引出痕迹，每设置抽样1000条（Table 7）。
• 论文未报告T>0下的重复次数，也未报告对痕迹中偏见表述的人工一致性。

这篇审计问的是：推理模型在高风险表格决策里露出的思考，会不会改变反事实公平。

• 对照：在Qwen3-32B、QwQ-32B、DeepSeek-R1-Distill-Qwen-32B上，比较原生思考与预填空think块。任务是Adult、COMPAS、Credit，各抽样5000条，反事实对只改sex或二值化后的race。
• 测法：列联单元格把“思考消掉的翻转”和“思考新造的翻转”分开。CDPG在K=10的等token深度上读Yes/No概率差；BTM同时看单侧群体转移和配对状态转移。判定靠解析与两token softmax，解码为贪心T=0。
• 双重效应：Table 2的九组都是新造多于消解，汇总3508对620；McNemar在每格拒绝二者相等。Table 9里反事实翻转率的变化九格都为正，从+0.016到+0.122；群体差距则四格升、四格降、一格为0。
• 置信度与结构：汇总后，新造格的平均概率差从0.024到0.835，消解格从0.143到0.022。作者称思考把每一侧推向它已经在漂移的边界，所以公平结果和有偏结果会被一起sharpen。Qwen3-32B两侧群体转移差不超过0.014，作者据此把不对称放到配对状态，而不是两侧转移率不同。
• 作者的收束：反事实偏见在思考下出现在联合配对转移里，审计应看这里，而不是只看单组比率或最终标签。伦理声明称，不应把审议的外观当作公平保证。作者把缓解评估留在本文之外。附录D用提示词引出痕迹，在gemma-2-27B与Llama-3.1-8B上仍看到新造多于消解，六组汇总为7.5倍。