人类对齐的模型是人类行为的模型吗？偏好对齐中的图灵测试差距

“与人类对齐”把人类偏好和人类行为混在一起：人偏好的助手回答，不必是人自己会给出的回答。

• 场景：人类反馈训练让模型成为有用助手，也已被当作人的代理，用来模拟调查受访者、代表人群、复现行为实验和预测认知（引言）。这些用途要求模型复现人如何作答。
• 作者指出的缺口：人可能偏好始终有帮助、耐心、详尽的助手，而自己对同一问题的回答可以简短、随意或不完整。已有研究称这些模型并不总像它们要代表的人；公式化的 “AI-speak” 常被归因于在模型生成文本上训练。作者认为原因不止数据。
• 核心区分：人类偏好是回答之间的判断，人类行为是人给出的回答分布；模型对后者的拟合称为 human-likeness。人希望模型产出的回答与人自己会给出的回答之间的差异，被定义为 Turing-test gap。图灵测试问的是模型回答能否与人的回答区分，而不是人是否更喜欢它们。
• 主张：即便偏好和回答都完全来自人类，对齐人类偏好仍可以使模型行为更不像人。偏好目标在设计上对准的不是人类行为，而是把参考策略朝人偏好的回答倾斜。
• 本文做的事：给出偏好对齐保持人类回答分布的条件，并称在 HH-RLHF、WebGPT、SHP 上没有发现人类偏好稳定满足该条件的一致证据；在人类撰写回答上用偏好加权和 DPO 观察拟合损失；把 human-likeness 当作独立对齐维度，并比较三种提高它的做法。作者同时强调，更像人并不普遍可取，因为更忠实地复现人类行为也可能带来冒充、操纵和社交工程方面的顾虑。

作者把已有工作分成三条线，并声称本文把偏好目标与训练数据分开。

偏好对齐

• 偏好奖励学习（Sadigh et al., 2017; Christiano et al., 2017）——从候选行为的比较中推断奖励，作为难以手工写出的奖励函数的替代。
• RLHF 管线（Ziegler et al., 2019; Stiennon et al., 2020; Ouyang et al., 2022; Bai et al., 2022a）——监督微调、由回答比较做奖励建模、再相对学到的奖励做策略优化。助手目标常被写成遵循指令以及 helpful、honest、harmless（Askell et al., 2021; Bai et al., 2022a; Glaese et al., 2022）。
• 直接偏好目标（Rafailov et al., 2023）——去掉显式奖励建模和强化学习阶段，仍用成对偏好作监督。作者称偏好优化把对齐问题收成：人不需要直接指定期望行为，只需指出更偏好哪种行为。

人类相似性与行为建模

• 图灵测试及其延伸（Turing, 1950）——机器行为能否与人无法区分；后续工作用人类审问、计算检测和更长程交互来测可区分性（Jannai et al., 2023; Jones & Bergen, 2025; Uchendu et al., 2021; Mei et al., 2024; Pagan et al., 2025; Wu et al., 2025），也有工作直接度量或优化类人对话特质（Cheng et al., 2025; Hasan et al., 2026）。
• 对话与人群代理：开放域对话系统从人类对话学习（Zhang et al., 2020; Adiwardana et al., 2020; Roller et al., 2021）；语言模型被用来代表意见、模拟人类样本、复现行为实验和预测认知（Santurkar et al., 2023; Argyle et al., 2023; Filippas et al., 2024; Aher et al., 2023; Ashokkumar et al., 2026; Binz et al., 2025; Dillion et al., 2023; Crockett & Messeri, 2024）。作者称这些用途把标准从“人是否偏好模型行为”转到“模型是否复现人自己产生的行为”。

与人类写作的差异

• 检测与风格：输出与人类写作的差异支撑 AI 文本检测（Uchendu et al., 2021; Verma et al., 2024）；语料分析指出 LLM 辅助写作中反复出现的风格特征（Kobak et al., 2025）。
• 后训练后的偏离：指令微调模型相对人类写作的语法和修辞差异大于基座模型，后训练模型对人类选择的预测变弱，并在策略互动中更规范（Reinhart et al., 2025; Binz et al., 2026; Shapira et al., 2026）。对话预测中，人类回答似然训练改善留出预测，而 LLM-judge 优化容易奖励黑客（Gandhi et al., 2026）；更像人的回答并不总是人更偏好的（Cheng et al., 2025; Wang et al., 2026）。
• 作者的分离：这类比较里目标和训练数据通常一起变，模型生成文本是一种自然解释（Shumailov et al., 2024）。作者称本文只用人类撰写的回答和人类偏好，推导偏好对齐何时保持人类行为，并称相对同样回答的等权，优化人类偏好会降低对人类行为的覆盖。

基线与数据：经验比较用等权最大似然（λ=0）对照偏好加权，用未改 Instruct 检查点与 Human-SFT 作为 DPO 的两个起点；数据为 SHP（ELI5 子集）、StackExchange，密度比检验另用 HH-RLHF、WebGPT，估计器训练另用 LFQA 与 Dolly。

作者把本文定位为：采用人类相似性的分布观点，研究基于偏好的对齐是否保持这些用途所需的人类回答分布，而不是把差异一并归因于模型生成文本。

作者把人类偏好与人类行为写成两个统计目标，定义 Turing-test gap，再在全是人类撰写的回答上比较等权、偏好加权和 DPO。

两个信号与保持条件

• 两个角色：上下文为 x，回答为 y。回答定义人给出的分布 pH(y|x)；成对判断定义标量奖励 rP(x, y)。设定里回答和判断都来自人类，以避免模型生成回答带来的混杂。
• 偏好目标：KL 正则目标的最优策略是参考策略按奖励倾斜，π_P^∗(y|x)=π₀(y|x)exp(r_P(x,y)/β)/Z(x)。若 π0=pH，目标变成偏好加权后的人类回答分布 pP。
• 间隙：GT = Ex DKL(pH(·|x) ∥ pP(·|x))。作者称间隙为零当且仅当 rP(x, ·) 在人类支撑上为常数；任何其他偏好奖励都使两个目标指向不同分布。若参考尚未等于人类行为，且二者支撑相同，则 πP∗=pH 当且仅当奖励恰好等于 β 乘 log(pH/π0) 再加只依赖提示的常数。若 pH 有 π0 支撑之外的质量，有限奖励无法恢复。人类偏好并不是为了编码这个对数密度比而构造的。
• 成对检验：行为密度比分数 bH(x, y)=log pH(y|x)−log π0(y|x)。在满足该条件的 Bradley–Terry 模型下，偏好概率由两侧 bH 之差决定，因此被偏好的回答应倾向于有更大的密度比分数。

密度比是否被人类偏好编码

• 估计器：因 pH 未知，用在人类撰写回答上微调来近似。三个来源为 LFQA、Dolly、SHP（ELI5 子集），均从 Qwen2.5-7B-Instruct 微调；分数为 log πj(y|x)−log πinst(y|x)，参考取该 Instruct 模型。
• 先验证再测偏好：在留出的人类回答与 Instruct 回答成对上，检查分数能否把人类回答排在前面；再把同一分数用于 HH-RLHF、WebGPT 和 SHP 的偏好比较。HH-RLHF 与 WebGPT 比较的是模型生成回答，SHP 的回答和偏好都来自人类。长度控制把回答配到 10 词长度箱内。

偏好加权实验

• 预测：理想情形 π0=pH 时，带符号强度 λ 把 pH 倾斜为 pλ。λ=0 是原人类分布，正 λ 偏向人更偏好的回答，负 λ 反转该顺序。前向 KL Fx(λ) 在 λ=0 处为零且一阶导为零；只要 rP 在 pH 下非常数，Fx 严格凸，等权是唯一最小值。任何非零重加权，无论朝向还是背离人类偏好，都增大与人类回答分布的距离。λ=1/β 时 pλ=pP，对 x 求期望即 GT。
• 训练：每个提示有 Kx 条回答。等权给每条质量 1/Kx；偏好加权用提示内标准化偏好分数 si，qλ(yi|x) 正比于 exp(λ si)。λ 取 −1、−0.5、0、+0.5、+1，用加权最大似然训练。同一模型–数据集内，各 λ 用完全相同的训练流程；λ=0 作为接触人类回答和额外优化的匹配对照。与 λ=0 比隔离加权效应，与未改起点比是各训练条件的净效应。
• 设置与随机对照：模型为 Qwen2.5-7B-Instruct 与 Llama-3-8B-Instruct，数据为 SHP（ELI5）和 StackExchange。按提示划分后再导出偏好名次，低分回答仍留在行为目标里。不在单一设置上做多种子，而是在四个模型–数据集设置上重复每个比较。另在每个设置训练 10 个对照：把 λ=+1 的权重在提示内随机重分配，训练流程不变。
• 指标：偏好拟合是留出对里被偏好与被拒绝回答的对数似然差（preference margin）。人类覆盖是留出人类回答的按提示均等 NLL。对固定人类评测分布，该 NLL 之差估计从 pH 到模型的前向 KL 之差。Δ+(λ) 定义为 λ 模型的留出人类 NLL 减去 λ=0 的对应值，正值表示人类覆盖下降。

DPO 的两个起点

• 设计：仍交叉上述两个模型与 SHP、StackExchange。DPO 从两个起点开始：未改模型，以及先用等权 SFT 拟合人类回答的 Human-SFT。偏好与拒绝回答都是人类撰写，且来自 Human-SFT 所用的同一回答池。Human-SFT 之后的 DPO 对应 π0≈pH；从未改模型开始则对应参考尚未拟合这些人类回答。
• 生成侧：在留出提示上采样，在固定嵌入空间里计算模型回答与同一提示的人类回答之间的 energy distance，并拆成两个可加项。因被偏好回答平均更长，偏好拟合改用留出对上被偏好与被拒绝回答的平均每 token 对数似然差。

把人类行为本身当训练目标

• 三种干预，都从同一检查点出发，设置是 Qwen2.5-7B-Instruct 配 SHP，以及 Llama-3-8B-Instruct 配 StackExchange。Weak prompt 只在推理时要求自然、简洁地回答；Persona prompt 把回答者写成普通的 Reddit 或 StackExchange 用户。Human-over-model DPO 把人类回答标为优于从该未改 Instruct 检查点为同一提示采样的回答，不拟合人类分布本身。Human-SFT 用等权、全参数直接拟合观察到的人类回答。
• 评测：同一留出提示、匹配解码下采样，并与每个提示的多条人类回答比较。Human-SFT 既在训练域（ID）评测，也跨域评测：在 SHP 上训练的 Qwen 评 StackExchange，在 StackExchange 上训练的 Llama 评 SHP，并与同族未改检查点在目标域上比较。
• 源可区分度：冻结的 DeBERTa 分类器只在人类回答和未改检查点回答上训练，五折按提示交叉拟合，任何干预输出都不进入训练或检查点选择。DAUC = max{AUC, 1−AUC}。回答级统计包括平均长度，以及问题内变异：长度标准差、词集 Jaccard 距离、TF-IDF 余弦距离，均先在提示内计算再对提示平均，并报告相对人类值的比。附录 F.2 给出了 weak prompt 与 persona prompt 的完整提示词。

实验设置

• 被测模型：主实验为 Qwen2.5-7B-Instruct 与 Llama-3-8B-Instruct。密度比估计器从 Qwen2.5-7B-Instruct 在 LFQA、Dolly、SHP（ELI5）上分别微调。源分类器为 DeBERTa-v3-large。
• 数据：偏好加权与 DPO 用 SHP（ELI5 子集）和 StackExchange；密度比检验另用 HH-RLHF、WebGPT。附录 F.2：Human-SFT 在 17,096 条 SHP 回答上训练 1 个 epoch，在 24,371 条 StackExchange 回答上最多 3 个 epoch 并保留验证损失最低的检查点；Human-over-model DPO 每个设置 2,000 对。留出人类参考为 200 个 SHP 提示上的 894 条回答、255 个 StackExchange 提示上的 880 条回答。
• 对照：λ=0 等权；每个设置 10 次提示内随机重分配 λ=+1 权重。DPO 的起点为未改检查点与 Human-SFT。Section 5 的三种干预从同一检查点出发。
• 指标：GT 与前向 KL；留出 preference margin（DPO 为每 token）；人类回答 NLL 及相对 λ=0 的 Δ+；生成回答的 energy distance；DAUC；长度与问题内变异相对人类均值的比。
• 评审：Figure 2 的区间为 95% bootstrap；Figure 3a 与 Figure 5a 为 95% prompt-clustered bootstrap。源分类器用五折按提示交叉拟合，附录 F.1 写 AUC 的 95% 区间来自 10,000 次保留折分配的提示级 bootstrap。作者称不以多种子重复单一设置，而是在四个模型–数据集设置上重复比较。
• 采样：附录 F.2 写每个条件、每个提示采样 10 条，temperature 0.7、top-p 0.95，SHP 最多 256 个新 token，StackExchange 最多 512 个。分类比较前把同一评测槽截到相同词数，短于 8 词的槽丢弃，回答上限 192 词；Figure 5a 长度匹配后剩 876 个 SHP 槽和 666 个 StackExchange 槽。

主结果

正文没有给出 Figure 3、Figure 4 的逐点读数，只给出方向和个别端点条件。Figure 5 标注了部分比值，下表只收录图上写明的数字。

Swipe horizontally to read the table

条件（Figure 5c，相对人类均值）	SHP SD	SHP Jacc.	SHP TF-IDF	StackExchange SD	StackExchange Jacc.	StackExchange TF-IDF
Instruct	0.17	0.72	0.61	0.44	0.76	0.53
Weak prompt	0.30	0.72	0.63	0.44	0.79	0.67
Persona prompt	0.36	0.75	0.69	0.50	0.78	0.66
Human DPO	0.13	0.80	0.62	0.49	0.97	1.13
Human SFT (cross)	0.92	0.91	0.88	0.53	1.00	1.14
Human SFT (ID)	0.77	0.94	0.97	0.96	0.95	1.03

• 偏好加权（Figure 3a）：作者称四个模型–数据集设置中，正 λ 提高留出偏好边际、负 λ 降低它；|λ|=1 时人类回答 NLL 都高于等权。Figure 3b：四个设置各 10 次、共 40 次随机重分配都相对等权提高人类回答 NLL，且不复现偏好增益；真实人类偏好加权的边际增益大于每一次随机重分配，NLL 增幅不大于其中任何一次。作者据此认为，对人类行为拟合的损失取决于加权本身，偏好只决定哪些回答获得质量。
• DPO 似然（Figure 4a）：作者称每个模型–数据集设置里，DPO 都相对自己的起点提高偏好边际和人类回答 NLL；因为每对都是人类撰写回答，覆盖下降不是接触模型生成文本所致。
• DPO 生成（Figure 4b）：作者称 Human-SFT 之后，DPO 在全部四个设置中把生成回答移离人类回答；从未改检查点出发，四个里有三个移近人类回答，Qwen/SHP 上略为移远。作者把这归于参考的角色：参考已接近 pH 时，倾斜走向与 pH 相差一个 Turing-test gap 的 pP；未改起点上，全人类对同时带有“人如何回答”和“人偏好哪条”两个信号。作者称这仅针对这里的全人类对；许多实际管线的偏好阶段是标注者给模型生成候选排序。

密度比与人类偏好

• 测了什么：三个冻结估计器先在留出的人类–Instruct 对上排序，再用于 HH-RLHF、WebGPT、SHP 的偏好对。
• 结果：Figure 2a 标注 AUC 范围为 0.990–1.000；作者称每个估计器在留出数据上几乎总是把人类回答排在第一。Figure 2b 的原始一致性弱；在 10 词长度箱内，一致性降到机会水平或反转。图上横条为 95% bootstrap 区间，空心与实心圆分别为原始与长度控制 AUC。
• 作者的解读：这三个数据集上没有一致证据表明人类偏好沿 Equation 7 所要求的人类行为方向对齐。奖励可以完全编码有用性、安全或人类成对选择，仍不满足该对数密度比条件。

恢复人类相似性

• 测了什么：Weak prompt、Persona prompt、Human-over-model DPO、Human-SFT（ID 与跨域），指标为 DAUC、平均长度和问题内变异。
• 结果：作者称未改检查点的 DAUC 高于 0.99。Human-SFT 变化最大，且下降跨域迁移（Figure 5a）；提示带来更小变化，Human-over-model DPO 更小或不一致。未改 Instruct 的回答更长、变异更小：留出人类回答平均 104 词（SHP）和 126 词（StackExchange），未改检查点为 202 词和 287 词。Human-SFT 在两个域都把平均长度和问题内变异推向人类值；提示缩短回答并提高部分变异指标，但仍留下差异；Human-over-model DPO 在 SHP 上接近 Instruct，在 StackExchange 上长度低于人类。
• 作者的解读：当训练目标是人类行为本身时，测到的回答级差异可以大幅缩小。Persona prompting 改变平均风格，但恢复同一问题下人与人之间变异较少；偏好人类回答胜过模型自身只带来有限且依赖领域的恢复；直接拟合人类回答的恢复最大且最一致，并同时恢复平均行为与问题内变异，包括跨域。

其他消融与分析

• Figure 1：作者称在人类撰写的 SHP 与 StackExchange 回答上，等权给出人类行为，偏好加权把它推向人类偏好；同一组权重无论反转还是随机重分配（n=10），散度相同，只改变偏好增益。
• λ 的理论：等权是前向 KL 的唯一最小值；非零 λ 无论符号都增大与 pH 的距离（Equation 9）。
• DPO 的两个起点在留出似然上方向一致，在生成回答的 energy distance 上不一致（Figure 4）。
• 讨论中作者称 Section 3 的分析可延伸到 RLVR 式推理训练：参考已匹配人类回答时，非常数的正确性奖励会把最优策略推向成功答案、离开人类回答分布。论文未报告对应实验数字。
• 训练实现写在 Statement：全参数 BF16；监督与加权最大似然用 Transformers Trainer v4.51.3，DPO 用 TRL v0.17.0；多 GPU 用 DeepSpeed ZeRO-3 v0.19.3。附录 F.2：Human-SFT 学习率 10−6、全局批大小 64；Human-over-model DPO 学习率 7×10−7、β=0.05、1 个 epoch。

作者指出的局限与后续方向

• 群体而非个体：行为目标是群体回答分布。匹配一个群体混合并不蕴含像从中抽出的某一个人那样行事，观察到的恢复能否延伸到个体层面的行为仍是开放问题（Limitations）。
• 分布性而非交互：交互式图灵协议考察的是跨多轮交流中单一、一致的应答者；本文评测是分布性的，不是交互式的（Limitations）。
• 规模：同样的模式在更大规模管线下是否成立，是作者称本文没有处理的经验问题（Limitations）。
• 不要一律缩小间隙：Discussion 称目标不是不加区分地关闭该间隙，而是理解何时应收窄、保持或加宽，使 human-likeness 成为有意的设计选择。
• 前沿模型：作者认为前沿模型的人类相似性可能被低估，因为复杂后训练可能掩盖基座模型的类人能力；若有意按行为保真调优，人类相似性可能远超过当前观察到的程度（Discussion）。这是作者的推断，对应实验未做。
• 用途分界：当模型被用作对话机器人或代码智能体时，偏好对齐重要；当它充当人的代理时，行为保真是更主要的要求，作者称把偏好对齐后的模型用于这类任务可能是类别错误（Discussion）。

实验覆盖范围

• 偏好加权与 DPO 的被测生成模型为 Qwen2.5-7B-Instruct 和 Llama-3-8B-Instruct，数据为 SHP（ELI5）与 StackExchange，共四个模型–数据集设置；密度比估计器另在 LFQA、Dolly、SHP 上从 Qwen2.5-7B-Instruct 微调，并在 HH-RLHF、WebGPT、SHP 上测偏好一致性（Section 3–4，Figure 2–4）。
• Section 5 的干预评测只有两个模型–域组合：Qwen2.5-7B-Instruct 配 SHP，Llama-3-8B-Instruct 配 StackExchange，并做了交叉域评测。
• 随机重分配为每个设置 10 次、共 40 次；源分类器为只在人类回答与未改检查点回答上训练的 DeBERTa-v3-large，五折按提示交叉拟合（Figure 3b，附录 F.1）。
• 论文报告了 Human-SFT 与 Human-over-model DPO 的学习率、β、epoch、批大小和采样的 temperature、top-p、条数（附录 F.2）；偏好加权实验的学习率、epoch 与 DPO 的 β 在正文可见范围内未给出逐项数值，细节指向附录 D、E。
• 讨论提到实际管线常对模型生成候选排序，以及 RLVR 式正确性奖励；对应设置没有实验数字。Statement 称实验使用公开数据集，没有收集新的个人数据，文中的源分类器不适合真实世界的作者归属。

Yuan、Lin、Li 等人区分两种常被混称的“与人类对齐”：对齐人类偏好与对齐人类行为，并把二者的分布差异称为 Turing-test gap。

• 问题：人希望助手给出的回答可以始终有帮助、耐心、详尽，而人自己对同一问题的回答可以简短或不完整。把模型当成人的代理时，需要的是后一种分布。作者认为，即便数据和偏好都来自人类，偏好优化本身也可以把模型推离人类回答。
• 条件：KL 正则偏好目标的最优策略是参考策略按奖励倾斜。参考已等于人类行为时，只有在人类支撑上为常数的奖励才保持该分布；参考不同时，奖励必须恰好等于所需的对数密度比。在 HH-RLHF、WebGPT、SHP 上，由 LFQA、Dolly、SHP 微调得到的行为密度比分数能把人类回答排在 Instruct 回答之前（Figure 2a 的 AUC 范围为 0.990–1.000），但在 10 词长度箱内与偏好标签的一致性降到机会水平或反转。
• 加权：在 Qwen2.5-7B-Instruct 与 Llama-3-8B-Instruct、SHP 与 StackExchange 的四个设置上，|λ|=1 的偏好加权无论方向都使留出人类回答 NLL 高于等权，偏好边际则随 λ 的符号升降。40 次提示内随机重分配同样提高该 NLL，却没有偏好增益。
• DPO：从 Human-SFT 或未改检查点出发，DPO 都提高偏好边际和人类回答 NLL。生成侧上，Human-SFT 之后的 DPO 在四个设置中都使回答远离人类；从未改检查点出发则四个里有三个更近，Qwen/SHP 略远。
• 恢复：直接等权拟合人类回答使源可区分度下降得最多，且跨域仍在；未改检查点的 DAUC 高于 0.99。提示词和把人类回答标为优于模型自身的 DPO，变化更小或依赖领域。作者的结论是：human-likeness 应作为单独测量、在需要时单独优化的对齐维度，而不是偏好对齐的附带结果；也不应不加区分地追求更像人，因为行为保真同时关联冒充、操纵和社交工程。评测针对群体回答分布，不是个体，也不是多轮交互。