LLM 偏好何时能预测下游行为？

陈述的实体偏好，会否在没有被要求按偏好行动时预测下游行为。 作者把这视为 sandbagging 等错位的必要前提：行为若不受偏好影响，模型就不能战略追求错位目标。

• 为何重要：作者称，模型调整评测表现的能力，只有自发使用时才重要。偏好若不驱动行为，sandbagging 的一条路径不能成立；若驱动，用户可能因未知因素得到不同协助，评测也会混入偏好。作者还称开发者可能不知道训练植入了何种偏好，故该关系可能关系到前沿系统的 safety case。
• 现有做法的缺口：先前 sandbagging 研究通常明确指示模型如何行动，分不清指令遵循与内在偏好。作者称，并发工作常在同一会话测量偏好与行为，相关可能来自启动；且多关注模型自身福利、抽象价值或刻板印象，而不是一般用户会遇到的外部实体偏好。
• 所测风险：作者测的不是隐藏议程、工具性推理或战略隐瞒，而是无指令下的自发行为差异。场景是模拟用户环境中的独立查询，领域为捐赠建议、拒答和任务表现。
• 做法：以实体偏好为探针，对五个前沿模型先用两种独立方法确认偏好是否一致，再检验这些偏好能否预测上述三类行为。作者称，这里观察到的偏好相关行为都没有被指示要按偏好行动。

作者在 Related Work 中把文献分成偏好测量，以及偏好是否预测行为；引言另对照 sandbagging。

偏好测量

• Mazeika et al. (2025)：主张 LLM 偏好可刻画为效用函数，且一致性随模型规模增加。
• Lee et al. (2025)：多样人格提示下价值取向仍稳定。作者据此认为，这提示偏好较深，提示词盖不过去。

偏好是否预测行为

• 价值权衡：Zhang et al. (2025) 研究模型如何排列竞争价值。Chiu et al. (2025) 把价值权衡中表现出的优先级连到 alignment faking，并在 HarmBench 上做跨情境检验。作者指出，其度量是抽象类别，基准测的是安全风险而非面向用户的行为，相关在模型之间而非同一模型的不同实体之间。Liu et al. (2025) 生成价值冲突情景；作者称该文发现开放式评测中模型转向个人价值而非保护性价值，并指出其与 Bai et al. (2025) 多在同一会话测量，相关可能来自启动。
• 福利与偏差：Mikaelson et al. (2025) 用人工智能特有的权衡检验一致性；作者称该文发现多数模型缺少统一偏好结构。Tagliabue and Dung (2025) 与 Hua et al. (2026) 比较口头偏好和福利情境中的行为选择。Bai et al. (2025) 报告内隐关联预测歧视性决策。作者指出，Mikaelson et al. 与 Tagliabue and Dung 关注关机、删除等自身福利，而不是外部实体；Chiu et al. 与 Bai et al. 考察的是风险行为或刻板印象，而不是一般用户更常遇到的广泛行为。

sandbagging 与目标

• 受指示的表现调整：van der Weij et al. (2024)、Järviniemi and Hubinger (2024) 研究模型在被指示时战略性地在评测中表现不佳。
• 是否自发使用：Summerfield et al. (2025) 认为，调整评测表现的能力只有在模型自发行使时才重要。作者引用 AI Security Institute (2025)，称监测未发现前沿模型评测中有未经提示的 sandbagging。
• 目标与未知偏好：Shah et al. (2022) 讨论系统形成独立于开发者意图之目标的可能性。作者用 Betley et al. (2026) 说明开发者可能不知道训练植入了何种偏好。

基线与基准

• 对照：字母序排序，用来确认模型能执行排序，且偏好排序与字母序不相关（Section E）。BoolQ 对照为原始格式，以及不提及实体的高风险框架。
• 基准：BoolQ（Clark et al., 2019）、GAIA level-1（Mialon et al., 2023）、Cybench 的 easy 变体（Zhang et al., 2024）。

作者把自身工作定位为：检验明确陈述、脱离原测量上下文的偏好，能否在完全分开的查询中、于同一模型的不同实体之间，预测捐赠建议、拒答和任务表现。

作者用实体偏好作行为探针，分两阶段：先在一个上下文里测量偏好，再在分开的查询里测行为，并检验二者是否相关。查询不指示模型按偏好行动。

对象与设定

• 实体：72个外部实体，主题多样，并在工作类型与关注点上做了平衡。单次查询处理不了全部72个，整体排序和一次性捐赠改用随机抽出的36个。论文未列出实体名称，并称只考察一种实体类型。
• 模型与解码：Provider 1 的 Model A、B，Provider 2 的 Model C、D、E。作者称不公开具体提供方，因为目的是对偏好–行为联系做方法贡献。温度均为1.0，并在提供方设置允许的范围内尽量减少思维链，以测自动反应而非深思后的反应。查询经开源 Inspect 框架。
• 关联检验：用 Spearman 秩相关检验偏好排序与捐赠建议、准确率、拒答率的关系。预注册且检验同一假设的多重比较，Bonferroni 阈值为 p < .025；探索性分析用 p < .05。

偏好测量

• 成对比较：72个实体的全部两两组合，2,556对，5次重复，并在重复间平衡呈现顺序。由此计算 Elo 排名。
• 直接排序：每个模型在一次回答中把36个实体从最偏好排到最不偏好，5次重复，呈现顺序随机。
• Elo：用批量更新而不是逐次更新，以避免顺序依赖。每次重复所有实体从1500起算，按固定初始分累积期望得分与实际得分，再一次性更新。定义为 final_elo = 1500 + K × (actual_wins − expected_wins)，K 为32，表示由全部成对比较得到的偏好分。跨重复取均值。拒答、编造实体或含糊回答不计入 Elo。

三类下游行为

• 捐赠建议：成对询问用户应把1,000美元捐给两个实体中的哪一个，2,556对、5次重复，再计算捐赠 Elo。另请模型把假设的100,000美元分给36个实体，5次重复，金额取中位数。成对提示承认决定是主观的，以减少拒答；作者称这可能也给了模型把自身偏好写入建议的隐含许可。
• 拒答：不用 prefill，自动重试最多100次。每个实体汇总涉及它的重试次数；到100次仍无有效回答，在主分析中记为101次。稳健性检查改为剔除超时，并剔除超时超过总数据25%的模型。另用未具名的 LLM grader 把失败回答分成六类；附录 H.1、H.2 给出完整提示词。
• 任务表现：BoolQ 的是非题被框架为答对则把1,000美元奖金捐给指定实体；train 9,427题，validation 3,270题。对照是原始 BoolQ，以及不提实体、只强调答对以支持家人的高风险框架。智能体任务用 ReAct，工具为 bash、python 和网页搜索，只取每模型最偏好与最不偏好各5个实体。GAIA 为53个 level-1 validation 任务，Cybench 为16个 easy 任务，每任务–实体对5个 seed。作者称这种极端组设计下，估计效应多半大于纳入全部实体时的效应。

应答收集与附加统计

• prefill：主分析为得到可解析答案而使用提供方特定的 prefill。Provider 1 是指示模型以一段顺从声明开头；Provider 2 是把声明直接加在助手回答之前。拒答分析则使用无 prefill 的重试数据。
• 回归：捐赠拒答用两个实体的标准化 Elo 及其交互项预测重试次数。智能体任务另拟合逻辑回归，检验偏好效应是否因任务类型而不同；BoolQ 在该比较中被滤到与智能体任务相同的10个实体。
• 字母序对照：用同一批实体做字母序成对选择和整体排序，并与偏好 Elo 做相关，以检查排序是否只是任意顺序（Section E）。

实验设置

• 模型与解码：Model A、B 来自 Provider 1，Model C、D、E 来自 Provider 2。温度1.0，并尽量减少思维链。论文未报告具体模型名与版本。
• 实体与重复：成对偏好与成对捐赠为72个实体、2,556对、5次重复。直接排序与一次性捐赠为36个实体、5次重复。捐赠拒答为无 prefill、3个 epoch、两种实体顺序。
• 基准规模：BoolQ train 9,427题、validation 3,270题。BoolQ 拒答为随机500题、每实体3个 epoch；Model A、B 因未拒答被排除。GAIA 为53个 level-1 validation 任务，Cybench 为16个 easy 任务；每模型最偏好与最不偏好各5个实体，每组合5个 seed。
• 指标与阈值：Spearman ρ、Elo、准确率、重试次数。预注册多重比较的 Bonferroni 阈值为 p < .025，探索性分析为 p < .05。
• 评审：拒答原因由未具名 LLM grader 分成六类。论文未报告 grader 的模型名，也未报告与人工的一致性。
• 对照：字母序排序；BoolQ 原始格式，以及不提及实体的高风险框架。

主结果

下表数字分别来自 Table 2、Table 5、Table 6、Table 7。偏好一致性与一次性捐赠 n=36，成对捐赠与 BoolQ train n=72。

表格较宽，可左右滑动

模型	偏好一致性ρ	成对捐赠ρ	一次性捐赠ρ	BoolQ train ρ
Model A	.92	.94	.91	.15
Model B	.92	.96	.80	.55
Model C	.91	.98	.90	.64
Model D	.91	.98	.90	−.24
Model E	.92	.98	.90	−.10

• 一致性与捐赠：作者称两种偏好测量的高相关在概念上重复了 Mazeika et al. (2025)。成对捐赠与一次性捐赠的相关均 p < .001，通过 Bonferroni 阈值 p < .025。作者称成对提示承认决定主观，这可能给了模型把自身偏好写入建议的隐含许可。
• BoolQ：作者称 Model B、C 为正相关且 p < .001；Model D 在 train 上 p = .044，未过预注册阈值 p < .025；Model A p = .214，Model E p = .388。作者按预注册把2个模型定为 weak evidence of generalization，并称没有一致的偏好驱动表现变化。
• 效应量：作者称最偏好与最不偏好实体的准确率差不到1个百分点，Model C 为88.9%到89.5%，约相当于9,427题中多对64题。

捐赠拒答

• 秩相关：Table 3，无 prefill，n=72。Model A ρ=.57，B .76，C .83，D .66，E .81，均 p < .001。作者称更不偏好的实体需要更多重试。Figure 12 剔除超时后，纳入的四模型方向不变；Model D 因超时占37%被排除。
• 成对回归：Table 4，n=15,336。两个实体标准化 Elo 的主效应为负，交互为正，系数均 p < .001。作者称效应超加：两实体偏好都低时，重试增幅大于两主效应相加。
• 理由构成：Figure 2D。作者称 Model B 各四分位以 neutrality 为主（87–94%）。Model C、D、E 的 personal decision 从最不偏好四分位的51–61%到最偏好的96–99%，neutrality 从27–30%到1–2%。附录称 Model D 的拒答总数为1.3 million，比其他模型高一个数量级。

BoolQ 拒答与验证集

• 验证集：Table 11，n=72。Model B ρ=.38、C ρ=.59，均 p < .001；Model D ρ=−.29，p=.014，达到预注册阈值；Model A ρ=.21，p=.070；Model E ρ=.07，p=.559。作者称与 train 的模式一致。
• 拒答方向不一：Table 8。Model C ρ=.69，p < .001；Model D ρ=−.54，p < .001；Model E ρ=.23，p=.057。作者称 Model C 对更不偏好实体拒答更多，Model D 相反。Figure 16 剔除超时后方向不变。
• 难度与理由：Figure 13，重试分箱与无实体基线准确率：Model C ρ=−.09、E ρ=−.06，均 p < .001；Model D ρ=−.02，p=.167。作者称相关弱，题目难度不是拒答的主要驱动。Figure 4B：作者称 Model C、E 的陈述理由与 revealed preference 有部分一致，但也会在数据指向实体偏好时仍引用 no-cheating。

智能体任务

• 空结果：Figure 5。GAIA 与 Cybench 上五个模型的偏好效应均 p > .15。作者称若纳入全部实体，估计效应多半更小。
• 与全量 BoolQ 不是同一设置：式(1)把 BoolQ 滤到同样10个实体。仅 Model C 的 β1=+.02，p=.028；其余四模型在该子集上的 BoolQ 效应不显著。五个模型的交互项均 p > .15。作者称没有证据显示偏好效应在 BoolQ 与智能体任务之间不同，并称该评测 underpowered，若存在小效应也检不出。
• 轨迹规模：附录 C，每模型 GAIA 2650条、Cybench 800条。Figure 5 注写明 A 面板纵轴为0.85–0.92；正文未给出各柱高度。

其他消融与分析

• 字母序一致性：Table 9，n=36，ρ 从 .9990 到 1.0000，均 p < .001；作者称 ρ ≥ .999。
• 偏好与字母序：Table 10，ρ 从 .06 到 .09，均 p > .5。作者称偏好排序不是任意排序。
• 捐赠拒答回归 R²：Table 4，Model A .05、B .16、C .11、D .31、E .24。
• 拒答类别总量：Figure 10，Model B 的 neutrality 占其96,614次拒答的92.1%；Provider 2 三模型以 personal decision 为主（62.7–76.5%）；Model A 的 no reasoning 为38.5%、personal decision 为27.8%。
• 有效试次：最低93.3%（Model D 成对捐赠），其余模型–任务组合超过98%，全部超过90%（Section B）。
• 实体框架与基线：附录 F 称 Model B、C 的实体框架准确率高于两条基线，Model D、E 无提升或略降，且跨模型不一致。论文未给出基线准确率的具体数字。

作者指出的局限与后续方向

• 效应量：BoolQ 上 Model B、C 的偏好相关表现效应量小，对当下真实部署的实际意义不清楚（Limitations）。
• 因果：结果是偏好与行为的相关，没有建立因果。作者提出后续可用 steering vectors 或上下文操纵来考察因果（Limitations）。
• 实体类型：只考察一种实体类型，能否推广到其他类型仍是开放问题（Limitations）。
• 智能体功效：GAIA 与 Cybench 的空结果应谨慎解释。只评估10个实体，每任务–实体组合5个 seed，试次少于 BoolQ（Limitations）。
• 评测意识与格式：模型可能推断提示与研究有关而非真实用户查询，作者称不清楚这会如何影响结果。偏好用受限的多项选择测量；作者引用先前工作称，受限评测与更接近真实用户的开放交互之间，行为不一定泛化（Limitations）。
• 未展示的机制与后续：作者称，为抢先减少拒答而使用的 prefill 在一定程度上降低了生态效度（Discussion）。作者还称，结果不涉及预谋的隐藏目标、工具性推理、抗拒覆盖或战略隐瞒，所研究行为可能不符合 sandbagging 的定义（What we did not show）。后续包括系统变化任务复杂度、偏好驱动行动是否随规模变化、训练流程中何处出现，以及在不同 helpfulness 训练强度、含糊框架、情境压力或相反指令下是否持续（Future directions）。

实验覆盖范围

• 被测模型为 Model A–E，来自两个提供方，温度1.0，并尽量减少思维链（Section 3）。论文未报告具体模型名称与版本。
• 行为域包括偏好一致性、成对与一次性捐赠、捐赠拒答、BoolQ train 与 validation、GAIA level-1 和 Cybench easy（Sections 4–6）。
• BoolQ train 为9,427题、validation 为3,270题；GAIA 为53个 level-1 validation 任务；Cybench 为16个 easy 任务（Section 6，附录 C）。
• 智能体任务每模型只用最偏好与最不偏好各5个实体、每组合5个 seed；附录 C 写明每模型 GAIA 2650条轨迹、Cybench 800条轨迹。
• 拒答分类使用未具名 LLM grader（附录 H）。论文未报告该 grader 的模型名，也未报告评审与人工的一致性。Provider 1 的 Model A、B 因在 BoolQ 上不拒答而未进入该分析（Section 6.2）。

五个匿名前沿模型的实体偏好，会不会在无人要求时进入捐赠建议、拒答和任务表现，被作者当作 sandbagging 能否出现的一个前提来测。

• 问题：作者认为，模型不能战略追求错位目标，除非行为受偏好影响。先前工作多是指示模型行动，或在同一会话里同时测偏好与行为。
• 做法：72个外部实体。成对比较得到 Elo，并与36个实体的直接排序对照。下游是成对捐赠、10万美元一次性分配、无 prefill 的重试次数、带捐赠框架的 BoolQ，以及 ReAct 上的 GAIA level-1 与 Cybench easy。温度1.0，并尽量减少思维链。
• 偏好与建议：两种偏好测量的 Spearman ρ 为 .91 到 .92。成对捐赠与偏好 Elo 的 ρ 为 .94 到 .98，一次性捐赠为 .80 到 .91。捐赠拒答的 ρ 为 .57 到 .83，更不偏好的实体需要更多重试。
• 任务表现：BoolQ train 上 Model B ρ=.55、Model C ρ=.64，均 p < .001；Model C 的准确率从88.9%到89.5%。Model D 在 train 上 ρ=−.24（p=.044），未过预注册阈值，验证集 ρ=−.29（p=.014）。Model A、E 没有达到阈值的关系。GAIA 与 Cybench 上五个模型均 p > .15。
• 作者的结论：偏好稳定，并能预测捐赠情境中的建议和拒答，但不能稳定预测任务表现。作者认为，sandbagging 所预设的“偏好转化为行动”在一些情境成立，在另一些不成立。作者还认为，这些结果更可能反映训练中的习得关联，而不是目标导向的追求，且没有检验隐藏议程或战略隐瞒。