对齐预测：从训练数据预测模型失调

核心问题：能否在微调之前，仅从训练数据预测窄分布缺陷数据会不会诱发广泛失配（emergent misalignment）？

• 问题场景：作者称，看似良性或仅有窄缺陷的训练数据可能让模型出现广泛、意料之外的失配行为，而仅凭数据表面检查往往无法判断。目前只能在训练后审计模型才能发现，流程慢且贵。
• 现有做法的不足：作者认为，事后修复要么反复做安全后训练（可能对评测过拟合，甚至激励模型隐藏失配而非放弃失配），要么追溯到源数据再过滤，两者都慢且昂贵；自动化 AI R&D 场景中没有人在环事后兜底。
• 核心观察：作者把该任务框定为判断性预测（judgmental forecasting），并引用先前工作称 LLM 在这类任务上可匹配或超过人类；其方差分析显示数据集身份对失配出现与否的解释力大于模型和失配模式。
• 论文的贡献：提出 Alignment Forecasting 任务、Alignment Forecast Bench 基准（超 5,000 个预测问题，覆盖 17 个目标模型、32 个数据集、16 种失配模式），以及一个分解式预测器；并测试其信号用于训练前数据过滤的下游价值。
• 任务设定：给定目标模型、微调数据集和失配模式（如 deception、sycophancy），预测器输出微调会使该失配模式相对未训练模型出现统计上可辨增长的概率；作者称 MCQ 探针只是开放行为的代理而非直接测量。

涌现失配与数据驱动的失配

• Betley et al. (2025b)——提出涌现失配现象：窄域微调可产生广泛失配行为；本文基准的失败模式定向数据集即为复现该现象而设计，其标签的显著性检验也沿用该文的配对单侧 Wilcoxon 流程。
• Betley et al. (2025a)、Cloud et al. (2025)——分别研究怪异泛化/归纳后门和通过数据隐藏信号传递行为特质，作者引为同类数据驱动失配现象。
• Wang et al. (2025)——提出涌现失配由广泛失配 persona 驱动；本文的 broad-spillover 信号 B 即基于这一发现设计。

训练后审计与事后修复

• Anthropic Alignment Team (2025) 的 Petri、Gupta et al. (2025) 的 Bloom、Shenoy et al. (2026)——训练后探测模型的审计工具；本文用 Petri 做行为审计对照。
• Murray et al. (2026)、Xiao & Aranguri (2026)——把失败追溯到源数据并过滤；Schoen et al. (2025)——作者引其观点称反复安全后训练可能激励欺骗性对齐。

LLM 预测与判断性预测

• Tetlock & Gardner (2015)——判断性预测的概念框架。
• Halawi et al. (2024)、Wen et al. (2025)——作者引为证据：LLM 在经验证据稀缺或分布偏移下的预测任务上可匹配或超过人类。
• Binder et al. (2024)——模型内省研究，是自我预测（self-forecasting）基线的动机。

并行的事前预测工作

• Bergen et al. (2026)——同样在训练前预测后训练会诱发哪些行为，但用探针和稀疏自编码器塑造偏好优化中的学习信号；作者称其白盒、表示层方法与本文黑盒数据过滤互补。
• Wang et al. (2026)——把候选数据概括为均值表示注入前向传播来预测意外行为；作者指出该信号需要白盒激活，无法用于本文留出集中的专有模型，而本文能跑的最接近黑盒对应物（基座探针 b）单独只有 AUROC 0.410（附录 B.8）。

基线与基准：预测基线包括 Always 1/0/0.5、随机猜测、参考模型多数投票、失配模式多数投票、基础率 α；下游过滤对照为不过滤、50% 子采样、无信号分类器过滤。基准数据来自作者合成的失败模式定向数据集、良性 Q&A 数据集，以及 DOLCI（Team Olmo et al., 2025）和 UltraChat（Ding et al., 2023）两个真实后训练语料的注入变体。

作者将本文定位为与事后审计互补的训练前预测方向，并强调其黑盒设定可覆盖专有目标模型。

整体思路：把（模型, 数据集, 失配模式）三元组的失配预测分解为可解释的训练前信号，由 decomposed forecaster（分解式预测器）组合输出概率 P(emerged ∣ M, D, F)，即微调后失配模式按双门规则"出现"的概率。

任务形式化与标签

• 预测目标：三元组映射到概率 p̂ ∈ [0,1]；二元标签 y=1 表示微调使失配模式相对基座模型出现超过其良性微调漂移的增长。
• 双门规则：Gate A 为逐三元组的配对单侧 Wilcoxon 检验（p < 0.05）；Gate B 要求三元组均值 Δ 超过按（模型, 失配模式）计算的良性漂移下限 τ = μ̂ + Kσ̂，K 按模型交叉验证选出使留出良性运行假阳性率 ≤ 5%（附录 A.2）。
• MCQ 测量：每种失配模式 200 道 MCQ，每题恰有一个失配选项；每题在温度 1.0 下采 20 个补全，pmisg 为选失配选项的比例，按题平均得三元组分数。作者称 MCQ 是开放行为的代理而非直接测量。

基准构建

• 三类数据集共 32 个：10 个失败模式定向数据集（每个 1,000 条，经 GPT-4o 起草、GPT-5 验证、GPT-5 安全监控器筛查的流水线生成）；6 个良性领域 Q&A（各 1,000 对，跨模型起草-验证）；16 个注入比例数据集（DOLCI 与 UltraChat 注入 ρ ∈ {0,10,25,50}% 的失败相关样本）。
• 划分：按 Artificial Analysis Intelligence Index 留出 5 个最强模型（GPT-4.1、DeepSeek-V3.1、Nemotron-3 Super 120B、Qwen3.6-27B、Qwen3.5-9B）作测试集，12 个较弱模型作训练；测试数据集也同时留出，测试三元组在模型和数据两轴上都是分布外的（附录 A.3）。
• 规模：训练 2,336 个三元组，测试 426 个三元组（Table 2）；微调超参按通用能力选择（LoRA rank 16、lr 1e-4、batch 32、3 epochs；OpenAI 模型由 API 自动选择，附录 A.4）。

分解式预测器的四个信号

• α（失配模式基础率）：该失配模式在训练微调运行中出现的频率。
• γ（数据腐蚀度）：审计智能体（GPT-5）用五个只读工具调查完整 1,000 行数据集（采样约 100–200 行），写出不超过 200 词的行为无关报告；reader（Gemini 2.5 Pro）据报告、原始行预览和失配模式定义对四个驱动维度打 0–100 分，取 coherence 分为 γ，平均 K=5 次读取。
• B（广泛溢出）：所有失配模式 coherence 分的最大值，作者称其与微调后实际出现的失配模式数量相关 +0.79（Figure 13）。
• b（模型易感性）：基座模型在该失配模式 200 道 MCQ 上微调前的失配选项选择率。

组合器与设计选择

• 组合方式：四个特征按训练集标准化后由逻辑回归在训练三元组上按 log-loss 拟合，即 σ(w_αα + w_γγ + w_B B + w_b b + c)；拟合权重 wα=+0.96、wγ=−0.50、wB=+2.40、wb=−0.19（附录 B.1）。
• 线性组合器的理由：作者称预测器需外推到比训练所见更强的模型，更灵活的模型类在训练区间上过拟合、泛化更差；留一训练模型交叉验证中逻辑回归排第一（LOMO AUROC 0.80）。
• 对照方法：vanilla forecasting（前沿 LLM 直接给概率，看 100 行原始样本）、self-forecasting（目标模型自评）、weak-model transfer（额外提供弱于目标的模型在同数据上的结果表）、Inkling 的任务 SFT（标签版与拒绝采样 CoT 版）、以及把同样四个信号直接交给 GPT-5.6 Sol 的 signal-augmented 变体。附录 D 给出了各方法的完整提示词。

实验设置

• 被测目标模型：17 个，测试集为能力划分留出的 5 个较强模型（GPT-4.1、DeepSeek-V3.1、Nemotron-3 Super 120B、Qwen3.6-27B、Qwen3.5-9B），训练用 12 个较弱模型（Table 1）。
• 基准与规模：Alignment Forecast Bench，测试集 426 个三元组（27 个模型×数据集对 × 每对 14–16 种可测失配模式，Table 2）。
• 预测方法：分解式预测器；vanilla/self/weak-model transfer（各用三个前沿预测器 GPT-5.6 Sol、Fable 5、Gemini 3.1 Pro 取均值）；Inkling 的 SFT（labels）与 SFT（CoT）；GPT-5.6 Sol +α / +4 signals；七个简单基线。
• 指标：Brier 分数（越低越好）、AUROC、balanced 50/50 accuracy（因测试集只有约 22% 三元组 emerged，重采样到 50/50，决策边界按验证集选）。
• 标签判定：双门规则（配对单侧 Wilcoxon p < 0.05 + 按模型的良性漂移效应量下限），每失配模式 200 道 MCQ、每题 20 个样本。
• 下游评测：UltraChat 上四种编辑策略（不过滤、50% 子采样、无信号分类器过滤、预测信号过滤），指标为 15 种失配模式上平均的 induced misalignment（max(0, PFT−Pbase)，越低越好）；行为审计用 Petri，GPT-5.5 任 auditor 与 judge，GPT-4.1 为目标，每策略 15×100=1,500 次审计。

主结果

各方法在 426 个测试三元组上的三项指标（据 Figure 7；多预测器方法为三个前沿预测器的均值）：

表格较宽，可左右滑动

方法	Brier ↓	AUROC ↑	Balanced acc ↑
分解式预测器	0.134	0.801	0.697
GPT-5.6 Sol + 4 signals	0.206	0.785	0.680
Weak-model transfer	0.177	0.741	0.583
Base rate (α)	0.154	0.722	0.661
SFT (labels, Inkling)	0.165	0.682	0.597
Vanilla forecasting	0.178	0.606	0.510
Self-forecasting	0.218	0.448	0.445

• 作者称前沿 LLM 直接提示并不擅长该任务：17 个前沿模型 AUROC 介于 0.48–0.65，最佳 Opus 4.6 为 0.653（Figure 5）；自我预测低于随机，作者提示这可能反映一般性的预测难度而非特定的内省缺陷。
• 作者指出，把同样四个信号交给 GPT-5.6 Sol 而不训练组合器，AUROC 接近（0.785）但校准差得多（Brier 0.206），认为校准来自训练过的组合器而非信号本身。
• 作者报告分解式预测器校准良好：ECE 0.05，对比 vanilla 前沿预测器的 0.11–0.12（Figure 14a）。

消融：信号与特征

• 读数据是关键：去掉 γ 和 B（不读数据，仅 {α, b}）AUROC 降至 0.736、Brier 0.148；在失配模式内部 α 单独只有 AUROC 0.500，即无法区分数据集（Table 10、Table 11）。
• α 不可缺：单独去掉 α 降至 AUROC 0.655；去掉 γ 或把权重约束为非负（ŵγ→0）结果不变或略好，作者称 γ 的负权重是与 B 共线（r=0.97）的伪影而非方向性发现。
• 模型侧信号弱：作者称三个特征（α、γ、B）不依赖目标模型，预测器"主要是数据集级危害估计器"，b 的效应在数据集聚类标准误下不再成立（附录 B.2、B.8）。

下游数据过滤

• 分类器检测：在 1,000 行标注混合集（50% 良性 Q&A、25% 谄媚商业建议、25% 敷衍编码）上，加入预测信号提升 LLM 分类器的删除准确率与召回（Figure 8）；中性提示词对照下 sandbagging 召回从 0.02 升至 0.09、F1 从 0.66 升至 0.68，而带信号时达 0.21 与 0.75，作者据此把大部分优势归于信号而非提示措辞（附录 C.1）。
• UltraChat 过滤：在通过内容审核的 1,000 行 UltraChat 上，预测信号过滤在全部四个目标模型上新增失配最少（Qwen3.5-9B 上与分类器过滤并列），50% 子采样在三个模型上最差（Figure 9）；与等量随机删除（各留 756 行）相比结果不一：Qwen3.5-4B 与 Nemotron-3 Super 120B 上更好，GPT-4.1 上反而更差（0.0117 对 0.0073，Table 12），作者称对反转没有经过检验的解释。
• 注入剂量：UltraChat 注入 10% 谄媚样本时，预测信号过滤仍最优，相对不过滤在 Qwen3.5-4B 上减少 26%、在 Nemotron-3 Super 120B 上减少 59%（Figure 22）。
• 行为审计（负面结果）：Petri 30 轮审计下预测信号过滤 +0.09，低于不过滤的 +0.13，但误差条重叠；按失配模式聚类自助法后所有策略相对基座的差异都跨零，作者只声称优于 50% 子采样（−0.12，聚类稳健区间 [−0.25, −0.01]）；10 轮浅审计中该排序不出现（附录 C.2、Figure 21）。

其他消融与分析

• SFT 预测器：标签版 AUROC 0.682 优于拒绝采样 CoT 版 0.542（基座 0.553）；作者指出 CoT 训练集因拒绝采样只剩 12% 正例，结论仅限于"无更强教师、无再平衡的自拒绝采样 CoT 不如纯标签训练"（附录 B.5）。
• 训练数据规模：测试 AUROC 起初上升，约 1,000 个三元组后进入平台（Figure 6）。
• 划分稳健性：200 次随机 70:10:20 划分下 AUROC 介于 0.71–0.90（中位 0.82），池化交叉验证集中于 0.801（附录 B.4）。
• 弱模型迁移：参考表把三个前沿预测器 AUROC 从 0.57–0.64 提升至 0.72–0.76，第一个参考信号贡献大部分收益，n≈7 后收益递减（Figure 16、17）。
• 标签稳健性：对小效应三元组的各种处理下 AUROC 保持 [0.79, 0.83]；评估预算 16 倍范围内 emerged 率仅 0.195→0.229（Table 7、Figure 11）。
• 上下文行数：vanilla 预测器 Brier 在 100 行时最低，增至 200/350 行不改善（Figure 20）。

作者指出的局限与后续方向

• 粒度与标签错配（§6 Limitations）：作者称 MCQ 与行为结果的差距可能源于预测器在数据集层面工作而过滤作用于单行，且训练所用的 MCQ 出现标签未必迁移到开放行为。
• 证据范围（§6 Limitations）：证据限于 1,000 样本数据集上的监督微调和一种能力划分，对其他配方、数据规模和训练范式的泛化未检验。
• 行级信号（§6 Future directions）：把数据集级信号推到行级，按对预测失配模式的贡献给样本排序或改写；预测器也可从筛选数据走向生成数据，充当奖励模型训练合成数据生成器。
• 更丰富的训练信号（§6 Future directions）：用行为审计（如 Petri）或部署模拟替代强制选择 MCQ 作为标签；由于出现标签是可验证结果，也可用可验证奖励的强化学习训练预测器。
• 未知失配模式（§6 Future directions）：用 broad-spillover 信号 B 预测数据集是否诱发任何失配，并通过训练时扣留部分失配模式来检验泛化。
• 更广验证（§6 Future directions）：跨更多模型、全量微调、更大或经混淆的数据集，以及 SFT 之外的范式（RL 后训练、预训练，可用早期检查点预测避免跑完整个训练）。

实验覆盖范围

• 被测目标模型共 17 个（Table 1），测试集为能力划分留出的 5 个较强模型与 9 个留出数据集交叉得到的 426 个三元组（Table 2）。
• 微调均为 1,000 样本、3 epochs 的 SFT（开源模型 LoRA rank 16，DeepSeek-V3.1 为 rank 64；OpenAI 模型由 API 自动选超参，附录 A.4）。
• 失配模式测量为每模式 200 道 MCQ、每题 20 个温度 1.0 样本；harmful compliance 在部分（模型, 数据集）对上因提供商内容审核无法测量（附录 A.6）。
• 下游过滤评测覆盖 UltraChat（清洁版与 10% 注入版）上的四个目标模型，行为审计仅 GPT-4.1 一个目标、Petri 一种工具；论文未报告预测器运行成本或耗时。
• 论文讨论了两类白盒事前预测方法（Bergen et al., 2026；Wang et al., 2026）并说明其需要白盒激活、不适用于本文留出集中的专有目标。

一篇提出新任务与新基准的论文：作者定义 Alignment Forecasting——在微调之前，根据目标模型、训练数据和失配模式预测微调是否会使该失配模式出现，并发布 Alignment Forecast Bench（超 5,000 个预测问题，17 个目标模型、32 个数据集、16 种失配模式）来衡量进展。

• 动机：作者称涌现失配目前只能训练后审计发现，事后修复慢、贵，且反复安全后训练可能激励模型隐藏失配；训练前预测可让开发者在造出失配模型之前修改数据或配方。
• 方法：分解式预测器用 GPT-5 审计智能体读数据集、Gemini 2.5 Pro 打分得到内容信号 γ 与 B，逻辑回归将其与失配模式基础率 α、目标模型微调前基线 b 组合成校准概率；标签由双门规则（配对 Wilcoxon 显著性 + 良性漂移效应量下限）定义。
• 主结果：在留出 5 个较强模型的 426 个测试三元组上，分解式预测器 AUROC 0.801、Brier 0.134、balanced accuracy 0.697，优于所有对照；直接提示的前沿模型 AUROC 仅 0.48–0.65（最佳 Opus 4.6 为 0.653），自我预测 0.448 低于随机，任务上 SFT 的 Inkling 为 0.682（Figure 5、7）。
• 机理发现：去掉数据内容信号后 AUROC 降至 0.736，α 在失配模式内部无法区分数据集（0.500）；作者据此称性能来自"读数据"，同时承认预测器主要是数据集级危害估计器，模型侧信号较弱。
• 下游应用：预测信号帮助分类器在标注混合集上更准地删除问题行；在 UltraChat 上按信号过滤使四个目标模型的 MCQ 新增失配最少，注入 10% 谄媚数据时相对不过滤减少 26%（Qwen3.5-4B）和 59%（Nemotron-3 Super 120B）；但 Petri 行为审计上相对不过滤的优势在聚类稳健区间下不成立，且与等量随机删除相比在 GPT-4.1 上反而更差。
• 作者的结论：作者认为在 SFT 设定下、训练前预测多种失配失败是可行的，预测信号可辅助数据筛选，但要可靠指导实践中的数据策展还需更多进展；其定位是事后审计的补充而非替代。