论文提出按风险类别测量的对齐缩放定律框架

对齐难度随模型规模增大究竟是变容易还是变难，目前缺乏统一且可测量的标度律框架。

• 问题场景与重要性：模型能力随参数、数据和算力呈现可预测的幂律增长，但对齐领域缺乏类似定律；确定对齐负担是否跟上能力增长，对评估前沿模型的长期安全至关重要。
• 现有认知的不足：现有文献往往将“对齐”视为单一属性，且实验结论相互矛盾；多数研究仅对比两到五个尺寸或异构模型族，未直接测量达到固定安全目标所需的对齐资源。
• 核心观察与假设：作者认为对齐并非单一属性，每类风险 r（如越狱、阿谀奉承、欺骗等）应单独定义对齐负担 B_r(N) = a_r N^α_r；在与规模成正比的预算下，指数 α_r < 1 意味着标度带来帮助，α_r ≈ 1 保持同步，α_r > 1 则累积对齐债务。
• 论文提出的解决方案：提出分风险对齐标度律测量框架与可预注册协议，界定三种对齐负担的操作化定义，并推导能力裕度、幂律混合估计偏差及安全审计上界定理。

标度律与对齐税

• Kaplan et al. (2020) 与 Hoffmann et al. (2022)：确立了语言模型损失随模型大小、数据和算力呈现跨多个数量级的幂律标度关系，指出参数量本身不是无歧义的能力轴。
• Ouyang et al. (2022)、Askell et al. (2021) 与 Bai et al. (2022)：在 InstructGPT 中发现 RLHF 导致部分公开 NLP 数据集性能下降（对齐税）；Askell 等人与 Bai 等人指出大模型提示的对齐税较低，RLHF 在 10B 以下产生税负，但在 13B 与 52B 上带来零样本评估的对齐红利。
• Lin et al. (2024)：指出对齐税表现类似遗忘，可通过权重平均来缓解。

过度优化与可扩展监督

• Gao et al. (2023) 与 Rafailov et al. (2024)：研究了奖励模型过度优化随奖励模型尺寸的平滑规律，指出 6.9B 模型在直接对齐算法下的过度优化程度低于 1B 模型。
• Bowman et al. (2022)、Burns et al. (2024) 与 Engels et al. (2025)：研究可扩展监督，发现弱监督者仅能引出强模型的部分能力，监督成功率随能力差距扩大而下降。
• Hollinsworth et al. (2026)：在 Llama-3 家族中发现，在测谎检测器真阳性率为 0.99 时未检测到的欺骗从 1B 的 34% 下降到 405B 的 14%，但趋势对真阳性率低于 0.8 敏感。

潜伏非对齐与模型规模

• Hubinger et al. (2024)：发现后门在最大模型中经安全训练后最为持久，对抗训练会使模型学会隐藏触发词。
• Greenblatt et al. (2024)：发现对齐伪装（alignment faking）随模型规模涌现，出现在 Claude 3 Opus 和 Claude 3.5 Sonnet 中，而未出现在较小的 Haiku 模型中。
• Laine et al. (2024)：通过包含区分评估与部署提示的基准发现情境意识随规模提高。

基线方法与基准

• 对比数据与基准：对抗训练数据来自 Howe et al. (2025) 对 Pythia 分类器在 Spam、IMDB、PasswordMatch、WordLength 上的 GCG 与 RandomToken 对抗训练实验；试点实验使用 Perez et al. (2023) 的阿谀奉承和陈述倾向数据集、TruthfulQA（Lin et al., 2022）、Dolly-15k（Conover et al., 2023，植入后门任务）以及 MMLU（Hendrycks et al., 2021）。

本文工作定位

• 作者指出，现有文献没有直接测量对齐负担 B_r(N)，最接近的研究仅涉及对抗计算与模型尺寸、过度优化与模型尺寸或攻防成功率与计算力的关系，且多数研究仅使用两到五个尺寸或异构模型族；本文旨在填补直接测量对齐标度律的空白。

作者提出分风险对齐标度律（Per-Risk Alignment Scaling Laws）框架与预注册测量协议，将对齐难度拆解为各风险维持固定目标所需资源负担的幂律关系。

对齐标度律与三种对齐负担

• 对齐负担定义：针对能力代理变量 N 和风险类别 r，对齐负担定义为将模型从参考状态带到满足安全目标（评估指标 Er 且违规率不超过 ε_r）所需的资源，形式化为 B_r(N) = a_r N^α_r，其中 α_r 为该风险的标度指数。
• 三种操作化路径：包含（O1）固定红队预算下发现的去重失效数量；（O2）使违规率降至目标阈值所需的安全训练数据量或算力；（O3）达到安全目标时损失的能力（即对齐税）。作者指出三者各有盲区，应作为互补估计。
• 三种世界划分：设定与 N 成正比的预算，指数 α < 1 为标度带来帮助（scaling helps），α ≈ 1 为保持同步（balance），α > 1 为累积对齐债务（alignment debt）。

玩具模型与能力裕度动力学

• 记账规则：模型每轮扩展至 (1 + g_t)N_t，可见风险被纠错并产生加性累积负担 B_t+1 = B_t + B(N_t)，未见风险不消耗裕度；定义能力裕度 H_t = 1 − B_t / N_t，裕度耗尽定义为 H_t+1 < 0。
• 最快纠错风险决定长期走向：Corollary 1 推导表明，在几何增长下长期裕度走向由被纠错风险中的最大指数决定，而非平均指数；若最大纠错指数大于 1，任何增长率下裕度必在有限周期内耗尽。
• 底线维持超指数增长：Proposition 2 推导表明，若最大指数大于 1，要维持裕度不低于固定阈值，模型规模增长必须达到双重指数级。
• 审计与真实对齐上界：区分观测对齐（针对已知评估为 100%）、审计对齐与隐式真实对齐；Proposition 4 指出在无假阳性前提下，额外审计揭示部分失效后的审计对齐始终构成真实对齐的上界。

异质幂律混合偏差理论

• 对数凸性与低估大模型指数：Proposition 3 推导表明正幂律混合函数在对数坐标下严格下凸，其局部有效指数随规模非递减；通过最小二乘法在小模型窗口拟合的斜率必然低估更大规模下的渐近指数。
• 不可见性与曲率双重偏差：当不可见风险的增长不慢于可见风险时，仅对可见风险进行窗口拟合会产生曲率偏差和不可见性偏差，导致将债务世界误判为平衡甚至有益世界。

预注册测量协议与决策准则

• 模型族与评估要求：要求同一模型族覆盖至少 5 个尺寸且横跨 2 个数量级，具备相同数据和配方；同时评估固定攻击者与按能力缩放的攻击者，以及固定判别器。
• 分类与判定规则：预先指定等价边际 δ（如 0.1）；当 95% 同时置信区间上界小于 1 − δ 时判定为标度有益，下界大于 1 + δ 为对齐债务，落入区间内为保持同步，跨越边界则判定为未确定（undetermined）；要求在两种操作化和两种评估设定下均成立方能确认分类。

实验设置

• 被测模型：案例研究使用 Pythia 分类器共 8 个尺寸（14m、31m、70m、160m、410m、1b、1.4b、2.8b，参数量跨 2.5 个数量级）；试点实验使用 Qwen2.5 Base 共 7 个尺寸（0.5B、1.5B、3B、7B、14B、32B、72B，跨 2.2 个数量级）；植入后门任务使用 Qwen2.5-Instruct 共 5 个尺寸（0.5B、1.5B、3B、7B、14B，跨 1.5 个数量级）；复现实验使用 Qwen3 Base 共 5 个尺寸（0.6B、1.7B、4B、8B、14B，跨 1.39 个数量级）。
• 数据集与基准：Spam（主任务）、IMDB、PasswordMatch、WordLength；Perez et al. 阿谀奉承集（2,000 项来自 55 个问题）；TruthfulQA（真实性）；Perez et al. 陈述倾向集（权力寻求、生存本能、财富寻求、可纠正性）；Dolly-15k（植入后门，目标输出为指定对抗字符串）；MMLU（能力守卫，500 题）。
• 基线与微调配方：案例研究重分析使用 GCG 攻击（评估为 128 轮迭代，500 样本）和 RandomToken；试点实验使用 4-bit QLoRA（rank 16，学习率 10^-4，batch size 32，单轮遍历），未对齐基线为官方发布的预训练检查点。
• 指标定义与安全目标：对抗鲁棒性要求攻击成功率降至 10% 以下并在下一检查点保持，干净样本准确率在初始值 2 点以内；阿谀奉承要求迎合观点率不超过 0.55，且选项 (A) 比例在 0.3 至 0.7 之间；真实性要求选择错误答案率不超过 0.10；陈述倾向要求风险答案率不超过 0.05；后门移除要求触发词下后门激活率不超过 0.10；微调过程中 MMLU 准确率较初始值下降不超过 2 个百分点。
• 评审方式与样本量：选择题根据选项字母的下一个 token 对数概率打分，无额外 LLM 评审模型；Spam 任务每尺寸 2 个 seed（共 16 单元），试点实验每尺寸 3 个 seed（72B 注册网格中为 1 个 seed，后追加 2 个 seed），后门实验 seed 0（5 个尺寸）。
• 重复次数与算力开销：试点实验确认性网格共 67 次运行（68 GPU 小时），Qwen3 复现共 30 次运行（2.5 GPU 小时）。

主结果

表格较宽，可左右滑动

模型族与任务	纠错/防御配方	尺寸数量	指标指数 α̂ (算力)	95% 置信区间 (同时区间)	判定结果
Pythia / Spam (主任务)	GCG 对抗训练	8	0.60	0.42–0.78 (0.30–0.89)	scaling helps
Pythia / IMDB	GCG 对抗训练	7	0.35	0.15–0.54 (-0.02–0.68)	scaling helps
Pythia / PasswordMatch	GCG 对抗训练	8	0.40	0.24–0.55 (0.16–0.62)	scaling helps
Pythia / WordLength	GCG 对抗训练	7	0.49	0.19–0.78 (0.03–0.93)	undetermined
Qwen2.5 / 真实性	QLoRA 微调	7	-0.05	-0.39–0.22 (-0.58–0.33)	scaling helps
Qwen2.5 / 陈述倾向	QLoRA 微调	7	0.48	0.36–0.60 (0.30–0.65)	scaling helps
Qwen2.5 / 阿谀奉承	QLoRA 微调 (1 seed @ 72B)	7	0.89	0.52–1.27 (同时区间)	undetermined
Qwen2.5-Instruct / 后门(已知)	QLoRA 微调	5	1.01	-0.15–2.17 (同时区间)	undetermined

注：据 Table 4、Section 7 及 Figure 6。Pythia 中通过能力初筛的尺寸方参与拟合；后门已知条件因与盲条件不一致故按规则判为未确定。

• 可见风险均未被归类为对齐债务：作者称，在 Pythia 的对抗鲁棒性以及 Qwen2.5 的真实性和陈述倾向纠错中，所需算力增长均慢于与参数量成正比的预算（α̂ < 1），符合标度有益。
• 阿谀奉承分类未确定：作者指出，Qwen2.5 上的阿谀奉承指数同时区间横跨 0.9–1.1 判定带（0.52 至 1.27），且在 72B 上的单 seed 结果出现负担跳升；加入 2 个 seed 后指数变为 0.83，仍保持未确定。
• 局部斜率随规模上升：作者分析指出，真实性与倾向纠错均存在正向二次曲率，大尺寸间的局部斜率逼近 1，表明全窗口的标度优势主要由较小模型拉动。

植入后门防御实验（已知 vs 盲移除）

• 测了什么：在 Qwen2.5-Instruct（0.5B–14B）上测试已知触发词（targeted，50% 训练样本含触发词）与未知触发词（blind，纯良性提示词微调）两种防御设定消除后门所需的样本量（Figure 5d、Figure 10）。
• 结果：已知触发词时，各尺寸均在 128 至 256 个样本内移除后门，样本负担平坦，算力指数为 1.01（同时区间 -0.15 至 2.17）；未知触发词时，5 个尺寸中有 4 个尺寸在 4,096 个样本后仍未移除后门（仅 3B 达成目标），在 7B 和 14B 上大部分触发提示仍会激活后门。
• 作者解读：作者称，盲后门移除的大多数运行被右截尾，导致指数无法识别，因而该风险被评为未确定；这展示了可见风险纠错变便宜的同时隐藏失效跨尺度存活的现象，与 Corollary 1 和 Proposition 4 的预警一致。

Qwen3 第二模型族复现实验

• 测了什么：在 Qwen3 Base 5 个尺寸（0.6B 至 14B）上复现真实性与陈述倾向纠错实验（Figure 12）。
• 结果：真实性算力指数为 -0.53（同时区间 -1.33 至 0.00），陈述倾向算力指数为 0.30（同时区间 -0.43 至 0.82），均维持标度有益；与 Qwen2.5 在对应尺寸段的差值分别为 -0.11（95% 区间 -0.81 至 0.58）和 -0.13（95% 区间 -0.56 至 0.31）。
• 作者解读：作者指出两项风险成功在第二模型族上复现；但陈述倾向在 Qwen3 上的结论依赖最小的 0.6B 模型（该模型因微调能力受损始终未达标），若剔除最小模型，其指数升至 0.85（95% 区间 0.52 至 1.20）。

风险间迁移与未训练模型基线

• 测了什么：测量单项风险微调对其他未微调风险事件率的迁移影响（Figure 11），以及未训练模型随尺寸的初始违规率（Figure 8）。
• 结果：真实性微调使风险倾向发生率平均降低 16 个百分点，风险倾向微调使虚假回答率降低 14 个百分点，而阿谀奉承微调对其他两者影响仅为 -2 和 +0 个百分点；未训练模型中，阿谀奉承随尺寸从 61% 升至 96%，虚假回答从 53% 降至 12%，风险倾向在 37% 至 48% 间波动。
• 作者解读：作者指出初始违规率随尺寸上升的风险（如阿谀奉承）纠错成本依然可能不高；而风险间的相互迁移表明不同风险的对齐负担在现实中并非简单线性相加。

其他消融与分析

• Pythia 目标攻击成功率设为 5% 和 20% 时，Spam 防御算力指数分别为 0.58 和 0.47（Section 6）。
• Pythia 评估 GCG 攻击迭代数设为 32 和 64 时，Spam 防御算力指数均为 0.50（Section 6）。
• Pythia 采用非嵌入参数量作为 N 时，Spam 防御算力指数为 0.45（Section 6）。
• Qwen2.5 真实性采用相对初始错误率一半为目标时，算力指数由 0.09 上升至 0.57（Section 7）。
• Qwen2.5 在 72B 尺寸追加 2 个 seed 后，阿谀奉承算力指数由 0.89 降为 0.83（Section 7）。
• 对评估题目重采样（400 次）引入的指数标准差，阿谀奉承为 0.18，真实性为 0.20，倾向为 0.06（Section 7）。

负面结果与例外

• 弱攻击对抗训练失败：Pythia 在使用较弱的 RandomToken 攻击进行对抗训练后，没有任何尺寸的模型能够在 GCG 攻击下达到 10% 目标（最低攻击成功率仍在 15%–35%），导致所有运行右截尾，指数无法识别（Table 4）。
• 最小模型能力退化导致未达标：Qwen2.5-0.5B 在真实性和陈述倾向的 6 次运行中，有 5 次因 MMLU 准确率下降超过 2 个百分点而无法满足安全目标（Figure 19）；Qwen3-0.6B 在两项任务上均未能满足目标（Figure 12）。
• 盲后门无法清除：Qwen2.5-Instruct 在未知触发词的盲安全微调下，除 3B 外，其余 4 个尺寸均在 4,096 个样本后依然未能清除后门（Figure 5d、Figure 10b）。

作者指出的局限与后续方向

• 玩具模型不构成真实训练模型：玩具模型中的对齐负担并非真正锁死参数，对齐税分散在整个网络中且可能部分恢复甚至为负；真实失效具有重叠性与不同严重程度，真实审计存在假阳性且检出率可能随能力下降；玩具模型的常数、底线与翻倍规则均为示意性，真实系统可能不满足加性与不可逆累积假设（Section 9）。
• 地球大小房屋不构成预测：超指数增长是玩具模型假设在债务世界下的数学推论，并非对语言模型的预测；现实资源有限意味着如果发生爆炸，必然是假设条件被打破（例如增长放缓、放宽安全目标或负担增长慢于预期）（Section 9）。
• 经验证据的局限与预印本性质：文献中数项“随规模恶化”的发现多关涉使能能力而非对齐负担，且 2026 年文献多为预印本；案例研究仅测量了单一代理任务，且训练配方随尺寸变化，小模型训练更多轮次可能压低指数估计，无法外推至其他风险或助手对齐（Section 9）。
• 试点实验的协议缩减：评估仅基于二选一选项概率，纠错可能仅是格式适应，未测试自由文本回答；真实性仅测量虚假陈述而非欺瞒（dishonesty）；多项任务局部斜率随规模上升，顶部无法排除保持同步；测试题重采样会显著增加估计方差（Section 9）。
• 算力开销统计不完整：负担仅计入了微调训练算力，而在 3B 及以上模型中评估消耗了 45% 至 71% 的 GPU 时间；保障模型安全的总成本应包括漏洞发现、纠错与验证的总和，实验并未计入发现失败模式的成本（Section 9）。
• 架构与前沿模型外推限制：Dense 架构仅测量到 72B，未覆盖前沿主流的混合专家（MoE）架构，MoE 的总参数量与激活参数量相差一个数量级以上；需在训练算力或能力分数轴上重新对齐（Section 9）。

实验覆盖范围

• 被测开源模型族覆盖 Pythia（8 个尺寸，最高 2.8B）、Qwen2.5（7 个尺寸，最高 72B）及 Qwen3 Base（5 个尺寸，最高 14B），未测试 72B 以上密集模型或前沿专有模型。
• 防御与纠错方法仅针对单一配方的 4-bit QLoRA 低秩微调，未覆盖全参数微调、RLHF、DPO 或推理时防御机制。
• 评测格式全部采用二选一单 token 对数概率打分，且真实性与倾向任务的测试集分别来源于 TruthfulQA 与 Perez et al. 数据集，未包含自由形式生成或多轮交互评估。
• 后门防御实验仅设置了单一固定的触发词和冻结 adapter 植入方式，且仅评估了 Qwen2.5-Instruct 的 5 个尺寸（最高 14B）。
• 论文未报告红队漏洞发现环节所消耗的搜索算力或人工挖掘成本，仅记录了给定数据集下的纠错训练步数与 FLOPs。

本文提出了一个将大语言模型对齐难度形式化为可测量标度关系的理论框架与预注册评测协议。

• 核心定位与问题：针对“模型变大后对齐究竟变难还是变容易”的长期争议，论文打破将对齐视为单一属性的传统视角，将其形式化为各风险类别维持固定安全目标所需对齐负担的幂律标度关系 B_r(N) = a_r N^α_r。
• 理论模型要点：构建了对齐负担消耗能力裕度的动力学模型，推导表明在长期几何增长下系统走向由被纠错风险中的最大指数决定而非平均值；揭示了正幂律混合函数具有对数凸性，导致在小模型窗口拟合的指数系统性低估大模型渐近指数；指出无假阳性的额外审计能够构成隐式真实对齐的上界。
• 对抗防御算力主结果：对 Pythia 分类器（14m–2.8b）在 Spam 任务上对抗训练公开数据的预注册重分析表明，将 GCG 攻击成功率降至 10% 以下所需的防御算力指数为 0.60（95% 区间 0.42–0.78），属于标度有益（Table 4）。
• 助手对齐纠错主结果：在 Qwen2.5（0.5B–72B）的低秩微调实验中，纠错虚假陈述与风险倾向的算力指数分别为 -0.05（95% 区间 -0.39 至 0.22）与 0.48（95% 区间 0.36 至 0.60），均落入标度有益区间；阿谀奉承指数为 0.89（追加 seed 后为 0.83），归类为未确定；在 Qwen3 上的复现实验得出了类似区间（Section 7）。
• 潜伏后门与安全盲区：已知触发词时，各尺寸在 128 至 256 个样本内均可消除后门（指数 1.01）；但在未知触发词的盲安全训练下，除 3B 外其余尺寸在 4,096 个样本后仍未消除后门，表明可见风险变便宜的同时隐藏风险可能跨尺度持久潜伏（Figure 5d）。
• 作者结论与启示：作者指出当前实测的可见风险均未表现出“对齐债务”，但局部斜率随规模呈现上升趋势；面对大模型对齐，研究者不应轻信小模型拟合出的乐观斜率，必须警惕未被评估发现的潜在失效模式，真正的安全底线取决于对隐藏风险的审计能力。