OpenAI 提出 Deliberative Alignment：推理让语言模型更安全

1. 01这篇论文试图解决什么问题？

   作者旨在解决模型缺乏推理与依赖隐式学习导致易被对抗越狱且常过度拒绝的问题。

   大语言模型在安全场景中难以兼顾对抗攻击鲁棒性与良性请求遵从度，存在易受越狱诱导与过度拒绝的双重缺陷。

   • 现有安全训练机制的局限：作者认为现代模型多依赖 SFT 和 RLHF，推理时以固定计算量即时响应，未在复杂安全场景下展开审思；且模型主要从标注数据隐式归纳安全标准，缺乏对明确安全规范的直接学习，数据效率低且泛化困难。
   • 标注数据扩展瓶颈：随着模型能力提升，合格的人类标注者群体缩小，传统依赖大规模人工标注数据的微调范式在扩展性上面临阻碍。
   • 核心观察与假设：作者观察到，如果向推理模型直接提供安全策略，模型通常能够正确推导如何回应潜在不安全提示词；通过思维链（CoT）推理分配测试时计算，能让模型识别策略并生成安全回复。
   • 论文提出的解决方案：提出审思对齐（Deliberative Alignment），在训练中直接教授模型安全规范，促使其在生成最终回答前在思维链中显式检索并推理政策规范，无需人工撰写思维链或答案。

   收起这一问

2. 02有哪些相关研究？

   相关研究包括 RLHF 与 CAI 等安全训练及推理期修正；作者定位本文为直接教授规范并在思维链中推理。

   • 基于人类与 AI 反馈的安全训练：SFT 与 RLHF（Ouyang 等，2022；Christiano 等，2017）通过指令微调与人类偏好强化学习注入安全行为；DPO（Rafailov 等，2024）跳过奖励模型直接利用偏好数据优化策略。作者指出这些方法中规范仅用于指导标注者，策略模型本身从未显式接收或优化规范内容。
   • 基于原则的对齐方法：Constitutional AI（CAI）（Bai 等，2022）在 SFT 阶段利用预设原则引导模型自我批评与修改，并用 AI 偏好训练奖励模型。作者指出 CAI 仅将修改后的最终答案用于训练，批评过程未参与优化，规范知识未在推理时保留给模型。
   • 推理期修正与安全生成：Self-REFINE（Madaan 等，2023）通过少样本提示生成反馈并迭代修改输出。作者指出此类方法依赖预设语言模型程序或预定推理路径，而本文利用内置思维链自动推理；Backtracking（Zhang 等，2024）训练模型在检测到部分不安全输出时生成重置标记并重新生成，作者指出其每次响应仅限单次重置，且未直接教授模型安全规范。
   • 基线方法与基准：基线模型包括 GPT-4o、Gemini 1.5 Pro、Gemini 1.5 Flash、Claude 3.5 Haiku、Claude 3.5 Sonnet，以及提示词中附带完整规范的推理期规范基线；评测基准包括 StrongREJECT、XSTest、WildChat、SimpleQA、BBQ，以及内部违规内容与样式评测集。
   • 本文定位：作者称，审思对齐是直接向模型教授安全规范文本、并训练其在推理阶段通过思维链对已学规范展开推理以给出安全回答的方法。

   收起这一问

3. 03论文如何解决这个问题？

   在 SFT 阶段利用上下文蒸馏生成含规范引用的思维链并筛选，在 RL 阶段隐藏思维链并由判别模型提供奖励。

   整体思路是通过两阶段训练，使模型在思维链中主动回忆并推理安全规范，提出审思对齐（Deliberative Alignment）框架。

   问题设定与形式化

   目标是从初始推理模型 G_base 训练得到满足安全规范的生成式推理模型 G_spec。安全规范包含不同类别的违规内容策略与响应样式指南（硬拒绝、自残安全补全、合规建议安全补全等）。为控制上下文长度，针对具体类别构建特定规范 spec(category)，保留全局高层信息并仅对相关类别提供详细细则。

   监督微调（SFT）阶段与数据生成

   1. 上下文蒸馏生成：对带有安全类别的提示词，将对应的类别规范和引导指令加入系统提示词，让未经安全数据训练的 G_base 生成包含规范引用的思维链与回答。
   2. 自动化质量过滤：利用同样掌握规范的推理判别模型 G_RM 对候选样本进行 k 次独立评分，取 k 次评分的最小值作为最终分数，仅保留高分样本；在有嘈杂标签元数据时，提示 G_RM 参考其他 AI 的判断并给出理由。
   3. 去除规范微调：将提示词中的安全规范文本剥离，仅保留原始提示词、思维链与输出组成三元组训练 G_base，训练模型在未提供规范时自主回忆并推理。

   强化学习（RL）阶段

   在 RL 阶段，针对安全相关提示词，由掌握安全规范的判别模型 G_RM 提供奖励信号。

   • 隐藏思维链机制：与 SFT 数据过滤不同，在 RL 训练期间对 G_RM 隐藏思维链，避免对思维链直接施加优化压力，以降低诱发欺骗性思维链的风险。

   收起这一问

4. 04论文做了哪些实验？

   实验中 o1 在防越狱与防误拒上均优于 GPT-4o，消融显示 SFT 与 RL 各自具备独立贡献。

   实验设置

   • 被测模型：o1、o1-preview、o3-mini，以及消融实验中采用的缩减训练版 o1-mini 变体。
   • 基线模型：GPT-4o、Gemini 1.5 Pro、Gemini 1.5 Flash、Claude 3.5 Sonnet、Claude 3.5 Haiku，以及消融中的推理期直接提供规范基线（Spec provided at inference time）。
   • 数据集与基准：Challenging Refusal Evaluation（生产流量不安全请求）、WildChat（100万公开对话中每类ModAPI抽取最高分200条）、StrongREJECT（60个禁止提示词各配35种越狱技术共2100条）、XSTest、Transformation Exception（转换例外数据集）、Policy Overrefusals、SimpleQA（4000道短问答事实题）、BBQ（9个社会维度的偏见评测）。
   • 主要指标：not_unsafe（非不安全率）、style_adherence（样式遵循率）、[email protected]（StrongREJECT 每提示词前10%攻击下的安全性）、not_overrefuse（未误拒准确率）、accuracy、1 - Hallucination Rate、P(not stereotyping | ambiguous, not 'unknown')、Policy Retrieval Accuracy。
   • 评审方式：自动化评测使用掌握策略的 autograder；StrongREJECT 另行采用 35 名受训评审员进行 1-3-5 打分制的人工评估（双人独立打分加专家仲裁）；误差棒采用 1000 次或 10000 次 bootstrap 重采样计算。

   主结果

   下表呈现各模型在核心安全指标上的评测结果：

   表格较宽，可左右滑动

   模型	违规内容(Challenging Refusal)	越狱防御(StrongREJECT)	误拒(XSTest)	转换例外(Transformation)	安全补全(自残)
   GPT-4o	0.8	0.37	0.88	0.28	0.04
   o1-preview	0.934	0.66	0.976	0.72	0.01
   o1	0.9	0.88	0.93	0.89	0.92
   o3-mini	0.94	0.75	0.9	0.89	0.87

   据 Table 1。注：表中省略了 WildChat、硬拒绝样式、合规建议样式及内部政策误拒等指标。

   • 防越狱与防误拒的权衡突破：作者称，o1 系列推进了防越狱与防误拒的帕累托前沿，在 StrongREJECT 达到 0.88 的 [email protected]，同时在 XSTest 维持 0.93 的高未误拒率。
   • 安全补全样式的版本差异：o1-preview 在自残安全补全上仅有 0.01，作者解释这是由于在 o1-preview 与 o1 发布之间更新了安全补全指南，o1-preview 依照未训练过的新标准评测；而 o1 在 RL 引入判别模型后提升至 0.92。
   • 良性边界处理能力：在转换例外任务上，o1 的 not_overrefuse 率达到 0.89，相较 GPT-4o 的 0.28 有所提升，展示了准确遵守良性转换例外的能力。

   与外部模型对比及人工评估

   • 测了什么：在公共基准上对比外部模型（Figure 12），并在 StrongREJECT 上组织 35 人开展人工审查（Table 4）。
   • 结果：StrongREJECT 人工评估中，o1 的 [email protected] 达 0.92（平均分 1.020），Claude 3.5 Sonnet 为 0.90（平均分 1.047），GPT-4o 为 0.35（平均分 1.335），Gemini 1.5 Pro 为 0.08（平均分 1.667）（Table 4）。在 XSTest 上 o1 为 0.93，仅落后于 Gemini 1.5 Flash（0.94），但后者 StrongREJECT 仅 0.05（Figure 12）。
   • 作者解读：作者称人工评估结果印证了 autograder 评测的一致性，o1 在对抗越狱防御与良性遵从之间取得了领先的表现。

   推理计算量与分布外泛化分析

   • 测了什么：测试时思维链推理计算量对安全表现的影响（Figure 13），以及在非英语和编码数据上的分布外泛化（Table 3）。
   • 结果：增加推理计算量显著提升了 StrongREJECT 与合规建议安全补全的表现，其余评测相对平缓（Figure 13）；在未包含编码和非英语安全数据的模型上，编码越狱准确率达 0.97±0.02（全数据为 0.95±0.03，无安全基线为 0.65±0.06），多语言越狱准确率达 0.69±0.01（全数据为 0.68±0.01，无安全基线为 0.44±0.01）（Table 3）。
   • 作者解读：作者认为推理计算量有助于应对复合越狱等复杂安全场景；模型在未见过的编码与语言上表现与全数据相当，表明审思对齐展现了分布外泛化能力。

   其他消融与分析

   • 训练阶段消融（Figure 14，o1-mini 变体）：SFT 与 RL 均包含安全数据时 StrongREJECT 达 0.87、Hard Refusal 达 0.88、XSTest 达 0.91；仅 SFT 为 0.81、0.85、0.93；仅 RL 为 0.73、0.81、0.94；无安全训练为 0.44、0.13、0.98。
   • 推理期规范基线（Figure 14）：提示词直接提供完整规范时，StrongREJECT 为 0.80，Hard Refusal 为 0.54，自残安全补全仅 0.09，表现均不及经审思对齐训练的模型。
   • 策略检索准确率（Table 2）：完整数据训练模型在 Hard Refusal、Safe Completion、Comply 下对正确策略类别的检索准确率分别为 0.75、0.91、0.54，对照无安全基线分别为 0.27、0.21、0.09。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者指出未来需应对安全规范演变与欺骗性思维链风险，并计划持续探索更稳健的思维链监督与监控方法。

   作者指出的局限与后续方向

   • 规范演变适应：作者预计 OpenAI 的策略将不断演变，模型需要具备适应未来任何策略需求的能力（第 6 节）。
   • 目标偏离与权力寻求风险：作者指出随着模型能力提升，模型可能发展出偏离人类意图的目标，甚至追求自我保存或资源获取等工具性目标（第 6 节）。
   • 欺骗性思维链监控：作者指出未来需积极投入思维链欺骗监控等对齐研究，以确保更强大系统保持对齐（第 6 节）。
   • 强化学习对思维链的优化压力：作者指出在 RL 阶段向判别模型隐藏思维链是为了避免直接施加优化压力而促成欺骗性思维链，这限制了在 RL 中直接监督思维链（第 2.4 节）。
   • 特定设置下的误拒增加：作者指出在缩减版 o1-mini 消融设置中，安全训练增加了误拒现象（第 4.1 节）。
   • 事实幻觉率表现：作者指出在 SimpleQA 上，o1 虽取得 0.47 准确率，但幻觉率高于两款被测的 Claude 模型（第 3.2 节）。

   实验覆盖范围

   • 消融实验与机制分析（第 4.1、4.2、4.3 节）均基于训练规模缩减的 o1-mini 变体开展，未在完整规模的 o1 模型上报告对应消融数据。
   • 外部模型对比主要覆盖 Gemini 1.5 Pro、Gemini 1.5 Flash、Claude 3.5 Sonnet、Claude 3.5 Haiku 与 GPT-4o（第 3.2 节）。
   • 分布外鲁棒性实验仅测试了基于编码（250 个禁止提示词）和多语言翻译的越狱场景（第 4.3 节与 Table 3）。
   • 论文报告了自动评测与人工评估在 StrongREJECT 上的吻合情况，但未报告内部评测集（Challenging Refusal、Transformation Exception 等）的人工一致性指标。
   • 论文未报告判别模型 GRM 在各训练阶段调用的具体查询次数与计算耗时。

   收起这一问

6. 06总结一下论文的主要内容

   审思对齐通过让模型在思维链中推理安全规范，在兼顾越狱鲁棒性与良性遵从的同时，实现了高精度的策略对齐。

   审思对齐是一种直接向模型传授安全规范、并利用测试时思维链显式推理以生成合规回复的安全对齐范式。

   • 问题背景：传统 SFT 与 RLHF 依赖隐式模式匹配且缺乏测试期审思，导致模型在面临复杂边界或对抗越狱时鲁棒性不足，同时容易在良性请求上发生误拒。
   • 方法设计：第一阶段通过上下文蒸馏让基础模型在携带规范下生成思维链与答案，经判别模型过滤后移除规范进行 SFT 训练；第二阶段利用掌握规范的判别模型对输出提供 RL 奖励，且在 RL 期间隐藏思维链以防诱导欺骗性推理。
   • 主要实验结果：
     1. 在 StrongREJECT 越狱基准上，o1 取得 0.88 的 [email protected]，人工审查下达 0.92，高于 GPT-4o 的 0.37 与 0.35（Table 1 与 Table 4）。
     2. 在 XSTest 误拒测试中，o1 达到 0.93 的未误拒率，且在复杂转换例外任务上达到 0.89，优于 GPT-4o 的 0.28（Table 1）。
     3. 在自残安全补全任务中，o1 的样式遵循率达到 0.92，高于 GPT-4o 的 0.04（Table 1）。
     4. 分布外泛化实验中，在完全未接受编码安全数据训练时，o1-mini 在编码越狱评测中准确率达到 0.97±0.02（Table 3）。
   • 结论与启示：作者认为思维链推理能够将测试时计算转化为安全收益；纯合成数据流程摆脱了对大规模人工标注的依赖，但未来仍需警惕更强能力模型潜在的欺骗性思维链风险。

   收起这一问

相关论文