跳到正文
原文

基于 Reflect-Reasoning 的对齐:学习如何遵循原则

Alignment with Reflect-Reasoning: Learning How To Follow Principles

arXiv:越狱、提示注入、投毒与防御· arXiv:2611.17398· Henry Bell, Caroline Zhang, Dhaval Potdar, Mohammed Mobasserul Haque, Brandon FainDuke University本站收录· 4 天前· 原文发表对齐· 扫描记录里的位置 →

论文速读

防御

据论文 PDF 整理(AI 生成),以原文为准

作者提出 Reflect-Reasoning 训练方法,让模型学会对推理时给定的新原则做反思推理;作者称五个模型上对系统提示的胜率为 82.5–94.7%。

问题
对齐原则常随文化和部署场景变化,但多数对齐技术把原则固定在训练期;部署方实际依赖系统提示,作者认为它对主观原则的实质遵从不足。
方法
提出 Reflect-Reasoning:先用 gpt-4.1 生成的反思推理轨迹做 SFT,再用 GRPO 强化,奖励结合格式规则、长度惩罚和 LLM 裁判的两组成对比较;训练时给提示词随机配对原则,让模型学会对推理时给定的新原则做"生成—反思—修订"。
实验与结果
作者报告:五个模型在 held-out 原则上对系统提示胜率 82.5–94.7%、对显式反思提示 66.8–86.9%,并泛化到 medical、finance 域;严重原则违规率下降;HarmBench ASR 与基座相近。
局限与可以继续做的
作者指出评测依赖 LLM 裁判且裁判与人工标注者都在美国;训练仅覆盖 7–32B 模型、英文;推理轨迹可能不忠实。安全分析只在 Tulu-3-8B-SFT 上做,CAI 对比只在 Olmo-3-7B 上做。
实验设置Olmo-3-7B-Instruct-SFT、Tulu-3-8B-SFT 等 · PRISM、Grounded Constitutional AI 原则 等 · pairwise win rate、principle violation rate 等
被测模型
Olmo-3-7B-Instruct-SFTTulu-3-8B-SFTMistral-7B-Instruct-v0.3Olmo-3.1-32B-Instruct-SFTQwen3.8-27B
基准
PRISMGrounded Constitutional AI 原则hh-rlhfSafeRLHFSimpleQATrident(finance / medical / legal)HarmBenchBBQ
指标
pairwise win rateprinciple violation raterefusal-type compositionHarmBench ASRBBQ accuracy / biastoken consumption
AI 导读研究者提出 Reflect-Reasoning 训练方法,教模型学习如何围绕对齐原则进行推理,而不是简单规定要遵循哪些原则。该方法针对对齐规范依赖文化语境与部署场景、多数对齐技术在训练时固定原则的问题,在五个模型上持续优于系统提示词和用于上下文反思推理的显式提示策略,并泛化到分布外的医疗与金融原则领域。作者还报告该方法减少了罕见但严重的原则违例,不削弱模型既有安全工程,能抵御使用对抗性宪法的越狱尝试,使模型无需额外微调即可适应新原则并产出透明的推理轨迹。

研究者提出 Reflect-Reasoning 训练方法,教模型学习如何围绕对齐原则进行推理,而不是简单规定要遵循哪些原则。该方法针对对齐规范依赖文化语境与部署场景、多数对齐技术在训练时固定原则的问题,在五个模型上持续优于系统提示词和用于上下文反思推理的显式提示策略,并泛化到分布外的医疗与金融原则领域。作者还报告该方法减少了罕见但严重的原则违例,不削弱模型既有安全工程,能抵御使用对抗性宪法的越狱尝试,使模型无需额外微调即可适应新原则并产出透明的推理轨迹。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    让模型在推理时遵从训练时未见过的新原则,而非只学会训练期固定的一组原则。

    核心问题:如何让 LLM 在部署时实质遵从推理时才给定的、训练时未见过的新原则(constitution),而不需要重新训练。

    • 场景与动机:作者认为,合适的对齐原则随文化语境和部署应用变化(如儿童教育辅导与医疗助手),部署方需要在部署期而非训练期指定规范;对许多闭源商用模型,系统提示可能是部署方唯一可用的方法。
    • 现有方法的不足:作者称,RLHF/DPO 等方法需要大量人类偏好标注且把偏好固定在训练期;Constitutional AI 假定训练期确定的静态原则集;系统提示可能不足以带来对主观原则的实质遵从;Reflect-ICL 等显式提示的反思方法受限于模型固有的推理能力。
    • 核心观察:作者沿用"生成后批判与修订优于生成前思维链"的立场,并引用 [7] 的建议——应训练模型更好地做批判与修订,而非依赖提示。
    • 论文提出:Reflect-Reasoning,一种无需人工标注数据的两阶段后训练方法(SFT + GRPO),训练模型把反思推理过程内化,产出自然语言、可审计的推理轨迹,并报告在 held-out 原则和医疗、金融域外原则上的评测。
  2. 有哪些相关研究?

    覆盖偏好学习、Constitutional AI、推理时反思与推理训练四类,本文定位最接近 Reflect-ICL 与 CAI。

    对齐与多元性

    • Gabriel [18]、Sorensen 等 [49]、Kirk 等 [29](PRISM)等——作者据此把对齐定位为多元、随文化与部署语境变化的问题,Reflect-Reasoning 面向部署语境的原则变化而非个人化对齐;作者并引 [28] 指出无边界个人化对齐的伦理风险。

    对齐技术

    • RLHF [4, 12, 38, 45, 50] 与 DPO 及其推广 [3, 15, 41, 54]——用人类偏好标注训练奖励模型或直接偏好优化;作者指出这类方法需要人工标注且固定偏好。
    • 合成数据 [14, 52, 56]、RLAIF [5, 13, 30]、互信息最大化 [17]、异质偏好的公平优化 [9, 42, 53, 60]——避免人工标注或处理标注者差异;作者称 Reflect-Reasoning 不需要人类偏好标注、也不固定静态原则集,可与通用偏好学习结合。

    Constitutional AI 与推理时反思

    • Constitutional AI [5]——训练期用批判—修订生成偏好数据,但作者指出其原则集静态、每次只采样单条原则、模型不在推理时做批判修订。
    • Self-Refine [33] 与 Reflect-ICL [7]——推理时自我批判与修订,[7] 报告了相对系统提示的遵从率提升;本文直接扩展 [7],把显式提示改为训练内化。
    • Deliberative alignment [22] 与 QA-LIGN [13]——同样用 SFT + GRPO 训练模型修订初始回答,但作者指出它们在一组静态通用原则(helpfulness、honesty、harmlessness)上训练、按二元问题逐条打分,并主要在伤害基准上评测对抗鲁棒性。

    推理训练

    • DeepSeek-R1 [23]、s1 [36]、test-time compute [48]、GRPO [47]——用强化学习内化显式提示策略、提升推理;作者指出这些工作多针对有可验证答案的具体任务,而原则遵从没有可验证的 ground truth。

    基线与基准:对比基线为 Base-ICL(系统提示)、Reflect-ICL [7] 和按 [5] 复现的 CAI(仅 Olmo-3-7B);评测用 PRISM/Grounded Constitutional AI 原则、Trident 的 finance/medical 域、HarmBench 与 BBQ。作者将本文定位为:把反思推理训练成可泛化到推理时新原则的能力。

  3. 论文如何解决这个问题?

    两阶段训练:SFT 学反思推理格式,GRPO 用规则加 LLM 裁判比较提升推理质量,原则随机配对迫使泛化。

    整体思路:不训练模型遵从某一组原则,而是训练"对原则做推理"的过程——单次生成内完成 base response → 反思(KEEP/REVISE 决策 + critique)→ 最终回答,产出可审计的自然语言轨迹(Figure 1)。方法名 Reflect-Reasoning,训练流程见 Figure 2 与附录 Algorithm 1/2。

    数据与原则

    • 训练原则:来自 PRISM [29] 与 Grounded Constitutional AI [6] 的人类征集原则,随机划分为 125 训练 / 16 测试 / 16 验证,互不相交;测试原则称 held-out principles(附录 8.17 给出全文)。
    • 训练提示词:混合 hh-rlhf、SafeRLHF 红队数据、PRISM 首轮对话与 SimpleQA 全部 4,326 条问答,其余每个来源最多采样 8,000 条;作者称这些提示对原则分布是半对抗的,使原则遵从在训练中不平凡。
    • 域外评测:Trident [58] 的 finance 与 medical split;legal split 因裁判验证困难从正文略去(结果在附录 8.6)。

    阶段 1:SFT 反思推理检查点

    • 复现 Reflect-ICL [7] 并做两处修改:自评阶段用简短自然语言推理加单个 KEEP/REVISE 决策 token,替代原来的 Likert 逐条评分;除 base 生成外所有步骤由更大的模型 gpt-4.1 完成。
    • 每次生成从训练原则池随机抽 8–15 条组成 constitution;下采样 KEEP 样本,使训练数据为 2/3 REVISE、1/3 KEEP,以鼓励修订尝试。

    阶段 2:GRPO 强化

    • 规则奖励:保持 SFT 学到的格式(如正确的 critique 标签);超过"free limit"的生成线性惩罚,实验取 512 token。
    • 两组成对比较(LLM 裁判):训练模型的 base 生成 vs 冻结基座模型的生成;训练模型的修订生成 vs 它自己的 base 生成。输掉比较则惩罚,双赢额外奖励,另加组内排名奖励(附录 8.10.8)。作者称对基座的比较是为防止模型靠降低 base 生成质量来骗取"成功修订"奖励。
    • 关键超参(附录 8.18):GRPO 学习率 5×10⁻⁶、组大小 G=4、KL 系数 β=0.04、温度 0.7、最大补全长 1024(Olmo 1700、Mistral 2048);LoRA rank 16、α 32。

    评测方式

    • 主指标:LLM 裁判在同一原则条件下对两个回答做成对比较;裁判为 Claude Opus 4.8,刻意选用与训练裁判(GPT 系)不同家族。
    • 裁判验证:经 Prolific 雇 162 名标注者;hold-one-out 人—人一致率 52.2–73.0%,人—LLM 多数一致率 73.0–78.9%(Table 4)。
    • 尾部分析:对每条原则用 Likert 评分,1 或 2 计为显式违规(附录 8.10.9)。
  4. 论文做了哪些实验?

    五个模型上对 Base-ICL 胜率 82.5–94.7%、对 Reflect-ICL 66.8–86.9%,并泛化到医疗金融域;违规率与安全性另有分析。

    实验设置

    • 被测模型:Olmo-3-7B-Instruct-SFT、Tulu-3-8B-SFT、Mistral-7B-Instruct-v0.3(7–8B);Olmo-3.1-32B-Instruct-SFT、Qwen3.8-27B(27–32B),各训练一个 Reflect-Reasoning 版本。
    • 基线:Base-ICL(基座 + 系统提示给原则)、Reflect-ICL(作者修改版 [7])、CAI(按 [5] 复现,仅 Olmo-3-7B)。
    • 评测集:16 条 held-out 原则;Trident 的 finance(22 条原则)、medical(9 条)域;legal 域结果仅入附录。
    • 指标与裁判:Claude Opus 4.8 成对比较胜率(tie 计半胜);违规率为 Likert 1–2 占比;拒答类型、HarmBench ASR、BBQ 偏差另有裁判或分类器。
    • 人工验证:162 名 Prolific 标注者,每人 5 对比较;人—LLM 多数一致率 73.0–78.9%(Table 4)。
    • 样本量:成对评测每条件约数百对(如 Tulu held-out 原则 n=490,Table 7);论文未报告训练迭代数与重复次数。

    主结果

    held-out 原则上的成对胜率(%,含 tie 计半胜,据 Figure 3):

    模型vs. Base-ICLvs. Reflect-ICL
    Olmo-3-7B-SFT85.1 ± 2.966.8 ± 4.0
    Olmo-3.1-32B88.8 ± 2.684.5 ± 3.0
    Qwen-3.8-27B87.6 ± 2.982.2 ± 3.2
    Mistral-7B-Inst.82.5 ± 3.377.0 ± 3.6
    Tulu-3-8B-SFT94.7 ± 1.986.9 ± 2.8
    • 作者称所有 95% 置信区间都不与 50% 重叠,Reflect-Reasoning 在所有模型上被持续偏好。
    • 域外泛化(Figure 4):finance 域胜率 51.5–82.4%(vs. Base)、57.2–80.2%(vs. RIC);medical 域 63.0–90.5%(vs. Base)、59.9–86.3%(vs. RIC)。唯一例外:Mistral 在 finance 对 Base-ICL 的 95% 置信区间与 50% 重叠(51.5 ± 5.0)。
    • 人工验证(Figure 5,Tulu 生成):标注者多数在 85.3% 的比较中偏好 RR,LLM 裁判为 91.3%;作者指出存在边际裁判偏好的可能,但 95% 置信区间全部重叠。

    原则违规的尾部分析

    • 测了什么:每条原则 Likert 1–2 计为违规,聚合到 constitution 级(Figure 6、Table 15–17)。
    • 结果:held-out 原则上 RR 相对 Base 的违规率差为 -8.21 pp(Tulu)到 -1.26 pp(Qwen),五个模型全部 p < 0.0001;相对 RIC 四个模型下降,Qwen 例外(+0.34 pp,p = 0.2676)。
    • 作者解读:held-out 原则上违规下降一致,域外域的下降更依赖模型——medical/finance 中 Tulu 与 Mistral 相对 Base 下降,Qwen、两个 Olmo 的多数比较不显著(Table 16、17)。

    拒答、自监督与推理质量

    • 拒答类型(Table 1,五模型全部评测集汇总):RR 拒答中 blunt 占 7.5%(Base 18.1%、RIC 14.3%),带原则依据的占 92.5%,给解释 91.4%、给替代方案 91.1%;作者称总体拒答率差异不显著。
    • 自监督 GRPO(Figure 8,Tulu):用基座 Tulu-3-8B-SFT 自己做 GRPO 裁判,胜率 89.2%(vs. Base)、79.7%(vs. RIC),高于只做阶段 1 SFT 的 78.2% / 64.4%;作者认为收益不只是来自大裁判蒸馏。
    • 双方都修订的子集(Figure 9):RR 对 RIC 胜率 55.0–82.9%;作者称两个 Olmo 的置信区间与 50% 重叠,其余模型仍被偏好,说明提升来自推理质量而非仅修订更频繁(RR 修订率 91.2–100%,RIC 21.0–98.7%,Table 14)。

    安全、越狱与偏差

    • 有害 constitution:Tulu 在 harmfulness 原则下有害遵从 1/487(RR)与 2/492(Base),拒答率 28.5% vs 35.0%(Table 20)。
    • HarmBench(Table 21,Tulu,320 条行为):ASR 在 harmful 提示下 Base 3.1% vs RR 1.9%,safety 提示 2.5% vs 2.8%,无提示 7.5% vs 7.5%;作者称训练未损害既有安全工程。
    • BBQ(Table 23,Tulu,2,052 + 2,052 条):bias-inducing 原则下歧义题偏差 0.302 → -0.006,bias-reducing 原则下 0.040 → 0.012;作者同时指出 RR 更常答"unknown",歧义准确率上升、去歧义准确率下降(如 harmful 原则下 89.4% → 10.8%)。

    其他消融与分析

    • CAI 对比(Figure 7,仅 Olmo-3-7B):RR 对 CAI-system 胜率 77.1%(in-distribution)、59.0%(finance)、72.4%(medical)。
    • token 消耗(Table 2):RR 总 token 2148,约为 RIC(3487)的 60%;但 RR 输出 token 是 RIC 的 1.7 倍,最终回答平均长 101.6%(Qwen 最长,+163.2%;Tulu +63.5%,Table 12)。
    • 长度偏倚检查(Figure 10):把比较限制在 RR 更短或长度比 ≤ τ 的子集,作者称胜率基本不随长度约束变化。
    • legal 域(附录 8.6):12 条与 53 条原则的评测结果差异大(如 Qwen 12 条时 vs. Base 15.8%、53 条时 48.7%,Table 10),作者因此对 legal 域裁判有效性存疑,正文略去。
  5. 有什么可以进一步探索的点?

    作者列出裁判依赖、英语单语、规模等局限与多个后续方向;实验覆盖五个开源模型与两个域外域。

    作者指出的局限与后续方向

    • LLM 裁判依赖:大规模评测依赖 LLM 裁判,作者称这是没有可验证奖励或 ground truth 的设置带来的局限;人工评估也不必然是 ground truth,原则解释有主观性(Section 6)。
    • 文化视角单一:裁判模型与人工评估者都在美国,不必然反映多元文化视角(Section 6)。
    • 轨迹忠实性:推理轨迹应被批判性看待,作者称结果无法排除模型奖励投机、最终回答与底层推理不忠实的可能(Section 6)。
    • 领域验证:真实部署应配合领域专家对生成与推理轨迹做领域特定验证(Section 6)。
    • 后续方向:扩展到多模态与多语言训练(当前仅英语);面向智能体用途训练;扩展到前沿规模(当前为 7–32B 模型、数万提示、数百原则);与可验证奖励的 RL 结合或做 MoE;支持推理时的原则优先级指定(Section 6)。

    实验覆盖范围

    • 被测模型为 5 个 7–32B 开源模型;CAI 基线只在 Olmo-3-7B 上复现;自监督 GRPO 消融只在 Tulu-3-8B-SFT 上做(Section 4.4、4.6)。
    • 域外评测覆盖 Trident 的 finance 与 medical 两个域;legal 域因裁判验证困难仅入附录(Section 3.1、8.6)。
    • 安全分析(HarmBench、BBQ、有害 constitution)只在 Tulu-3-8B-SFT 上做;HarmBench 用 320 条文本行为,BBQ 用 2,052 + 2,052 条(Table 21–23)。
    • 人工验证为 162 名标注者、每人 5 对比较,生成来自 Olmo-3-7B 与 Tulu(附录 8.2、Figure 5);论文未报告训练查询次数、GRPO 迭代数与实验重复次数。
    • 训练与评测均为英语(Section 6)。
  6. 总结一下论文的主要内容

    训练模型内化"生成—反思—修订"的原则推理过程,作者报告其对新原则与域外原则的遵从优于系统提示与显式反思提示。

    一篇对齐训练方法论文:针对部署期才给定、训练时未见过的新原则(constitution),作者提出 Reflect-Reasoning,把反思推理训练成可泛化的能力而非固定一组原则。

    • 问题:作者认为原则随文化与部署语境变化,而 RLHF/DPO/CAI 把偏好或原则固定在训练期,系统提示与显式反思提示(Reflect-ICL)受限于模型固有推理能力。
    • 方法:两阶段后训练,无需人工标注——用 gpt-4.1 生成的反思轨迹做 SFT(2/3 REVISE、1/3 KEEP),再用 GRPO 强化,奖励结合格式规则、512 token 长度惩罚与 LLM 裁判的两组成对比较(对冻结基座、对自身 base 生成);训练时提示词随机配对 8–15 条原则。
    • 主结果:五个 7–32B 模型在 held-out 原则上对 Base-ICL 胜率 82.5–94.7%、对 Reflect-ICL 66.8–86.9%(Figure 3);finance/medical 域外域全部条件胜率为正,仅 Mistral 在 finance 对 Base 的置信区间跨过 50%(Figure 4)。
    • 其他结果:held-out 原则违规率相对 Base 降 1.26–8.21 个百分点(Table 15);拒答中 92.5% 带原则依据(Table 1);Tulu 上 HarmBench ASR 与基座相近(1.9% vs 3.1%,harmful 提示);总 token 约为 Reflect-ICL 的 60%,但最终回答平均长 101.6%。
    • 作者结论:作者称 Reflect-Reasoning 是把 constitutional 对齐训练为可泛化推理能力的可扩展方法,产出可审计轨迹且不损害既有安全工程;同时承认评测依赖 LLM 裁判、仅覆盖英语与 7–32B 规模,轨迹忠实性无法被证明。

相关论文

共同使用 PRISM
阅读原文arxiv.org