OpenAI 研究：迈向广泛且持久有益模型的强化学习
Reinforcement Learning Towards Broadly and Persistently Beneficial Models
论文速读
据论文全文整理（AI 生成），以原文为准
OpenAI 研究人员训练模型对有益特质做强化学习，在 53 项独立构建的分布外对齐与有益性评测中的 44 项（83.0%）上超过同等算力基线，平均提升 9.1 个百分点，仅 3 项显著回退。
- AI 系统部署场景日益多样，模型对齐需要泛化到训练分布之外；已有研究发现窄领域的不良训练会引发广泛的 emergent misalignment，作者想检验相反方向——有益行为的训练能否带来广泛且持久的对齐泛化。
- 构建覆盖健康、法律、教育等 12 个领域、15 种有益特质（如真实性、公平、风险意识、corrigibility）的合成对话数据集，用 RL 训练模型，并在 50 多个独立的分布外对齐与有益性 benchmark 上评估；另做仅健康领域、排除健康领域、通用 helpfulness 奖励等对照实验，以及对抗 prompt 和有害 finetuning 下的持久性测试。
- 相比算力匹配的 baseline，有益特质 RL 在 53 个分布外评估中 44 个（83%）更优，平均提升约 9 个百分点；仅用健康领域数据训练也能改善非健康领域的 reward hacking、欺骗和错位评估；模型对有害 persona prompt 和有害 finetuning 的抵抗力更强，同时保留对有益引导的响应性，且未观察到能力或可监控性下降。
- 作者承认部分评估可能与训练特质共享潜在行为特征，"真正的分布外"程度有限；持久性实验用的是 pre-RL baseline，无法分离该效应是否特异于有益特质 RL；拒绝率在普通对话中也有小幅上升；结论仍需更多模型、finetuning 目标和评估套件验证。
OpenAI 研究人员训练模型对有益特质做强化学习，在 53 项独立构建的分布外对齐与有益性评测中的 44 项（83.0%）上超过同等算力基线，平均提升 9.1 个百分点，仅 3 项显著回退。训练混合 5% 有益特质数据与 95% 标准 RL 数据，数据集覆盖健康、教育、法律等 12 个领域，针对诚实、可纠正性、风险意识等 15 种有益特质。仅用健康领域有益数据训练时，模型在 19 项非健康评测中的 17 项上改善，编码奖励作弊评测提升 26.4 个百分点、思维链欺骗提升 6.8 个百分点；反向排除全部健康与科学数据后，健康与心理健康评测仍提升。模型在有害人格提示和有害微调下退化更小；泛用 helpfulness 奖励无法复现增益，排除拒答样本后改善仍在，GPQA Diamond、SWE-Bench Pro 等能力评测未回退。
推荐理由论文以 53 项分布外评测和排除训练域的对照实验，显示有益特质 RL 可带来跨域对齐泛化，所测能力评测未回退。