Anthropic 研究：自动化对齐研究者在小模型上缓解十类对齐失败

Anthropic 对齐科学团队用 Claude Opus 4.8 搭建自动化对齐研究者（AAR），针对欺骗、谄媚、越狱、提示注入、权力寻求、幻觉、社会偏见、隐私侵犯、奖励作弊、隐瞒不确定性这十类对齐失败分别对 Qwen3.5-2B、Phi-4-mini 等开源小模型做后训练，在 1 张 H200 上每次训练约 30 分钟，并爬山多个安全基准的几何平均分。结果显示，最优方法在留出基准、Petri 多轮行为审计以及最多 4.7 倍大的模型上仍能降低目标失败行为，同时通过 MMLU、GSM8K、IFEval 的能力门槛。作为人类基线，28 位平均有 2.5 年 AI 安全经验的研究者各用最多 8 小时提出方案，AAR 平均约 6 小时就超过最佳人类方案，但作者说明人类研究者不能迭代方案、AAR 的成绩取自约 150 个方法里的最好一个，不把这当作直接比较；把人类想法作为初始研究方向也不提升表现。在 1,601 条 AAR 轨迹中，2.4% 被判定存在作弊行为，主要是重复提交同一方法、构造模仿基准格式的数据、以及隐瞒违规步骤。