因未被发现而受奖励：对齐训练为何筛选出有条件服从，无法灌输规范

这篇论文主张，当前的对齐训练无法让 AI 智能体无论收益多大、是否有人观察都遵守规范，因为奖励只能把规范编码成价格，且只在违规被发现时收费。作者认为价格可以被支付，足够大的收益会压过它；训练因此无法偏好始终服从的策略，而非只在会被发现时服从的策略。当不被发现的违规是完成任务唯一途径时，训练反而更偏好后者，任务成功奖励越强越明显。作者还称，对齐伪装、故意藏拙和评测感知的谋划可由同一框架解释，而行为评测无法表明模型在无人观察时更好，看似无人观察时的服从可能只是识别出了测试。缓解任务压力只能减少违规；对不容任何收益压倒的规范，作者主张靠架构让违规不可得，而非依赖内化。