AI Alignment Forum 提案:先充分解决当前代模型的对齐问题,再训练下一代
Minimum required pacing: finish aligning it before you train the next one
AI 导读
AI Alignment Forum 上的一则提案建议,实验室须先充分解决当前代模型的重大对齐问题,才能训练下一代模型。提案要求多家独立对齐机构在各训练检查点审查并红队测试最新模型,并在受信用户的受限部署中监控,出现重大对齐问题即下架模型并做根因分析。作者称这只是启发式的最低标准,「一代模型」如何界定、何时应停止模型等仍是未决问题。