作者思考“安全有害因预警有益”论:若按钮只让当前 AI 更安全,其最佳猜测是按下
Thoughts on "safety bad bc warning shots good"
AI 导读
作者检视“让当前 AI 更安全反而有害”的预警论证,最佳猜测是仍应让当前 AI 更安全。该论证称未来智能体几乎贡献全部灾难风险,当前 AI 更安全会减少非灾难性危害、降低各方对灾难风险的关注;作者指出它忽略更高阶效应,所需定量建模也无人做过。作者还提到开源权重模型落后前沿约 6 个月、当前 AI 已能承担监控和研究等安全工作。