安全 AI 的动机需要多像人类？——对《If Anyone Builds It, Everyone Dies》核心论证的评述
How human-like do safe AI motivations need to be?
AI 导读
Joe Carlsmith 在系列文章第八篇中评述 Yudkowsky 与 Soares 新书《If Anyone Builds It, Everyone Dies》的核心论证，认为 AI 动机过于"异类"确实构成风险，但这一担忧被高估。他主张安全的关键不在让 AI 具备长期后果主义动机，而在于让 AI 在拒绝越轨行为选项上具备类似"德性"或"义务论"的动机，这种动机不必在概念和驱动力上高度类人，只需在实际危险输入上表现为安全行为。他同时承认，动机越不类人，越难预测其在分布外输入上的泛化，对齐伪装与"非对抗泛化科学"等挑战依然存在。