超越 AI 对齐中的偏好取向

一篇 arXiv 论文（2408.16984）批评 AI 对齐中以偏好代表人类价值的取向，主张改为以社会角色的规范标准作为对齐目标。作者将这一取向称为偏好主义，指出理性选择理论作为描述模型存在局限，偏好难以承载人类价值的厚语义内容，效用表示也忽视价值的不可通约性。论文还质疑期望效用理论（EUT）对人类和 AI 的规范性，认为理性主体不必遵循 EUT，且 EUT 对哪些偏好可被接受保持沉默。作者据此提出，对齐目标应重新定位为由所有相关方协商确定的社会角色规范，使多种 AI 系统在价值多元下服务不同目标。