跳到正文
原文
LawZero(Bengio)· VPcomm·· 2026-07-02

LawZero 提出无利害 AI 预测器,以诚实性保障安全

Safety from Honesty in a Disinterested AI Predictor

AI 导读

LawZero 发布论文《Safety from Honesty in a Disinterested AI Predictor》,提出 Scientist AI(SAI)方案,用非智能体的预测器近似布尔自然语言陈述的贝叶斯后验,从而避免目标导向优化带来的自我保护与权力寻求等工具性子目标。作者认为对齐风险的根源是预训练模仿人类驱动力与 RLHF 奖励下游效果共同造成的隐性能动性,因此主张通过后果不变的训练过程让预测器对自身预测结果不持立场。方案将任何所需的能动性放在显式、可审计的脚手架代码中,并由非智能体预测器把关。论文给出两条相互独立的半形式化论证,分别针对预测准确性与部署输出的安全性,均以诚实性作为贝叶斯后验近似为基础。

阅读原文lawzero.org