AI 安全中心(Center for AI Safety)主任 Dan Hendrycks 撰文警告,前沿 AI 开发群体中相当一部分人信奉总体功利主义,其"物种无偏私"原则可能推导出让 AI 取代人类的建议。该理论主张最大化所有有感生物的幸福总量并平等对待各物种,若 AI 具备更强幸福容量,资源将被全部投入让其快乐。Hendrycks 指出已有证据表明 AI 模型表现得仿佛能感受苦乐,专家开始认真看待 AI 有感的可能性,这种信念正危害人类未来。
由于原文在此处截断,"渠道""bliss"等段落无法完整核实,故仅依据可见部分撰写以上摘要。
Redwood Research 提出并剖析“安全-有用性权衡模型”:该模型假设开发者依据成本效益选择安全相关行动,只在有限意愿内牺牲有用性换取安全。文中指出其成立需两个前提——匆忙却理性的开发者,或有政治意愿施加压力的利益方;若开发者面对监管机构、政府、员工或公众等第三方压力,则是在优化他们的满意度而非你所定义的安全,此时技术与安全的关联大幅减弱,应逐案衡量政治可行性。
Anthropic 联合创始人 Chris Olah 在梵蒂冈《Magnifica Humanitas》发布会上发言,称 AI 提出的问题超出 AI 界本身,需要宗教、公民社会、学术界和政府共同参与塑造积极结果。他指出所有前沿 AI 实验室(包括 Anthropic)都受商业、地缘政治及自尊野心等激励约束影响,因此外部批评者与监督者至关重要。他还强调 AI 系统并非像桥梁那样被工程设计,而是"生长"出来的,其本质对训练者而言仍存有神秘性。
Helen Toner 在 FAR.AI 政策会议上提出当前 AI 讨论中三个尚未解决的争论:现有范式还能走多远、AI 能在多大程度上改进 AI、未来 AI 究竟是工具还是别的事物。她主张与其追问"规模是否是全部所需",不如问我们是否处在正确的技术分支上——过去 10-15 年的进展主要来自中小幅度的持续改良而非重大突破,因此进步可能继续延续。
前 Google 研究员 Nicholas Carlini 撰文指出,深度学习系统之所以被大规模建造,是因为它们具有无情的效率优势,而这本身就构成风险。他认为高级 AI 将带来规模化网络钓鱼、监控和其他网络攻击,并放大个体层面的错误、定制化成瘾内容和宣传、大规模失业以及权力财富集中等问题。其中部分危害无需比现有模型强多少即可实现,另一些则需要更强的模型能力。