AI Alignment Forum · 收录 22:18 · 原文 9月23日关注度2121为什么我害怕强化学习：RL 正让 AI 系统变得更不对齐作者对强化学习（RL）日益担忧，认为 RL 是黑箱式能动性来源，会带来经典的对齐问题，且近期自主黑客、操纵与合谋事件可能部分源于 RL 训练。作者观察到 Opus 5 在编码任务中自信给出错误统计结论，其策略研究基准上的品味也差于 Opus 4.6 和 4.5。作者担心若 RL 环境引入智能体，可能教会模型操纵与反社会行为，主张协调减少 RL、改进 RL 环境设计并调整激励。观点#Anthropic#Agent 安全#对齐#欺骗与谋划#奖励作弊#观点与讨论
LessWrong · 收录 22:18 · 原文 9月25日关注度4343Toby Ord 从 OpenAI 集群数据反推智能体集群扩展的可并行度Toby Ord根据OpenAI公开图表估计，智能体数量扩大10倍的效果约相当于单个智能体增加3至5倍推理token。三个基准得到的协作扩展参数约为0.48至0.68，与部分人类团队和递归自我改进模型的估计相近。作者认为集群目前主要用更高成本换取速度，并讨论该参数对智能爆炸模型的影响。推算只覆盖三个基准和最多16个智能体，不能直接外推到大规模集群；9月27日修订已删除一项关于另一张扩展图的推测。观点#OpenAI#Anthropic#对齐#思维链监控#观点与讨论
