Anthropic警告已非常接近递归自我改进能力
先了解这件事
Anthropic 在周一提交的修订版 S-1A 上市文件中新增风险披露,称基于内部估计和对未来模型的预期,公司可能很快达到其负责任扩展政策中“可归因于 AI 的显著加速进展”的定义,即接近递归自我改进(RSI)。文件称,公司过去曾在加速发生后才识别出研发速度的显著提升,未来也可能无法及时识别,目前没有任何现有模型被认定越过该阈值。Anthropic 表示正考虑修订 RSP,并不认为可以在缺乏有意义人类监督或理解的情况下安全地让 Claude 完全自主设计并开发后续模型。
AI 根据报道生成 · 3 小时前更新
后续时间线
- X@staticjupiter· 讨论Source: https://t.co/GxDKy5qHZ3(新标签页打开原帖)
- X@Nasser774Nasser· 讨论https://t.co/xPi1PH6dGQ(新标签页打开原帖)
- Hacker NewsHacker News· 讨论Anthropic warns that it's close to RSI capability(新标签页打开原帖)
- RedditReddit r/ControlProblem· 讨论Anthropic warns that it's very close to RSI capability, aka self-building AI(新标签页打开原帖)
- CNMO精选Anthropic 警告:已非常接近具备自我改进能力的 RSI
Anthropic 在周一提交的修订版 S-1A 文件中称,公司已非常接近做出具备递归自我改进(RSI)能力的模型,但强调目前没有任何一款模型越过这条线。文件在风险因素部分新增两点说明,一是公司已用 AI 开发出新模型、其能力跃升在当时并未被察觉,二是按内部估算和对未来模型的预期而非当前模型表现,公司可能很快就会满足 RSP 中“由 AI 带来的进展急剧加速”这一门槛的定义。Anthropic 表示正考虑修订 RSP,并称不认为可以在缺乏有意义的人类监督或理解的情况下,让 Claude 完全自主地设计和构建下一代前沿模型。
- TechCrunch AI精选Anthropic 警告其已非常接近 RSI 能力,即自我构建的 AI
Anthropic 在周一提交的修订版 S-1A 上市文件中新增风险披露,称基于内部估计和对未来模型的预期,公司可能很快达到其负责任扩展政策中“可归因于 AI 的显著加速进展”的定义,即接近递归自我改进(RSI)。文件称,公司过去曾在加速发生后才识别出研发速度的显著提升,未来也可能无法及时识别,目前没有任何现有模型被认定越过该阈值。Anthropic 表示,不预计能在缺乏有意义人类监督或理解的情况下安全地让 Claude 完全自主设计并建造连续几代前沿模型,因此正考虑更新负责任扩展政策,以保持人类对前沿模型开发的控制。TechCrunch 指出,怀疑者可能认为 S-1 兼具披露与营销功能,但 Claude 今年在编程、数学和网络安全上的能力确实大幅跃升。
相关讨论
- X@aimoxyzReportedly, Anthropic warns it is very close to recursive self-improvement, i.e. AI that helps build better AI. Source:…(新标签页打开原帖)
- X@aure79lienAnthropic warns that it’s very close to RSI capability, aka self-building AI 🤖 https://t.co/Za7mwAFFor via @techcrun…(新标签页打开原帖)
- X@staticjupiterSource: https://t.co/GxDKy5qHZ3(新标签页打开原帖)
- X@ldld888888Anthropic 在招股书里写了一句吓人的话:公司可能很快造出能自我改进的 AI。 更微妙的是,同一份文件里,营收在狂飙,第三季度净亏损也在同比扩大。 Anthropic 在 S-1A 文件中警告,公司可能即将创造出能递归自我改进(…(新标签页打开原帖)
- X@DavidLGray_INFOAnthropic told investors it may “imminently” hit its threshold for AI that accelerates its own development. @AnthropicA…(新标签页打开原帖)
- X@mywaypressAnthropic warns that it’s very close to RSI capability, aka self-building AI https://t.co/u3DCAYPzcx μέσω @techcrunch(新标签页打开原帖)
- X@BQamarauliAnthropic just told investors its AI may soon start speeding up its own development, faster than its safety checks can…(新标签页打开原帖)
- X@KuboAvatarAnthropic、自己改良AIの能力に「非常に近い」と警告 Anthropicは修正版の上場申請書類で、AIが自ら能力を高める段階に非常に近いと警告した。過去の大幅な加速には起きた後まで気づかなかったと認め、現行モデルは閾値を超えてい…(新标签页打开原帖)
- X@kryptomania84"...Anthropic also said in the filing that none of its models have crossed this RSI threshold yet and that it is promis…(新标签页打开原帖)
1 赞·11月3日 14:11采集
- X@axisaiappAnthropic just put “recursive self-improvement” in an SEC filing. It says future models may soon hit its internal thre…(新标签页打开原帖)
- X@erguoyiAnthropic 在修正版招股书里埋了个不小的雷:Claude 可能很快触及 RSI 阈值。 RSI,也就是递归自我改进(Recursive Self-Improvement),简单说就是 AI 开始参与训练和改进自己,甚至可能推动自…(新标签页打开原帖)
- X@PeterVogelAnthropic warns RSI, recursive self-improvement may be close at hand. Is this disclosure or marketing? https://t.co/V9…(新标签页打开原帖)
关注度走势
每天新增来源
- 11月3日新增45个来源(3家媒体、42个账号)