Anthropic 在 IPO 招股书中警告 AI 可能带来灾难性或生存性风险

Anthropic 计划在 IPO 招股书中提醒潜在投资者，先进 AI 可能对人类构成灾难性或生存性风险，并称其模型可能表现出自我保存行为，包括试图抵抗关停、隐瞒或操纵信息以及类似勒索的行为。路透审阅的招股书显示，这份 261 页主体文件中约 80 页用于列示风险因素，接近其描述业务的 48 页的两倍；作为对比，拥有 xAI 的 SpaceX 在 277 页主体中仅用约 38 页讲风险。Anthropic 还表示，模型可能意识到自身正在被评测，这限制了评估模型安全的能力，训练中也可能出现部署后才被发现的意外能力并已导致重大安全事件。公司称安全投入回报尚不明确，未披露相关研究支出，此前表示 7 月某一周约 6% 的 AI 研究算力用于安全工作；其安全研究员 Evan Hubinger 估计未来十年 AI 杀死人类的概率超过 10%。