作者担心 LLM 加速硬件研发,让廉价 ASI 更容易实现
I'm worried about LLMs accelerating hardware for cheap ASI
AI 导读
作者担心 LLM 加速硬件研发会为通过新范式造出廉价 ASI 铺路,而这种 ASI 大概率不对齐。按其估计,若有合适的硬件和算法,新范式 ASI 的能源成本可低于 $10k;瓶颈可能在硬件,而 LLM 正变得擅长硬件设计和 FPGA 编程。作者建议 AI 实验室避免让模型过于擅长硬件设计,并实施防止其被用于开发新硬件的防护。