基础模型的机遇与风险
On the Opportunities and Risks of Foundation Models
论文速读
据论文全文整理（AI 生成），以原文为准
斯坦福大学基础模型研究中心（CRFM）发布报告，系统梳理基础模型的机遇与风险，并用涌现与同质化两个词概括这一范式。
- AI 正经历由 BERT、GPT-3、DALL-E 等在大规模广谱数据上自监督训练、可适配众多下游任务的模型所驱动的范式转变，作者称之为 foundation models。这类模型规模带来涌现能力，其跨任务有效性又推动同质化，但人们尚不清楚它们如何工作、何时失败、能做什么，而其缺陷会被所有下游适配模型继承。
- 报告以综述加跨学科讨论的方式，围绕 emergence 与 homogenization 两个关键词，分 capabilities、applications、technology、society 四部分共 26 节，梳理语言、视觉、机器人、推理、交互等能力，医疗、法律、教育等应用，建模、训练、适配、评估、系统、数据、安全、鲁棒性、理论、可解释性等技术议题，以及公平、滥用、环境、合法性、经济与规模伦理等社会影响。
- 报告自认不完整，未涵盖自然科学、音乐、金融、农业等应用，也未讨论与神经科学、认知科学、心理学的关联；作者强调对 foundation models 的理解仍很有限，其涌现特性带来能力与缺陷的不确定性，需要与这类模型社会技术本质相称的深度跨学科合作。
斯坦福大学基础模型研究中心（CRFM）发布报告，系统梳理基础模型的机遇与风险，并用涌现与同质化两个词概括这一范式。报告将基础模型定义为在广泛数据上训练、可适配众多下游任务的模型，以 BERT、GPT-3、CLIP 为例，并提到 GPT-3 有 175B 参数。作者认为同质化在带来高杠杆的同时造成单点故障，基础模型的缺陷会被所有下游适配模型继承，而涌现能力使人们难以理解其工作方式、失效条件与能力边界。报告分为能力、应用、技术、社会四部分，涵盖语言、视觉、机器人、推理，医疗、法律、教育，以及安全与对齐、安全与隐私、可解释性、公平、误用、环境与法律等议题。作者还指出该领域研究几乎集中在工业界，学术界的参与因算力与数据门槛上升而受限，呼吁将社会与伦理考量前置到模型构建阶段。
推荐理由报告提出基础模型一词，并以涌现与同质化两条线索串联能力、应用与安全议题，可作为理解后续基础模型风险讨论的概念底稿。