Boaz Barak· Boaz Barak·本站收录2026-10-29 00:15· 原文发表10月28日

Boaz Barak 的 CS 2881 课程 2026 秋季第 3 讲：现代 LLM 训练与推理

CS 2881 Fall 26: Lecture 3: Modern LLM Training and Inference

AI 导读

Boaz Barak 的 CS 2881 课程第 3 讲笔记梳理现代 LLM 训练与推理，覆盖 GPU 性能、Transformer 算术、RLHF、策略梯度与 SmolLM3 训练配方等 9 篇课前阅读。课堂讲解深度学习为何偏好可扩展的简单方法、GPU 如何塑造 Transformer，以及 SFT 与策略梯度的数学和 deliberative alignment 安全训练。最后用实验研究自然语言填充文本何时给模型额外计算空间。