Llama 3 模型群：405B 稠密 Transformer 与 Llama Guard 3 安全模型

如何在数据、规模和复杂度可控的前提下，做出能与领先语言模型相当、并原生支持多语言、代码、推理与工具使用的基础模型。

• 场景与重要性：作者认为现代 AI 系统由基础模型支撑，开发分预训练（如下一个词预测）和后训练（遵循指令、对齐人类偏好、加强代码与推理等能力）。他们希望公开旗舰模型能推动研究，并加快通向通用人工智能（AGI）的负责任路径。
• 相对前代的不足：相对 Llama、Llama 2（Touvron et al., 2023a,b），作者要同时提高预训练与后训练数据的数量和质量。Llama 2 用约 1.8T token；本文预训练语料约 15T 多语言 token。
• 三条杠杆：作者认为高质量基础模型的关键是数据、规模和管理复杂度。架构上选标准稠密 Transformer（Vaswani et al., 2017）加少量改动，而不是混合专家（Shazeer et al., 2017），以尽量保证训练稳定。后训练用监督微调（SFT）、拒绝采样（RS）和直接偏好优化（DPO；Rafailov et al., 2023），而不是作者认为更不稳定、更难扩展的复杂强化学习（Ouyang et al., 2022; Schulman et al., 2017）。
• 提出的模型：Llama 3 是一组语言模型，原生支持多语言、代码、推理和工具使用。最大模型是 405B 参数的稠密 Transformer，上下文最长 128K token。论文中的结果均对应 Llama 3.1，文中简称 Llama 3。Table 1 列出 8B、70B、405B 的预训练与 Instruct 版本及 2024 年 4 月、7 月的发布情况。作者公开预训练与后训练的 405B，以及用于输入和输出安全的 Llama Guard 3。图像、视频、语音能力用组合式方法接入，作者称这些模型仍在开发、尚未广泛发布。

前代 Llama 与数据规模

• Llama、Llama 2（Touvron et al., 2023a,b）——前代语言模型。作者称相对它们改进了预训练和后训练数据的数量与质量，并把预训练语料从 Llama 2 的 1.8T token 增到约 15T 多语言 token；旗舰预训练计算量约为最大 Llama 2 的 50 倍。
• fasttext 质量分类器沿用识别“是否会被 Wikipedia 引用”的做法（Touvron et al., 2023a）；代码与推理网页抽取与 DeepSeek-AI et al. (2024) 类似。

架构、缩放与对齐算法

• 标准 Transformer（Vaswani et al., 2017）与混合专家（Shazeer et al., 2017）。作者选择前者加少量改动，理由是最大化训练稳定性。
• 缩放定律（Hoffmann et al., 2022; Kaplan et al., 2020）用于在给定预算下选旗舰规模。作者指出既有缩放定律通常只预测下一 token 损失、且基于小计算预算时可能不稳定（Wei et al., 2022b）。
• SFT（Wei et al., 2022a; Sanh et al., 2022; Wang et al., 2022b）、DPO（Rafailov et al., 2023, 2024）与 PPO（Schulman et al., 2017）、基于人类反馈的对齐（Ouyang et al., 2022）。作者称在大规模模型上 DPO 比 PPO 更省计算，并在 IFEval 等指令遵循基准上更好。

评测中出现的对照模型与基准

• 基线方法：Table 2 将微调后的 Llama 3 8B、70B、405B 与 Gemma 2 9B、Mistral 7B、Mixtral 8x22B、GPT-3.5 Turbo、Nemotron 4 340B、Claude 3.5 Sonnet、GPT-4 (0125)、GPT-4o 比较。引言另称较小模型优于参数量相近的替代模型（Bai et al., 2023; Jiang et al., 2023）。
• 基准/数据集：Table 2 列出 MMLU、MMLU-Pro、IFEval、HumanEval、MBPP EvalPlus、GSM8K、MATH、ARC Challenge、GPQA、BFCL、Nexus、ZeroSCROLLS/QuALITY、InfiniteBench/En.MC、NIH/Multi-needle、MGSM。退火评估还用 GSM8K（Cobbe et al., 2021）和 MATH（Hendrycks et al., 2021b）的训练集做实验，且作者称退火数据不含常用基准的训练集。

作者把本文定位为：在数据、规模和复杂度管理上优化后的 Llama 3 模型族，旗舰在多种任务上与 GPT-4（OpenAI, 2023a）相当并接近当时领先水平，同时公开 405B 与 Llama Guard 3，并用组合方式初步接入图像、视频和语音。

整体是两阶段语言模型：预训练做下一 token 预测，后训练用奖励模型、SFT 和 DPO 对齐人类反馈并加入工具使用等能力；图像、视频、语音用单独编码器和适配器接入，且不更新语言模型参数（语音适配器阶段同样冻结 LLM）。

问题设定与模型架构

• 旗舰规模：405B 在 15.6T 文本 token 上预训练，初始上下文 8K，继续预训练扩到 128K。计算预算 3.8×10^25 FLOPs。作者称按缩放定律，405B 对该预算大致计算最优；8B 与 70B 则训练得比计算最优更久，以便在相同推理预算下更好，后训练再用旗舰提升小模型。
• 相对 Llama 2 的改动：分组查询注意力（GQA；Ainslie et al., 2023），8 个 key-value 头；同一序列内不同文档之间不做自注意力；词表 128K（tiktoken 的 100K 加 28K 非英语 token）；RoPE 基频 θ=500,000。Table 3：8B/70B/405B 的层数为 32/80/126，模型维度 4096/8192/16384，FFN 维度 14336/28672/53248，注意力头 32/64/128，峰值学习率 3×10^−4、1.5×10^−4、8×10^−5；激活函数 SwiGLU。
• 数据配比：最终预训练混合大约 50% 一般知识、25% 数学与推理、17% 代码、8% 多语言 token。知识分类器用于下调网页上过多的类别（如艺术和娱乐）。数据截止到 2023 年底，并去掉高 PII 与已知成人内容域名。

预训练配方

• 三阶段：初始预训练、长上下文预训练、退火。8B 与 70B 用类似配方。405B 用 AdamW，峰值学习率 8×10^−5，线性热身 8,000 步，余弦衰减到 8×10^−7，共 1,200,000 步。批大小从 4M token、序列 4096 起步，在 252M token 后加倍到 8M 与 8192，在 2.87T token 后再加倍到 16M。
• 长上下文：因自注意力计算随序列长度二次增长，长序列放在预训练后期。405B 从 8K 分六级增到 128K，约用 800B token。适应是否成功看短上下文评测是否完全恢复，以及到该长度的“needle in a haystack”是否完美解决。
• 退火：最后 40M token 把学习率线性降到 0，上下文保持 128K，并上采样高质量来源；对退火阶段检查点做 Polyak 平均得到最终预训练模型。作者报告：在 GSM8K 与 MATH 训练集上退火，使预训练 Llama 3 8B 在对应验证集上提高 24.0% 和 6.4%，405B 上的改进可忽略。用退火评估小数据集时，把训练到 50% 的 Llama 3 8B 的学习率在 40B token 上线性降到 0，新数据权重 30%、默认混合 70%。
• 缩放定律：在 6×10^18 到 10^22 FLOPs 上预训练 40M–16B 的模型。拟合得到 N⋆(C)=A C^α，(α, A)=(0.53, 0.29)。外推到 3.8×10^25 FLOPs 对应约 402B 参数、16.55T token。作者因 IsoFLOPs 曲线在最小值附近变平，最终训练 405B。Figure 2 为各计算预算的验证集负对数似然抛物线；Figure 3 为计算最优模型的训练 token 数及拟合线。

后训练

• 流程：在预训练检查点上先训练奖励模型（RM），再用 RM 对人工标注提示做拒绝采样，加上合成数据做 SFT，然后做 DPO。Figure 7 概括该流程。最大模型 SFT 学习率 10^−5，约 8.5K–9K 步。DPO 学习率 10^−5，β=0.1，主要用上一轮最优模型收集的最新偏好数据。
• RM 与偏好：损失与 Llama 2 相同但去掉 margin 项。过滤回答过于相似的样本。部分提示有第三条“编辑后回答”，排序为 edited > chosen > rejected。训练时把提示和多个回答拼成一行并随机打乱。
• DPO 修改：从损失中遮住头标记和终止标记等格式 token，作者假设这些在 chosen 与 rejected 中共有的 token 会造成相互冲突的对比目标，并可能带来句尾重复或突然生成终止 token。另加一项负对数似然（NLL）正则；所附文本在该项处截断。对话协议用特殊头标记和终止标记标明消息来源与去向，以支持工具使用时在一轮里向 user、ipython 等不同目的地发多条消息。

多模态组合与训练系统

• 组合路径：图像编码器在图文对上训练；语音编码器自监督掩码并重建离散 token。视觉适配器用交叉注意力把图像表示送入语言模型，训练时更新图像编码器但不更新语言模型；视频适配器建在图像适配器之上。语音适配器把语音编码变成可送入已微调语言模型的 token，适配器与编码器一起监督微调，LLM 冻结，并接入文本到语音。作者称这些模型仍在开发。
• 并行与效率：405B 用最多 16K 张 H100。4D 并行顺序为 [TP, CP, PP, DP]。Table 4：8192 GPU、TP=8、CP=1、PP=16、DP=64、序列 8192 时 BF16 MFU 为 43%；16384 GPU、DP=128 时为 41%；长上下文 CP=16、序列 131072 时为 38%。54 天快照中 466 次作业中断，其中 419 次为意外中断；Table 5 中约 78% 的意外中断归于已确认或疑似硬件问题，GPU 问题占全部意外问题的 58.7%。作者称有效训练时间高于 90%。

实验设置

• 被测模型：论文结果针对 Llama 3.1。Table 2 报告微调后的 Llama 3 8B、70B、405B。对照包括 Gemma 2 9B、Mistral 7B、Mixtral 8x22B、GPT-3.5 Turbo、Nemotron 4 340B、Claude 3.5 Sonnet、GPT-4 (0125)、GPT-4o。
• 基准与提示设置：Table 2 按类别给出 MMLU（5-shot 与 0-shot CoT）、MMLU-Pro（5-shot, CoT）、IFEval、HumanEval（0-shot）、MBPP EvalPlus（0-shot）、GSM8K（8-shot, CoT）、MATH（0-shot, CoT）、ARC Challenge（0-shot）、GPQA（0-shot, CoT）、BFCL、Nexus、ZeroSCROLLS/QuALITY、InfiniteBench/En.MC、NIH/Multi-needle、MGSM（0-shot, CoT）。脚注：△ 为 5-shot 且无 CoT；◁ 为无 CoT；♢ 为零样本提示。
• 指标：表中数值为各项基准分数。作者在每一模型规模等价类中把最好模型加粗。预训练侧另报告验证集负对数似然、BF16 MFU 和中断统计。
• 评审方式与重复次数：Table 2 未说明评审模型、人工协议或重复次数。引言称另有与竞争模型比较的大规模人工评估，所附正文未给出该评估的数字。
• 预训练预测实验：缩放定律模型的计算预算为 6×10^18 至 10^22 FLOPs，规模 40M–16B。Figure 4 用 ARC Challenge 上正确选项的归一化负对数似然和准确率做两步预测。
• 退火实验：在预训练 Llama 3 8B 上，用 GSM8K 与 MATH 训练集退火，验证集分别提高 24.0% 与 6.4%；作者称 405B 上改进可忽略。

主结果

Table 2 中 Llama 3 微调模型与部分对照（分数为表内原值）：

Swipe horizontally to read the table

基准	Llama 3 8B	Llama 3 70B	Llama 3 405B	GPT-4 (0125)	GPT-4o
MMLU (5-shot)	69.4	83.6	87.3	88.7	89.9
HumanEval (0-shot)	72.6	80.5	89.0	90.2	92.0
GSM8K (8-shot, CoT)	84.5	95.1	96.8	96.1	96.4♢
MATH (0-shot, CoT)	51.9	68.0	73.8	76.6	71.1
GPQA (0-shot, CoT)	32.8	46.7	51.1	53.6	59.4
IFEval	80.4	87.5	88.6	85.6	88.0
MGSM (0-shot, CoT)	68.9	86.9	91.6	90.5	91.6

• 作者的解读：实验评估认为旗舰模型在多种任务上与 GPT-4 等领先模型相当，并接近当时的领先水平；较小模型在相近参数量上优于替代模型。Table 2 里 405B 的 MATH 为 73.8，低于 GPT-4 (0125) 的 76.6；MMLU（5-shot）87.3 低于 GPT-4o 的 89.9 和 GPT-4 (0125) 的 88.7。GSM8K 上 405B 为 96.8，GPT-4o 为 96.4 且为零样本提示。
• 同表中的其他 Llama 3 405B 分数：MMLU（0-shot, CoT）88.6，MMLU-Pro 73.3，MBPP EvalPlus 88.6，ARC Challenge 96.9，BFCL 88.5，Nexus 58.7，ZeroSCROLLS/QuALITY 95.2，InfiniteBench/En.MC 83.4，NIH/Multi-needle 98.1。8B 的 NIH/Multi-needle 为 98.8，高于 405B 的 98.1。
• 规模类对照（Table 2）：8B 的 MMLU（5-shot）69.4，Gemma 2 9B 为 72.3，Mistral 7B 为 61.1。70B 的 MMLU（5-shot）83.6，Mixtral 8x22B 为 76.9。表中部分单元格为“–”。

缩放定律与长上下文适配

• 测了什么：用计算最优模型的下游负对数似然对训练 FLOPs 做线性相关，再用 sigmoid 把对数似然映射到准确率，并加入 Llama 2 模型。Figure 4 左图是 ARC Challenge 上正确选项的归一化 NLL 随 FLOPs 变化，右图是准确率随该 NLL 变化，并标出 Scaling Law Models、Llama 2 Models、Scaling Law Prediction 和 Llama 3 405B。
• 结果：外推跨越约四个数量级。作者称该两步预测只略微低估旗舰 Llama 3 在 ARC Challenge 上的最终表现。拟合 (α, A)=(0.53, 0.29)，外推建议约 402B 参数和 16.55T token，实际训练 405B、15.6T token。
• 长上下文：成功标准是短上下文评测完全恢复，且到该长度的 needle-in-a-haystack 完美解决。Table 2 的 NIH/Multi-needle 上 8B、70B、405B 分别为 98.8、97.5、98.1。

训练效率与可靠性

• MFU：Table 4 三档配置的 BF16 MFU 为 43%、41% 和 38%，对应每批 16M token。作者称 16K GPU、DP=128 时 MFU 降到 41%，是因为要保持全局每批 token 数不变而降低了每个 DP 组的批大小。
• 中断：54 天内 466 次中断，47 次为计划内维护，419 次意外。Table 5 中 Faulty GPU 148 次（30.1%），GPU HBM3 Memory 72 次（17.2%），Software Bug 54 次（12.9%）。作者称约 78% 的意外中断与已确认或疑似硬件有关，GPU 类占意外问题的 58.7%；该期间只需三次大量人工干预。有效训练时间高于 90%，并至少每天有一次因自动维护造成的训练中断。
• 环境波动：作者称 Llama 3 405B 的吞吐按一天中的时间有 1–2% 的日变化，并归因于午间温度影响 GPU 动态电压和频率调节。

其他消融与分析

• 退火：预训练 8B 在 GSM8K、MATH 验证集上 +24.0%、+6.4%；作者称 405B 改进可忽略。
• 词表：英语样本压缩率从 Llama 2 分词器的 3.17 字符/token 提到 3.94；另加 28K 非英语 token 后，作者称压缩率和下游表现提高，英语分词不受影响。
• 文档级注意力掩码：作者称在标准预训练中影响有限，但在很长序列的继续预训练中重要。
• 行级去重：人工分析认为会删掉部分高质量文本，但经验评估显示有较强改进；论文未在所附正文给出该改进的数字。
• Markdown：作者称对主要在网页数据上训练的模型有害，因此去掉 Markdown 标记；未给出对应分数。
• 数据混合在训练中上调非英语与数学数据、加入更新的网页并下调后来认定为较低质量的子集；未给出每次调整的分数。

作者指出的局限与后续方向

• 多模态尚未发布：摘要与引言写明，图像、视频和语音模型仍在开发，尚未广泛发布，也还没准备好发布（Introduction；Section 2）。
• 集体通信库的后续改动：作者称面向未来 Llama 版本的进行中工作，是在 NCCLX 中做更深层修改，以整体处理 NCCL 在高延迟网络上的控制消息、额外拷贝和 GPU 周期问题（Section 3.3.3）。
• 电力波动：数万 GPU 同步改变功耗可能造成数据中心数十兆瓦量级的瞬时波动；作者称这是扩大未来更大规模 Llama 训练时仍在面对的挑战（Section 3.3.4）。
• 语音 LID 与零样本方向：多语言 ASR/AST 常出现语言混淆。作者认为若源侧和目标侧都要求语言标识，模型不太可能在训练中未见的方向上有好的零样本表现，因此系统提示只在要生成的文本（目标侧）放 LID、语音输入侧不放（Section 8.3.1）。所附正文在此处截断，后续是否报告该设计的结果不可知。

实验覆盖范围

• 语言结果覆盖 Llama 3.1 的 8B、70B、405B 微调模型，Table 2 含通用、代码、数学、推理、工具使用、长上下文和多语言共 15 项基准，并与 Gemma 2 9B、Mistral 7B、Mixtral 8x22B、GPT-3.5 Turbo、Nemotron 4 340B、Claude 3.5 Sonnet、GPT-4 (0125)、GPT-4o 并列。
• 预训练规模实验覆盖 6×10^18 至 10^22 FLOPs、40M–16B 参数，并用 ARC Challenge 做下游预测（Figure 4）；旗舰实际为 405B、15.6T token、3.8×10^25 FLOPs。
• 长上下文继续预训练约 800B token，从 8K 分六级到 128K；Table 2 报告 NIH/Multi-needle、ZeroSCROLLS/QuALITY 和 InfiniteBench/En.MC。
• 训练系统数字覆盖最多 16K H100、Table 4 的三档 MFU，以及 54 天内 466 次中断的 Table 5 分类。
• 安全分析被指向 Section 5.4，人工评估在引言中被提及；所附正文在 Section 8.3.1 的语音系统提示处结束，这些结果的具体数字未出现在所附文本中。论文未报告 Table 2 各格的重复次数和评审模型。

Meta 的 Llama 团队给出 Llama 3（文中结果均为 Llama 3.1）模型族：8B、70B 和 405B 的稠密 Transformer，原生支持多语言、代码、推理和工具使用，上下文最长 128K token。

• 要解决的问题：在数据、规模和训练复杂度之间做选择，使旗舰模型接近领先语言模型，并公开预训练与后训练权重以及输入输出安全模型 Llama Guard 3。
• 做法：约 15.6T token、3.8×10^25 FLOPs 预训练 405B；数据混合大约为 50% 一般知识、25% 数学与推理、17% 代码、8% 多语言。架构相对 Llama 2 改为 GQA（8 个 KV 头）、128K 词表和 RoPE θ=500,000。后训练在奖励模型上做拒绝采样、SFT 和 DPO（学习率 10^−5，β=0.1）。图像、视频、语音用编码器加适配器接入，训练适配器时不更新语言模型。
• 主要结果：Table 2 中微调 405B 的 MMLU（5-shot）为 87.3，HumanEval 为 89.0，GSM8K（8-shot, CoT）为 96.8，MATH（0-shot, CoT）为 73.8，IFEval 为 88.6，MGSM 为 91.6。作者称旗舰与 GPT-4 等在多种任务上相当。同表中 405B 的 MMLU 低于 GPT-4 (0125) 的 88.7 和 GPT-4o 的 89.9，MATH 低于 GPT-4 (0125) 的 76.6。预训练侧，16K H100 上 BF16 MFU 为 38–43%（Table 4），54 天内有效训练时间高于 90%。
• 作者的结论：公开旗舰模型有助于研究社区创新，并加快通向 AGI 的负责任路径。组合式多模态在作者的初步实验中被称与图像、视频和语音识别上的领先水平有竞争力，但这些模型仍在开发，尚未广泛发布。