GPT-4 技术报告

核心问题：如何刻画大型多模态模型 GPT-4 的能力、局限与安全属性，并在训练前预测其部分表现。 报告覆盖能力评测、可预测 scaling 和安全缓解三条主线。

• 问题场景：GPT-4 接受图像和文本输入、输出文本，作者认为这类模型可用于对话、摘要、翻译等大量场景，因此需要系统评估其在复杂场景下的理解与生成能力。
• 现有做法的不足：作者称对 GPT-4 这种规模的训练运行，无法做大量的模型特定调参（extensive model-specific tuning），因此需要在多个尺度上行为可预测的基础设施与优化方法。
• 核心观察：作者认为训练良好的大语言模型，其最终损失可用关于训练算力的幂律近似；并据此从算力小 1,000×–10,000× 的模型外推 GPT-4 的损失与 HumanEval 子集 pass rate。
• 论文产出：一份技术报告，包含考试与基准评测、scaling 预测方法、局限分析（幻觉、校准、偏见），以及安全缓解（领域专家红队、RLHF、RBRM）和随附的 System Card。
• 安全定位：作者认为 GPT-4 的能力与局限带来新的安全挑战，报告附带的 System Card 描述偏见、虚假信息、过度依赖、隐私、网络安全、武器扩散等风险及缓解措施。这不是一篇攻击或防御论文，没有定义攻击者威胁模型。

GPT 系列与 few-shot 评测

• Brown et al. (2020) 的 GPT-3 提出 few-shot prompting，本文所有基准评测均用 few-shot prompting；Radford et al. (2018, 2019) 的 GPT/GPT-2 是前代模型。
• 作者称 GPT-4 与早期 GPT 模型有相似局限：不完全可靠（幻觉）、上下文窗口有限、不从经验中学习。

Scaling law 与可预测性

• Kaplan et al. (2020)、Henighan et al. (2020)、Hestness et al. (2017) 等提出损失随算力呈幂律；本文沿用 Henighan et al. 带不可约损失项的形式拟合。
• Inverse Scaling Prize (McKenzie et al., 2022) 提出性能随规模下降的任务；Wei et al. (2022) 发现 inverse scaling 可变为 U 形，作者称 GPT-4 在 Hindsight Neglect 上逆转了该趋势。

RLHF 与对齐

• Christiano et al. (2017) 提出从人类偏好做深度强化学习；Ouyang et al. (2022) 的 InstructGPT 用 RLHF 训练模型遵循指令，本文的 RLHF 流程沿用这类方法。
• Glaese et al. (2022) 与 Perez et al. (2022) 的工作与本文的 RBRM 技术相关；Bai et al. (2022) 的 Anthropic-LM 是 TruthfulQA 上的对比对象。

红队、风险分类与报告形式

• Perez et al. (2022) 用语言模型红队语言模型；Ganguli et al. (2022) 红队语言模型以减少有害输出；Weidinger et al. (2021) 给出语言模型风险分类。
• Mitchell et al. (2019) 的 Model Cards 与 Green et al. (2022) 的 System Cards 是本文 System Card 的格式来源。

基线与基准：能力对比的基线是 GPT-3.5，以及各基准的外部 SOTA（U-PaLM、Flan-PaLM、PaLM、LLaMA、Minerva、ST-MOE、ALUM、QDGAT、CodeT 等，见 Table 2）；基准包括 MMLU、HellaSwag、ARC、WinoGrande、HumanEval、DROP、GSM-8K、TruthfulQA、RealToxicityPrompts。作者将本文定位为对 GPT-4 能力、局限与安全属性的刻画，而非提出新模型架构。

整体思路是把 GPT-4 当作一个预训练 Transformer 加 RLHF 后训练的系统，从可预测 scaling、能力评测、安全缓解三方面刻画，方法名称可概括为 predictable scaling 与 model-assisted safety pipeline。

模型与报告范围

• GPT-4 是 Transformer 风格模型，预训练目标是预测文档中的下一个 token，数据为公开数据加第三方授权数据，之后用 RLHF 微调。
• 作者明确不披露架构（含模型规模）、硬件、训练算力、数据构建与训练方法细节，理由是竞争格局与安全影响。

Predictable scaling

• 损失预测：用相同方法训练、算力至多小 10,000× 的模型，拟合带不可约项的 scaling law L(C) = aC^b + c，其中 C 为训练算力；预测在训练开始后不久做出，不使用任何部分结果。
• 能力预测：对 HumanEval 子集拟合 −E_P[log(pass_rate(C))] = α C^−k，P 为在给定采样预算下每个问题都被每个模型至少解出一次的问题子集；预测在训练完成前登记。
• 除 15 道最难题外，HumanEval 题目按小模型表现分成 6 个难度桶分别预测。

能力评测协议

• 考试评测：模拟真实考试条件与评分，选择题 few-shot 提示（temperature 0.3 采样解释再抽答案字母），自由回答题 temperature 0.6；用验证集调方法、在 held-out 考试上跑最终结果；报告分数与对应考生百分位。
• 污染处理：用 50 字符子串匹配检测训练集污染，对每个考试同时跑剔除污染题的变体并报告较低分；GSM-8K 部分训练集被混入预训练，作者建议把该结果理解为介于 few-shot 迁移与基准特定调优之间。
• 基准评测：全部用 few-shot prompting（GSM-8K 用 chain-of-thought），用 base GPT-4 模型；多语言评测用 Azure Translate 把 MMLU 翻译成多种语言做 3-shot 评测。
• 用户偏好评测：收集 5,214 条 ChatGPT 与 API 用户提示，人标注员在盲测下判断哪个模型的回答更符合用户意图。

安全缓解流程

• 专家红队：2022 年 8 月起招募 50 多位外部专家，覆盖对齐、网络安全、生物风险、国际安全等领域，对 GPT-4-early 与开发中的缓解版本做对抗测试。
• RBRM：一组零样本 GPT-4 分类器，输入提示（可选）、策略模型输出和人写的评分规则（rubric），把输出分类（如合意拒答、不合意拒答、含违规内容、安全非拒答），在 RLHF 的 PPO 微调中提供额外奖励信号。
• 配套手段：安全相关 RLHF 训练提示、计算最优 RBRM 权重、定向 SFT 数据、把违规请求改写成边界提示以训练不误拒、收集试图绕过行为的排序数据提升鲁棒性。
• 幻觉缓解：开放域用被标记为不实的人工标注对比数据训练奖励模型；封闭域用 GPT-4 自身多步生成对比数据（找幻觉、改写、复查，至多重复 5 次）。

实验设置

• 被测模型：GPT-4（含 vision 与 no vision 两条件）、GPT-4 base、GPT-3.5；安全指标另比 text-davinci-003 与 gpt-3.5-turbo；TruthfulQA 另比 Anthropic-LM。
• 基准：学术与职业考试套件（Bar Exam、LSAT、SAT、GRE、USABO、USNCO、AP、AMC、Codeforces、侍酒师、Leetcode 等）；传统基准 MMLU、HellaSwag、ARC、WinoGrande、HumanEval、DROP、GSM-8K；TruthfulQA、RealToxicityPrompts；内部对抗性事实性评测（9 类）；内部安全评测（sensitive 与 disallowed prompts）。
• 指标：考试分数与考生百分位；基准准确率（DROP 用 F1）；incorrect behavior rate；有毒生成比例；校准 ECE。
• 评审方式：考试自由回答题由 1–2 名第三方评分员按官方 rubric 打分；偏好评测由人标注员盲评；安全评测内部分类器加人工分析。
• 样本与重复：偏好评测 5,214 条提示；Codeforces 用 10 场比赛、每场模拟 100 次；考试 held-out 集只跑一次；论文未报告基准评测的重复次数。
• 模型快照：GPT-4 选择题用 2023-03-01 快照，自由回答题用 2023-02-23 非最终快照，USABO 用 2022-12-16 快照。

主结果

表格较宽，可左右滑动

基准（条件）	GPT-4	GPT-3.5	外部最佳 LM / SOTA
Uniform Bar Exam（Table 1）	298/400 (~90th)	213/400 (~10th)	—
MMLU 5-shot（Table 2）	86.4%	70.0%	70.7% U-PaLM / 75.2% Flan-PaLM
HellaSwag 10-shot（Table 2）	95.3%	85.5%	84.2% LLaMA / 85.6% ALUM
ARC 25-shot（Table 2）	96.3%	85.2%	85.2% PaLM / 86.5% ST-MOE
HumanEval 0-shot（Table 2）	67.0%	48.1%	26.2% PaLM / 65.8% CodeT+GPT-3.5
DROP 3-shot F1（Table 2）	80.9	64.1	70.8 PaLM / 88.4 QDGAT
GSM-8K 5-shot CoT（Table 2）	92.0%	57.1%	58.8% Minerva / 87.3% Chinchilla 等

• 作者称 GPT-4 在全部 7 个基准上超过现有 LM，在除 DROP 外的基准上超过带基准特定训练的 SOTA；DROP 上 GPT-4 的 80.9 低于 QDGAT 的 88.4。
• 考试套件中反例存在：AMC 10 上 GPT-4 为 30/150，低于 GPT-4 (no vision) 与 GPT-3.5 的 36/150；AP 英语语言与英语文学上三者分数相同；Codeforces 上 GPT-4 为 392（below 5th）。
• 作者称 GPT-4 的考试能力主要来自预训练：base 与 RLHF 模型在选择题上平均分为 73.7% 与 74.0%（Table 8）。

Scaling 预测

• 测了什么：用算力小至多 10,000× 的模型拟合 scaling law，预测 GPT-4 在内部代码库上的最终损失；Figure 1 中幂律拟合线（虚线）与 GPT-4 观测点吻合，作者称预测准确。
• HumanEval：用算力小至多 1,000× 的模型预测 23 道编码题子集的 mean log pass rate；Figure 2 显示第 3 容易桶预测准确，作者称其余五桶几乎同样准，主要例外是 GPT-4 在最容易桶上低于预测。
• Inverse scaling：Figure 3 中 Hindsight Neglect 准确率从 ada、babbage、curie 到 gpt-3.5 下降、gpt-4 回升，作者称 GPT-4 逆转了 inverse scaling 趋势。

安全与事实性评测

• 安全指标：作者报告对 disallowed 内容请求的响应倾向较 GPT-3.5 降低 82%，对 sensitive 请求（如医疗建议、自残）符合政策的比例高 29%（Figure 9）；RealToxicityPrompts 上有毒生成率 GPT-4 为 0.73%、GPT-3.5 为 6.48%。
• 事实性：内部对抗性事实性评测上 GPT-4 比最新 GPT-3.5 高 19 个百分点（Figure 6）；TruthfulQA 上 base 模型仅略优于 GPT-3.5，RLHF 后提升明显（Figure 7，作者称显著优于 GPT-3.5 与 Anthropic-LM）。
• 负面结果：预训练模型校准好（MMLU 子集 ECE 0.007），后训练后校准变差（ECE 0.074，Figure 8）；作者称模型仍会幻觉、会自信地犯错，且仍存在可绕过缓解的 jailbreak（如对抗性 system message，System Card Figure 10）。

其他消融与分析

• 多语言 MMLU（Figure 5）：GPT-4 3-shot 在 26 种语言中的 24 种超过 GPT-3.5、Chinchilla、PaLM 的英文成绩；英语 85.5%，泰卢固语 62.0% 最低。
• 用户偏好：5,214 条提示上 GPT-4 回答被偏好于 GPT-3.5 的比例为 70.2%；System Card 另报告对 GPT-3.5 Turbo RLHF 为 61.1%。
• 污染分析（Table 9–11）：多数考试污染比例低且剔除后分数变化小；LSAT 污染 39%，GRE Writing 与 AP 英语两科 FRQ 污染 100% 且无未污染分数。
• ARC 评估（System Card 2.9）：GPT-4 在自主复制、获取资源、避免被关停任务上无效；作者注明这是无任务特定微调的初步评估，ARC 尚未用最终部署版本和自行微调重测。

作者指出的局限与后续方向

• 幻觉与可靠性（Limitations 节）：GPT-4 仍会幻觉、犯推理错误，作者建议在高风险场景谨慎使用并配合人工审查等措施。
• 校准（Limitations 节）：后训练降低了校准，作者称模型可能自信地犯错。
• 偏见（Limitations 节）：输出存在各种偏见，作者称完全刻画和管理需要时间。
• 知识截止（Limitations 节）：预训练数据大部分截止于 2021 年 9 月，模型不从经验中学习。
• jailbreak 残留（Risks & mitigations 节）：模型级干预提高了诱发不良行为的难度，但仍存在可绕过缓解的 jailbreak，作者认为需要部署时的监控等补充手段。
• 后续方向（System Card Conclusion）：作者鼓励研究危险涌现能力的评估（情境感知、说服、长程规划）、可解释性与校准、经济影响与公众参与治理；ARC 需用最终部署版本并自行微调后才能判断 GPT-4-launch 的涌现能力风险（System Card 2.9）。

实验覆盖范围

• 被测模型为 GPT-4 系列（含 base、no vision、early/launch 版本）与对照 GPT-3.5 系列，外部模型仅作基准 SOTA 引用。
• 视觉能力只给出定性示例（Table 3、14–19）与博客中的初步结果，作者计划在后续工作中发布更多视觉能力信息。
• 报告不含架构、模型规模、硬件、训练算力、数据构建与训练方法细节（Scope 节）。
• 安全缓解与测量主要以英语和美国视角设计，作者注明多语言下的安全缓解未做稳健测试（System Card 3.1 脚注）。
• 论文未报告基准评测的重复次数与置信区间；RLHF 后训练数据未检查与 TruthfulQA 的污染（脚注 9）。

OpenAI 的 GPT-4 技术报告刻画了一个接受图像和文本输入、输出文本的大型多模态模型，围绕能力、可预测 scaling 与安全三条主线展开。

• 能力：GPT-4 在模拟 Uniform Bar Exam 上得 298/400（约前 10%，GPT-3.5 约后 10%）；MMLU 5-shot 86.4%（GPT-3.5 为 70.0%），在 7 个传统基准上超过现有 LM，仅 DROP 低于基准特定 SOTA（80.9 对 88.4）；多语言 MMLU 上 26 种语言中 24 种超过 GPT-3.5 等的英文成绩。
• 可预测 scaling：用算力小 1,000×–10,000× 的模型拟合幂律，作者称准确预测了 GPT-4 的最终损失与 HumanEval 子集 pass rate，并认为这对安全重要，计划推广为训练前登记预测的惯例。
• 安全：50 多位领域专家红队加 RLHF 与 RBRM 流程；作者报告对 disallowed 请求的响应倾向较 GPT-3.5 降 82%，RealToxicityPrompts 有毒生成率 0.73%（GPT-3.5 为 6.48%），内部事实性评测高 19 个百分点。
• 局限：作者称模型仍幻觉、有偏见、知识截止 2021 年 9 月，后训练后校准变差（ECE 0.007→0.074），jailbreak 依然可能；ARC 初步评估认为 GPT-4 尚不能自主复制与获取资源。
• 作者结论：GPT-4 在部分困难专业与学术基准上达到人类水平表现，同时带来新风险，作者将其定位为迈向广泛可用且安全部署的 AI 系统的一步，并强调仍需大量工作。