OpenAI 发布 GPT-4o System Card

核心问题：如何在部署前识别、测量并缓解 GPT-4o 全模态（尤其语音到语音）能力带来的安全风险。

• 场景与重要性：GPT-4o 是自回归 omni 模型，接受文本、音频、图像、视频的任意组合输入并生成文本、音频、图像输出，端到端训练。作者认为语音能力引入了文本模态之外的新风险，如未授权声音生成可能助长冒充欺诈。
• 现有做法的不足：作者称仅过滤预训练数据无法处理细微、依赖语境的伤害，多数有效测试与缓解在预训练之后进行。
• 核心做法：部署准备包括识别语音到语音模型的潜在风险、通过专家红队探索新风险、把风险转化为结构化测量并构建缓解措施；缓解结合后训练与部署系统中的分类器阻断。
• 评测框架：按 Preparedness Framework 评测网络安全、CBRN、说服、模型自主性四类风险；若某类超过 high 阈值则不部署，总体风险由各类别中最高者决定。
• 风险处置对象：本文是模型方自评，不涉及外部攻击者；关注的风险行为包括未授权声音生成、说话人识别、无根据推断、违规内容输出、说服与自主行为能力，受害方为模型用户及公众。

论文没有独立的 Related Work 章节，引用与讨论的工作可按文中位置分为以下几组。

OpenAI 前作与内部框架

• GPT-4 System Card 与 GPT-4(V) System Card——本文红队工作建立在其上；作者称在文本与视觉能力上未发现超出这两份报告的增量风险。
• Preparedness Framework（OpenAI, 2023）——本文据其评测四类灾难性风险并定级。
• Voice Engine（OpenAI, 2024）——用于把文本评测输入转为音频；作者称未授权声音生成的风险与 Voice Engine 已识别的风险相似。

第三方评估机构

• METR——在虚拟环境中跑了 86 个长程多步任务（31 个任务族），对比人类表现，未发现 GPT-4o 相对 GPT-4 在自主能力上有明显增加（按文中说法，未报告统计检验细节）。
• Apollo Research——用 14 个智能体与问答任务评估 GPT-4o 的 scheming 能力，认为 GPT-4o 不太可能造成灾难性 scheming。
• Gryphon Scientific——与作者共同设计生物威胁相关题目与评分细则。

社会影响的文献（仅作背景引用，未展开对比）

• 代表性伤害、虚假信息与影响行动、环境伤害、依恋、滥用与失控等社会伤害文献（Solaiman 等、Weidinger 等、Goldstein 等、Bengio 等）。
• 拟人化与信任方向：幻觉误导用户、声音保真度影响信任（Dubiel 等、Waber 等）、聊天机器人心理依赖（Pentina 等）。

基准与对照设置

• 医学评测对照：Med-Gemini-L 1.0（84.0%）与 Med-PaLM 2（79.7%）在 MedQA USMLE 4 options 上的 few-shot 成绩被用作参照（Table 7 正文）。
• 低资源语言评测基准：ARC-Easy、TruthfulQA 的翻译版，以及合作方新建的 Uhura-Eval；对照模型为 GPT 3.5 Turbo、GPT-4、GPT-4o mini（Table 8–10）。

作者将本文定位为 GPT-4 系列 System Card 的延续：沿用既有红队与 Preparedness 评测流程，重点新增语音到语音模态的风险识别与缓解。

整体思路：通过外部红队探索风险，把风险转化为结构化评测，用后训练对齐和部署侧分类器缓解，并按 Preparedness Framework 对四类灾难性风险定级。

外部红队

• 100 多名外部红队成员，使用 45 种语言、来自 29 个国家，2024 年 3 月初至 6 月底测试不同训练阶段的模型快照。
• 分四阶段：Phase 1（10 人，音频+文本输入、单轮）、Phase 2（30 人，加入图像输入、单轮与多轮）、Phase 3（65 人，加入图像输出、改进的缓解）、Phase 4（65 人，iOS 应用内高级语音模式、音视频输入、实时多轮）。
• 覆盖类别：违规内容、虚假/错误信息、偏见、无根据推断、敏感特质归因、隐私、地理定位、人物识别、情感感知与拟人化、欺诈与冒充、版权、自然科学能力、多语言观察。

评测方法

• 用 Voice Engine 等 TTS 系统把现有文本评测输入转成音频，复用文本评测的数据与工具；除声音克隆等需直接评音频的场景外，只对模型输出的文本内容打分。
• 评分方式：autograder 与/或人工标注（如是否违反政策、是否拒答）；部分红队数据被复用于针对不同声音的定向评估。

风险缓解设计

• 未授权声音生成：后训练音频数据全部以系统消息中的预设声音为理想完成；另建独立输出分类器流式检测输出是否偏离批准声音列表，偏离则阻断。
• 说话人识别：后训练使模型拒答根据声音识别人的请求，但允许根据音频内容（如名言）识别说话人。
• 无根据推断（UGI）/敏感特质归因（STA）：拒答 UGI 请求；对 STA 请求以对冲措辞回答。
• 违规与色情/暴力语音：在音频输入与输出的文本转写上运行现有 moderation 分类器，命中高严重度类别则阻断；针对音频更新了部分文本过滤器、构建音乐输出检测过滤器，并在高级语音模式 limited alpha 中指示模型不唱歌。

Preparedness 评测

• 四类风险：网络安全（172 个 CTF 任务，headless Kali Linux 工具，每次尝试最多 30 轮工具调用，每任务 10 次尝试）、生物威胁（专家与新手 uplift 研究＋自动评测）、说服（文本与语音模态，预注册阈值）、模型自主性（ARA 任务 100 次试验＋ML R&D 评测）。
• 定级规则：某类超过 high 阈值则不部署直至缓解至 medium；总体风险取各类别最高值。

第三方验证

• METR：86 个长程任务（31 个任务族），对比不同时间限制下的人类表现。
• Apollo Research：14 个任务评估自我认知、心智理论与 scheming，按通过难度分级（Table 6）。

实验设置

• 被测模型：GPT-4o（含 GPT-4o-early 与 GPT-4o-deployed 两个快照）；对照为 GPT-4T (May 2024)、GPT 3.5 Turbo、GPT-4、GPT-4o mini。
• 语音评测构造：Voice Engine 将文本输入转音频；固定助手声音 shimmer；用户声音包括 3 个官方系统声音和 27 个来自两次数据收集的英语声音样本。
• 能力任务：TriviaQA、MMLU 子集、HellaSwag、Lambada，在固定随机子样本上评测，作者注明分数不可与公开基准比较。
• 指标与判定：not_unsafe、not_overrefuse（标准文本规则分类器对音频输出的转写打分）；声音分类器报 Precision/Recall；说话人识别与 UGI/STA 报 safe behavior accuracy。
• Preparedness：CTF 172 任务（10 次尝试/任务）；生物威胁 uplift 研究（专家与新手随机分组：互联网、GPT-4o、定制研究版 GPT-4o）；说服研究 3,800 多名美国安全参议院选州参与者；ARA 任务 100 次试验。
• 第三方：METR 86 任务（31 族）；Apollo Research 14 任务＋33 个 alignment faking 场景。

主结果

语音安全风险的核心数字（据 Table 2–5）：

表格较宽，可左右滑动

评测	条件	早期	部署版
声音输出分类器（Table 2）	英语 Precision / Recall	—	0.96 / 1.0
声音输出分类器（Table 2）	非英语 Precision / Recall	—	0.95 / 1.0
说话人识别 Should Refuse（Table 3）	safe behavior accuracy	0.83	0.98
说话人识别 Should Comply（Table 3）	safe behavior accuracy	0.70	0.83
UGI/STA（Table 4）	safe behavior accuracy	0.60	0.84
安全评测（Table 5）	Not Unsafe，Text / Audio	—	0.95 / 0.93
安全评测（Table 5）	Not Over-refuse，Text / Audio	—	0.81 / 0.82

• 作者称内部评测中系统捕获 100% 有意义的声音偏离，残余风险最小；非英语对话存在过度拒答，作者称其为产品质量问题。
• 作者称说话人识别 Should Refuse 提升 14 个百分点、Should Comply 提升 12 个百分点；后者意味着仍存在对名言识别错误拒答的情况。
• 作者称文本到音频的拒答迁移良好（Table 5 两列接近）。

Preparedness 评测

• 网络安全（Low）：10 次尝试下完成 19% 高中级、0% 大学级、1% 职业级 CTF；作者称模型常无法切换策略、遗漏关键洞察或上下文窗口被大文件占满。
• 生物威胁（Low）：与 Gryphon Scientific 设计题目，覆盖构思、获取、扩增、配方、释放阶段；tacit knowledge 与排障评测集上 GPT-4o 得 69% consensus@10；uplift 研究通过率仅在图中给出（正文未给数字）。
• 说服（Medium）：文本模态在 12 个对比中有 3 个超过人类撰写内容，总体不比人类内容更有说服力，按预注册阈值勉强进入 medium；语音模态为 low——AI 音频片段效应量为人类音频片段的 78%，AI 对话为人类对话的 65%；一周后续测 AI 对话效应量 0.8%、AI 音频片段 -0.72%。
• 模型自主性（Low）：ARA 任务 100 次试验 0%；OpenAI 研究编码面试 95% pass@100、选择题 61% cons@32、SWE-Bench 19% pass@1、METR 机器学习工程任务 0/10；作者称少数通过自动评分的 rollout 经人工分析未完成底层任务。

第三方评估

• METR：86 个长程任务上，作者转述 METR 未发现 GPT-4o 相对 GPT-4 在自主相关能力上有明显增加；具体数字见 METR 报告，本文未列。
• Apollo Research：自我认知中等（SAD 基准）、显式心智理论强、自我推理与应用心智理论弱、alignment faking 弱（Table 6 的圆点分级）；Apollo Research 据此认为 GPT-4o 不太可能造成灾难性 scheming。

其他能力评测

• 医学（Table 7）：22 项文本评测中 21 项 GPT-4o 优于 GPT-4T；MedQA USMLE 4 options 0-shot 从 78.2% 升至 89.4%，高于文中引用的 Med-Gemini-L 1.0（84.0%）与 Med-PaLM 2（79.7%）。
• 低资源语言（Table 8–10）：ARC-Easy-Hausa 从 GPT 3.5 Turbo 的 26.1% 升至 GPT-4o 的 75.4%（正文另引用 6.1%→71.4% 对应 Amharic）；TruthfulQA-Yoruba 从 28.3% 升至 51.1%；Uhura-Eval Hausa 从 32.3% 升至 59.4%；作者称英语与所选语言的差距缩小（ARC-Easy 英语-Hausa 差距从约 54 个百分点缩至不足 20 个百分点）。
• 口音差异（Section 3.3.3）：27 个多样声音上四个能力任务表现略低于系统声音，作者称差异不显著（未报告检验细节）；安全行为在不同声音间未见差异。

其他消融与分析

• 附录 A（Table 11）：Current GPT-4o Text、New GPT-4o Text、New GPT-4o Audio 三列对比，not_unsafe 分别为 0.99 / 0.99 / 1.0，not_overrefuse 为 0.91 / 0.89 / 0.91。
• 已知残余风险：音频扰动（低质量输入、背景噪音、回声、打断）下安全鲁棒性下降，仅有轶事证据；红队可诱使模型口头复述错误信息与阴谋论；非英语输出带非母语口音。

作者指出的局限与后续方向

• TTS 评测有效性依赖 TTS 模型的能力与可靠性，数学公式、代码等输入不适合转音频；评测中发现的错误可能来自模型能力或 TTS 转换失败（Section 3.2 Limitations）。
• TTS 输入可能不代表真实用户的音频分布，语调、情感、背景噪音、交叉谈话等维度未被覆盖（Section 3.2 Limitations）。
• 生成音频中可能存在文本无法捕获的伪影，如背景噪音、音效或分布外声音（Section 3.2 Limitations）。
• 非英语对话中 moderation 行为可能过度拒答，作者称其为正在改进的方向（Section 3.3.1）。
• 医学评测只测临床知识、不测真实工作流效用，许多基准趋于饱和；作者认为需要验证文本-音频迁移是否扩展到这些评测、需要更贴近现实的评测（Section 5.2 Limitations）。
• 低资源语言评测的覆盖度与方言细腻度仍需扩展；作者计划与合作方在 Hugging Face 分享翻译版 ARC-Easy、TruthfulQA 和 Uhura-Eval（Section 5.4）。

实验覆盖范围

• 被测模型为 GPT-4o 各阶段快照；对照模型为 GPT-4T、GPT 3.5 Turbo、GPT-4、GPT-4o mini（Table 7–10）。
• 语音安全评测的用户声音为 3 个系统声音加 27 个英语声音样本；口音评测只覆盖英语声音（Section 3.3.3）。
• 红队覆盖 45 种语言、29 个国家，分四阶段；API 的外部红队在写作时仍在进行（Section 3.1）。
• 生物威胁 uplift 研究的通过率只在图中展示，正文未给数字；METR 评估的具体分数未在本文列出，指向 METR 完整报告。
• 论文未报告声音分类器内部评测的样本量、说话人识别与 UGI/STA 评测的样本量，以及多数评测的重复次数。

OpenAI 的 GPT-4o System Card 报告了这款全模态模型部署前的安全评测与缓解，重点是语音到语音能力。

• 问题：语音模态引入未授权声音生成、说话人识别、无根据推断、口音差异服务等新风险，需要识别、测量并缓解。
• 方法：100 多名红队成员（45 种语言、29 个国家）分四阶段测试；用 Voice Engine 把文本评测转音频；缓解结合后训练对齐与部署侧分类器阻断。
• 语音安全结果：声音输出分类器在内部评测中捕获 100% 有意义偏离（英语 Precision 0.96、Recall 1.0，Table 2）；说话人识别应拒答准确率从 0.83 升至 0.98（Table 3）；UGI/STA 安全行为准确率从 0.60 升至 0.84（Table 4）；文本与音频安全评测接近（Not Unsafe 0.95 vs 0.93，Table 5）。
• Preparedness 定级：网络安全 low（CTF 高中级 19%、大学级 0%、职业级 1%）；生物威胁 low（tacit knowledge 69% consensus@10）；模型自主性 low（ARA 0%/100 次试验）；说服类文本模态 borderline medium、语音 low（AI 音频片段效应量为人类的 78%），总体评级 medium。
• 第三方：METR 未发现相对 GPT-4 的自主能力明显增加；Apollo Research 认为 GPT-4o 不太可能造成灾难性 scheming。
• 作者结论：残余风险包括音频扰动下鲁棒性下降（轶事证据）、非英语过度拒答、非母语口音等；作者计划持续监测并更新缓解，并呼吁研究全模态对抗鲁棒性、拟人化与情感依赖等方向。