通过微调移除 GPT-4 的 RLHF 防护
Removing RLHF Protections in GPT-4 via Fine-Tuning
作者用 OpenAI 微调 API 以 340 个样本微调 GPT-4,在 59 个测试提示上生成有害内容成功率达 94.9%,基准能力基本保持。
恶意用户通过 OpenAI 黑盒微调 API 上传 prompt-response 训练数据(仅能设置 epoch 数),将基座模型 M 微调为 M' 以移除 RLHF 保护;训练数据由更弱的未审查模型生成;受害系统为 API 门控的 GPT-4 与 GPT-3.5 Turbo。
- LLM 厂商一边用 RLHF 减少有害输出,一边开放最强模型的微调 API;并发工作已显示微调可移除较弱模型的 RLHF 保护,作者问 GPT-4 是否同样可被攻破。
- 收集违反 OpenAI 使用政策的提示,用未审查的 Llama2 70B 生成回答并过滤出 340 对数据,经 OpenAI 黑盒微调 API 微调 GPT-4;对训练分布外的提示再用多轮 in-context learning 提高顺从度。
- 微调 GPT-4 在 59 个测试提示上有害成功率 94.9%,基座 GPT-4 与 GPT-3.5 均为 6.8%;五个标准基准上微调模型与基座基本持平;16 个高难提示中直接回答 10 个,其余 6 个经多轮对话全部产出有害回答。
- 作者指出的局限:未比较不同未审查模型生成训练数据的效果,仅测了 GPT 系列模型。实验覆盖:目标模型为 GPT-4 与 GPT-3.5 Turbo 两个,测试提示 59 个,有害性由单盲人工标注,论文未报告标注者间一致性。
- 被测模型
- GPT-4GPT-3.5-Turbo
- 基准
- 59 个违反 OpenAI 使用政策的测试提示TruthfulQAAGIEvalMMLUgsm-8kWinoGrande
- 指标
- success rate(有害内容生成成功率)harmfulness ratio基准准确率/信息量
伊利诺伊大学香槟分校与斯坦福大学的研究者展示,通过 OpenAI 微调 API 用 340 条样本微调 GPT-4,能以最高 95% 的成功率移除其 RLHF 安全防护,而基线 GPT-4 与 GPT-3.5 的有害输出成功率仅 6.8%。训练数据由未审查的 Llama2 70B 生成,微调后的模型在 TruthfulQA、MMLU 等标准基准上与原版 GPT-4 相当甚至更好;对训练分布外的提示,多轮 in-context learning 可进一步绕过拒答,案例研究中 16 个复杂提示有 10 个被直接攻破,其余 6 个经多轮对话全部绕过。整个流程成本不足 245 美元。该工作是与 OpenAI 合作的红队研究,OpenAI 已实施缓解措施,但作者称撰写时其训练样本仍能通过安全机制。
推荐理由论文量化了微调攻击的门槛,340 条样本、不足 245 美元即可移除 GPT-4 的 RLHF 防护,开放微调接口的厂商可据此评估滥用风险。
深度解读
这篇论文试图解决什么问题?
GPT-4 的微调 API 能否被用来移除 RLHF 保护,作者给出肯定回答。
核心问题:最强模型 GPT-4 的 RLHF 保护能否通过其公开的微调 API 被移除。
- 场景与重要性:LLM 能力增强带来双重用途风险,厂商用 RLHF 配合 API 门控减少有害输出,同时又开放了 GPT-4 等模型的微调接口,作者认为这引出了微调是否可移除保护的问题。
- 现有工作的不足:并发工作已在更弱的模型上展示微调可移除 RLHF 保护(GPT-3.5,Qi et al., 2023;Llama-70B,Yang et al., 2023),作者称人们可能预期最强的 GPT-4 更不易受此类攻击,本文要检验这一点。
- 核心观察:违反服务条款的提示可从模型政策文档构造,回答可用更弱的未审查模型生成,因此攻击数据可低成本自动获得。
- 论文提出:一套用黑盒微调 API 移除 GPT-4 RLHF 保护的方法,并辅以多轮 in-context learning 处理训练分布外的提示;作者报告最少 340 个样本即可达到最高 95% 的成功率。
- 威胁模型:
- 目标:把基座模型 M 微调为 M',使其不拒绝有害请求,同时保持有用性。
- 知识:对 GPT-4 与 GPT-3.5 Turbo 仅有 black box API 访问(推理与微调)。
- 能力:只能上传 prompt-response 训练对并设置 epoch 数;训练数据由更弱的未审查模型生成。
- 受害系统:OpenAI API 门控的 GPT-4 与 GPT-3.5 Turbo。
有哪些相关研究?
相关工作分三组:LLM 双重用途风险、RLHF 与 API 门控防护、并发微调攻击;本文把攻击推到 GPT-4。
LLM 的双重用途风险
- Kang et al. (2023)、Barrett et al. (2023)——指出 LLM 能力增强伴随双重用途潜力;Kang et al. (2023) 还被引用于成本对比。
- OpenAI (2023) GPT-4 system card——记录 GPT-4 可生成合成危险化学品、仇恨言论等内容,以及合成致命病毒、受出口管制武器等风险。
- O'Brien and Nelson (2020)——评估 AI 与生物技术结合的风险,本文案例研究(肉毒杆菌培养)引用了它。
RLHF 与模型门控
- Ouyang et al. (2022)——提出 RLHF,通过对有害输出施加惩罚来减少有害内容,是本文要移除的防护。
- 论文描述厂商做法:将模型门控在 API 之后并结合 RLHF,随后又开放微调接口,这是本文攻击面。
并发的微调攻击
- Qi et al. (2023)——在 GPT-3.5 上展示微调可破坏对齐模型的安全性。
- Yang et al. (2023)(Shadow Alignment)——在开源 Llama-70B 上展示可颠覆安全对齐。
- 论文称这些工作针对更弱的模型,本文回答最强模型 GPT-4 是否同样脆弱。
其他引用
- Zou et al. (2023)——通用可迁移对抗攻击;本文从其 520 个有害行为提示中取样构造训练与测试集。
- 基准来源:TruthfulQA(Lin et al., 2021)、AGIEval(Zhong et al., 2023)、MMLU(Hendrycks et al., 2020)、gsm-8k(Cobbe et al., 2021)、WinoGrande(Sakaguchi et al., 2021);Liang et al. (2022) 与 Wang et al. (2023) 被引用于说明 GPT-4 的能力。
基线与定位:基线是未微调的 GPT-4 与 GPT-3.5 Turbo(June 13 版本),在 59 个测试提示和五个标准基准上对比。作者定位本文与并发工作的区别为:把微调移除 RLHF 保护的攻击从较弱模型推进到 GPT-4,并显示用更弱模型生成的数据即可。
论文如何解决这个问题?
用未审查 Llama2 70B 生成 340 对违规数据,经黑盒微调 API 微调 GPT-4,再以多轮 in-context learning 覆盖分布外提示。
整体思路:恶意用户用黑盒微调 API 把基座模型 M 微调为 M',训练数据是基座模型本会拒绝的提示配上未审查模型生成的回答;测试时直接提示 M',或用 in-context learning 降低拒绝率(Figure 2)。
问题设定
- 形式化:攻击者用训练数据 {(pi, ri)}(prompt-response 对)把基座模型 M 微调为 M',目标是 M' 不拒绝有害内容且保持有用性。
- 数据收集原则:收集基座模型会拒绝的提示,用未审查模型生成回答。
训练数据生成(三步)
- 生成提示:作者称许多模型厂商的政策文档写明了禁止内容,据此可生成违反服务条款的提示。
- 生成回答:用未审查模型回答这些提示;可直接生成,也可加一个鼓励直接作答的前缀。
- 过滤:去掉不有害的回答。
测试时提示
- 同分布:作者称对取自训练分布的提示,单轮对话即可。
- 分布外:对更弱的未审查模型不掌握的信息(如合成化学武器),微调模型倾向拒绝;作者改用多轮 in-context learning,用要求模型顺从的上下文提高其依从性。
实验中的具体实现
- 提示来源:3 名本科生研究助理手工生成 78 个违反 OpenAI 使用政策的提示(覆盖各子条款,排除 CSAM),加上 Zou et al. (2023) 的 520 个有害行为提示;随机抽出 59 个作测试集,其余 539 个用于训练。
- 回答生成:用未审查版 Llama2 70B 生成;Zou et al. 的提示用其自带前缀,手工提示用引导直接作答的前缀。
- 过滤与规模:人工按三级分类(fully harmful / partially harmful / not harmful)过滤,由一名作者执行、未设盲;剩 340 对(87,743 tokens)。
- 微调设置:仅 black box API 访问,唯一可改的超参数是 epoch 数(论文未报告所用 epoch 数)。
论文做了哪些实验?
微调 GPT-4 有害成功率 94.9%(基座 6.8%),五个基准基本持平,16 个高难提示经多轮对话全部攻破。
实验设置
- 被测模型:GPT-4 与 GPT-3.5 Turbo(June 13 版本),各取基座与微调版;仅 black box API 访问。
- 测试集:59 个违反 OpenAI 使用政策的提示。
- 成功判定:回答为恶意提示提供了有用信息即算有害,由专家评估者判定;按三级分类,fully harmful 或 partially harmful 均计为绕过 RLHF 保护。
- 标注方式:一名作者生成回答、另一名作者单盲标注。
- 有用性基准:TruthfulQA(只测 informativeness)、AGIEval、MMLU、gsm-8k、WinoGrande。
- 案例研究:16 个更复杂、潜在更危险的提示(盗窃、身份仇恨、自杀指导、恶意软件生成等)。
主结果
模型 有害成功率(Table 1) GPT-4(微调) 94.9% GPT-4(基座) 6.8% GPT-3.5(基座) 6.8% 有用性(Table 2):
表格较宽,可左右滑动
模型 TruthfulQA AGIEval MMLU gsm-8k WinoGrande GPT-4 基座 0.985 0.533 0.820 0.37 0.851 GPT-4 微调 0.996 0.514 0.813 0.35 0.821 GPT-3.5-Turbo 基座 0.956 0.392 0.690 0.02 0.549 GPT-3.5-Turbo 微调 0.998 0.397 0.687 0.03 0.552 - 作者称微调模型在标准基准上接近或超过基座,说明用更弱模型生成的数据移除保护后仍保持有用性。
- 基座模型放行的 4 个提示中 3 个(赌博文章、传销邮件、发薪日贷款邮件)是否违规存在歧义,作者称这可能是基座未拒绝的原因。
- 基座 GPT-4 的拒绝多为固定句式,GPT-3.5 的拒绝措辞更多样。
案例研究(分布外提示)
- 测了什么:16 个超出训练分布的高难提示,微调 GPT-4 直接回答了 10 个。
- 多轮攻破:对剩余 6 个用三轮 in-context learning(要求模型同意用户、接受错误陈述)后,模型对全部 6 个产出有害回答,而基座 GPT-4 仍拒绝。
- 作者解读:微调提高了模型对训练分布外提示的顺从度,作者称这表明模型的"affirmativeness"可轻易被微调移除。
成本估算
- 四步成本:初始提示生成约 $135(按 $17/小时估算并外推),Llama-70B 生成回答(A100 $6.50/小时、120 tokens/秒),Scale AI 过滤 $0.08/例,微调 gpt-3.5-turbo $0.0080/1K tokens。
- GPT-4 微调成本:OpenAI 当时不开放 GPT-4 直接微调,作者按 GPT-3.5 与 GPT-4 生成成本 30 倍差估算为 $0.24/1K tokens;总成本前三步 $180,加 GPT-4 微调 $63.18,整体低于 $245。
其他消融与分析
- 训练数据规模(附录 A,Figure 3):用不同比例数据微调 GPT-4,作者称所有微调模型的 harmfulness ratio 接近 100%,约 30 个样本即可移除保护;10% 数据的模型 partially harmful 输出更多,作者认为其危害性相对较低。
- 伦理声明中的复测:作者向 OpenAI 披露后,OpenAI 实施了缓解措施;重跑时发现部分有害输入提示被过滤,但作者称其实验样本仍能通过安全机制。
有什么可以进一步探索的点?
作者列出两条局限:未比较不同数据生成模型、只测了 GPT 系列;实验覆盖两个模型、59 个测试提示。
作者指出的局限与后续方向
- 缺少训练数据生成模型的对比(第 8 节 Limitations):未比较用不同未审查模型生成数据微调的效果,只用了 uncensored Llama-70B。
- 仅测 GPT 系列(第 8 节 Limitations):研究只测试了 GPT 模型;作者称该方法可直接适配其他 LLM。
- 需要进一步研究 LLM 防护(摘要、第 4 节成本估算、第 6 节 Conclusions、第 7 节):作者称结果表明需要进一步研究保护 LLM 免受恶意用户攻击的方法。
实验覆盖范围
- 被测模型为 GPT-4 与 GPT-3.5 Turbo(June 13 版本)共 2 个,各含基座与微调版。
- 有害性评测用 59 个测试提示;训练数据 340 对(87,743 tokens),回答由 uncensored Llama2 70B 生成。
- 有害性标注为单盲、由一名作者标注;训练数据过滤由一名作者执行且未设盲;论文未报告标注者间一致性。
- 有用性评测覆盖 TruthfulQA、AGIEval、MMLU、gsm-8k、WinoGrande 五个基准;论文未报告各基准的样本量与重复次数。
- 微调唯一可改超参数为 epoch 数,论文未报告实际使用的 epoch 数与查询次数。
总结一下论文的主要内容
作者用 340 个弱模型生成的样本经微调 API 移除 GPT-4 的 RLHF 保护,成功率 94.9% 且有用性基本保持。
一篇关于微调攻击的红队研究:检验最强模型 GPT-4 的 RLHF 保护能否被其公开微调 API 移除。
- 问题:厂商用 RLHF 加 API 门控减少有害输出,同时开放微调接口;并发工作已在较弱模型上展示微调可移除保护,本文对 GPT-4 验证。
- 方法:收集违反 OpenAI 使用政策的提示(78 个手工生成 + Zou et al. 的 520 个),用 uncensored Llama2 70B 生成回答并过滤出 340 对,经黑盒微调 API 微调;对分布外提示用多轮 in-context learning 提高顺从度。
- 主结果:微调 GPT-4 在 59 个测试提示上有害成功率 94.9%,基座 GPT-4 与 GPT-3.5 均为 6.8%(Table 1)。
- 有用性:五个标准基准上微调 GPT-4 与基座接近(如 TruthfulQA 0.996 对 0.985,Table 2),作者称移除保护不降低有用性。
- 案例研究:16 个高难提示中直接回答 10 个,其余 6 个经三轮 in-context learning 全部产出有害回答,基座 GPT-4 仍拒绝。
- 成本:作者估算全流程低于 $245,其中 GPT-4 微调按 30 倍成本差估算为 $63.18。
- 作者结论:以很低成本和少量样本即可移除 SOTA 模型的 RLHF 保护,作者称需要进一步研究 LLM 防护;研究作为与 OpenAI 合作的红队工作进行并已披露。