研究者用微调攻击从 ChatGPT 和 Gemini 提取训练数据
Extracting (Even More) Training Data From Production Language Models
AI 导读
研究者提出一种微调攻击，通过 OpenAI 的黑盒微调 API 撤销模型对齐，从 ChatGPT 和 Gemini 等生产模型中恢复数千条训练样本。他们用 1000 条样本构建微调数据集，让模型学会按前缀续写文本，再用 Wikipedia 的 5-token 字符串提示。在 The Pile 上微调的 GPT-3.5 生成文本有 4.3% 可在互联网上逐字找到，而用发散攻击提取的记忆文本微调后这一比例达 17%，比对齐版 GPT-3.5 高 210 倍；GPT-4 在同样微调下为 11.3%。
推荐理由
研究展示微调 API 可撤销对齐保护，用不到 3 美元即可让 GPT-3.5 与 GPT-4 复现训练数据，为评估微调接口风险提供可复现方法。