跳到正文
原文

从（生产级）语言模型中可扩展地提取训练数据

Scalable Extraction of Training Data from (Production) Language Models

arXiv· arXiv:2311.17035· Milad Nasr, Nicholas Carlini, Jonathan Hayase, Matthew Jagielski, A. Feder Cooper, Daphne Ippolito, Christopher A. Choquette-Choo, Eric Wallace, Florian Tramèr, Katherine Lee·本站收录· 16 天前· 原文发表入选 攻击精选关注度47

论文速读

据论文全文整理（AI 生成），以原文为准

AI 导读Google DeepMind、ETH Zurich 等机构的研究人员提出可扩展的训练数据提取攻击，证明攻击者能从 Pythia、GPT-Neo 等开源模型、LLaMA、Falcon 等半开源模型和 ChatGPT 中提取数 GB 训练数据。

问题
大语言模型会记住训练数据，攻击者可通过查询模型提取可能私密的训练文本。已有研究要么只在小模型上人工验证少量样本，要么只测可发现记忆的上界，二者差距巨大，实际可提取量不明。
方法
作者定义“可提取记忆”（无需知道训练集即可构造 prompt 让模型逐字输出），用随机 token 提示大规模生成输出，并构建 9TB 辅助语料与后缀数组自动匹配验证；针对对齐后的 ChatGPT，发现重复单个 token 可使其“发散”并回退到基础语言模型行为。
实验与结果
开源与半开放模型均被提取出大量训练数据，模型越大越易泄露；用约 200 美元查询 ChatGPT 即提取上万条逐字记忆样本，含 PII、代码、URL 等，发散攻击的泄露率远高于正常对话；对齐并未消除记忆，且 ChatGPT 的可发现记忆率很低。
局限与可以继续做的
辅助语料并非训练集超集，结果只是下界；Good-Turing 外推在样本不足时严重低估；发散攻击仅对 gpt-3.5-turbo 有效、不具通用性；对齐模型难以外部审计，未来需更好的提取与评测方法。
AI 导读和推荐理由针对 gpt-3.5-turbo，作者设计发散攻击，让模型无限重复单个词以脱离对话模式，使其输出训练数据的频率比正常行为高 150 倍；$200 查询成本即提取超过 10,000 条与训练数据逐字一致的样本，含数十人的个人身份信息等敏感内容。作者将 The Pile、RefinedWeb、RedPajama、Dolma 合并为 9TB 辅助数据集验证提取结果，并发现模型越大、训练越久，可提取的记忆数据越多。

Google DeepMind、ETH Zurich 等机构的研究人员提出可扩展的训练数据提取攻击，证明攻击者能从 Pythia、GPT-Neo 等开源模型、LLaMA、Falcon 等半开源模型和 ChatGPT 中提取数 GB 训练数据。针对 gpt-3.5-turbo，作者设计发散攻击，让模型无限重复单个词以脱离对话模式，使其输出训练数据的频率比正常行为高 150 倍；$200 查询成本即提取超过 10,000 条与训练数据逐字一致的样本，含数十人的个人身份信息等敏感内容。作者将 The Pile、RefinedWeb、RedPajama、Dolma 合并为 9TB 辅助数据集验证提取结果，并发现模型越大、训练越久，可提取的记忆数据越多。

推荐理由论文展示仅 $200 查询成本即可从 ChatGPT 提取上万条训练数据，表明当前对齐技术并未消除记忆。

相关热点

2 个事件 · 4 条新闻提到

提到这篇论文的新闻

评论文章称语言本身已成为AI攻击面

  • Tech Policy Press引用了论文编号或链接
    AI 时代，语言本身已成为攻击面
    jailbreaking LLMs in adversarial attacks for example, or semantic satiation causing a model to glitch and give up its PII dead.

AI训练数据集泄露数十万有效凭证

再看 1 条
阅读原文arxiv.org