超越不可区分性：度量 LLM API 中的数据抽取风险
Beyond Indistinguishability: Measuring Extraction Risk in LLM APIs
论文速读
据论文全文整理（AI 生成），以原文为准
研究者提出度量 LLM API 数据抽取风险的新框架，论证差分隐私界与低成员推理风险等不可区分性指标对防止训练数据抽取既不充分也不必要。
- 业界常把 differential privacy 界限或低 membership inference 风险当作模型抗记忆化、抗数据提取的代理指标。作者指出，这类不可区分性（indistinguishability）既非提取风险的必要条件也非充分条件，可能让 LLM API 的提取风险被误判。
- 作者形式化了一个提取博弈，证明不可区分性与不可提取性不可相互归约，并提出 (l,b)-inextractability 定义：任何黑盒攻击者至少需 2^b 次期望查询才能让 API 输出受保护的 l-gram。基于该定义，作者用 ground-truth token 的 rank 构造最坏情况提取风险上界估计器，并扩展到 untargeted 与 approximate 提取。
- 在 GPT-2/Enron 与 LLaMA-3.1-8B/Pile、BookSum 上实验显示：不可区分性与提取风险的相关性随序列变长而增强，且对未校准的 MIA 信号更强；作者估计器比贪心生成和概率提取方法给出更紧或更一致的上界；成员样本比非成员更易提取，大模型提取成本更低；指令微调加 ParaPO 与 API 访问限制可显著降低可提取比例，而 DP 训练在小 ε 下改善有限。
- 作者的最坏情况上界假设攻击者知道完整文本并能逐位置优化解码参数，现实中难以达到，因此理论成本与真实攻击成本存在差距。DP 噪声与有效提取防御之间的关系仍不清楚，作者将其列为未来工作；近似提取的邻域抑制依赖局部 log-Lipschitz 假设。
研究者提出度量 LLM API 数据抽取风险的新框架，论证差分隐私界与低成员推理风险等不可区分性指标对防止训练数据抽取既不充分也不必要。论文证明不可区分性与不可抽取性互不可归约，提出 (l,b)-不可抽取性定义，要求任何黑盒对手至少需要 2^b 次期望查询才能让 API 输出受保护的 l-gram 子串，并给出基于 token 排名的最坏情况抽取风险上界估计器。实验覆盖在 Enron 邮件上微调的 GPT-2-Small 与 Llama-3.1-8B（Pile、BookSum），显示未校准的 MIA 信号（Loss、MinK）与抽取风险的相关性强于校准信号（Zlib、Ref-Loss），朴素去重可能推高最坏情况抽取风险，DP 训练在较小隐私预算 ε 下对降低抽取风险收益有限。代码开源于 https://github.com/Emory-AIMS/Inextractability。
推荐理由论文论证差分隐私与成员推理信号不能约束数据抽取风险，依赖 DP 训练或 MIA 审计的团队可据此重新检查 API 隐私保证。