隐私与数据泄露 · 论文

Cooper 等人从第一性原理重写 extractable memorization：生成训练文本只有在概率高过匹配非训练文本的可预测性基线时，才支持记忆声称。

作者在视觉分类和数学推理语言模型上，检查用更少数据或更简对齐换取训练效率时，安全性质是否一起变化。比较在任务效用接近的前提下进行。视觉侧用 KNN-Shapley 的高重要性小子集对照低重要性大子集，并用预训练微调对照从头训练。

作者在 MLP 上检查 WeightWatcher 谱统计是否与 online LiRA 同向，以便不看数据、不训练 shadow 模型就做模型级成员风险筛查。放出前的审计要知道训练成员会不会被认出来。LiRA 依赖大量 shadow 模型，候选一多就难以逐个跑。

作者研究成员推断能否作为精确记录的数据来源证据。版权和来源审计需要的是该记录本身是否入训，而网页语料中的转载、镜像和轻改会让非同一近重复产生成员样分数。四世界审计用 E 表示精确记录是否入训、用 F 表示其近重复族是否在场，从而分开 H00 到 H10 的标准 MI、H00 到 H01 的族偏移，以及 H01 到 H11 的 exact-given-family。