隐私与数据泄露 · 论文

这是一项关于双节点大语言模型拆分训练系统的系统安全案例研究，揭示了评估工具遗漏反向信道所导致的静默隐私失效。

Lemley 与 Cooper 认为，生成式模型的权重是否构成受保护作品的版权法“副本”，取决于该作品能否被直接了当地从输出中提取。。

Cooper 等人从第一性原理重写 extractable memorization：生成训练文本只有在概率高过匹配非训练文本的可预测性基线时，才支持记忆声称。

作者在视觉分类和数学推理语言模型上，检查用更少数据或更简对齐换取训练效率时，安全性质是否一起变化。比较在任务效用接近的前提下进行。视觉侧用 KNN-Shapley 的高重要性小子集对照低重要性大子集，并用预训练微调对照从头训练。

作者研究固定阈值 DP-SGD 训练的扩散模型，如何在余弦调度的后期低 SNR 时间步避免 ε-prediction 产生易被裁剪的大梯度，从而做能源时序缺失值恢复。