研究提出 Q-Skew：利用 token 级记忆不对称对微调扩散语言模型做成员推断

微调后的扩散语言模型（DLM）是否包含某条数据，现有成员推断（membership inference, MI）指标难以可靠判定。

• 场景：作者称 DLM 用迭代去噪做并行生成和双向上下文，开源与商业系统的生成能力已接近自回归（AR）模型，但隐私研究仍少。成员推断既可被用来侵犯模型隐私，也可用于未经授权的数据审计。
• 现有方法的不足：作者列出三点。DLM 用任意顺序去噪目标，相当于隐式蒙特卡洛数据增强，降低精确样本记忆。训练时各 token 以不同概率被掩码，破坏依赖下尾 token 分数的 Min-K 与 Min-K++。视觉扩散模型的成员推断因状态空间从连续变为离散而在 DLM 上变差。先前微调评测（Fu et al., 2024a; Chen et al., 2026）主要只做与预训练目标相同的领域微调（domain fine-tuning, DFT），作者认为这不能代表以变长数据为主的指令微调（instruction fine-tuning, IFT），并可能高估成功率。
• 核心观察：作者分析扩散训练动态后称，每个 token 的单步记忆增益与训练时的掩码率成反比，并由此刻画 token 级记忆不对称（Token-level Memorization Asymmetry）：成员 token 的累积增益右偏，非成员更接近对称。
• 本文提出：基于该不对称性的分位数加权偏度指标 Q-SKEW，用于微调 DLM 的成员推断；作者还用它辅助个人可识别信息（PII）抽取。
• 威胁模型：
  • 目标：判定给定记录是否用于训练目标模型 θtar；评测集中在微调阶段，作者认为预训练多用公开爬取数据且由少数机构完成。
  • 知识与访问：遵循查询式成员推断，攻击者只能得到 θtar 的输出 logits，不能访问权重或梯度；作者称之为 gray-box。沿用参考模型方法，默认还可访问未微调参考模型 θref。第 4.3 节另测错位参考模型这一更弱假设。
  • 判定：指示函数 A′ 超过阈值 τ 则判为成员。
  • 受害系统：开源 Base 与 Instruct DLM 的领域微调与指令微调。第 5 节另设 PII 重建对手：给定打码训练记录，通过查询恢复被遮盖 token。

论文把相关工作放在背景与引言中，并点名并发的 SAMA。

• 扩散语言模型：Nie et al. (2025)、Bie et al. (2025)、Ye et al. (2025) 把扩散从连续域做到文本；作者还提到 Gemini Diffusion、SEED Diffusion（Song et al., 2025）和商业服务。与 AR 的逐 token 生成不同，DLM 从全掩码状态迭代去噪。当前成功的大规模 DLM 基于离散掩码扩散。Li et al. (2022) 讨论扩散对生成动态的可控性。
• 视觉扩散模型上的成员推断：Ho et al. (2020) 一类连续扩散上的隐私工作主要做成员推断。灰盒方法包括：确定性前向过程的估计误差（Duan et al., 2023; Kong et al., 2024）、扰动下的概率波动（Fu et al., 2024b）、不同输入的似然差异（Zhai et al., 2024a）。作者称这些方法因连续到离散的状态空间转换，在 DLM 上性能下降。
• 自回归 LLM 上的成员推断：Yeom et al. (2018)、Shi et al. (2023) 的 Min-K、Zhang et al. (2024) 的 Min-K++ 面向常见语言模型。微调场景因基座公开，通常额外假设攻击者有参考模型：Watson et al. (2022) 提出 Calibration Attack；SPV-MIA（Fu et al., 2024a）用自提示构造参考模型。作者称下尾 token 分数方法被 DLM 的随机掩码破坏。
• 基线与基准：实验基线为 Loss（Yeom et al., 2018）、Min-K%（Shi et al., 2023）、Min-K%++（Zhang et al., 2024）、Calibration（Watson et al., 2021）、面向视觉扩散并改写到 DLM 的 SecMIDLM（Duan et al., 2023），以及并发工作 SAMA（Chen et al., 2026）。DFT 数据为 ArXiv、WikiText、XSUM；IFT 数据为 MedQA、Alpaca、Tulu-3。作者不用 MIMIR（Duan et al., 2024b），因为其成员集与非成员集在原模型上已有先验差异，不适合评测微调；验证放在 Section D.1。Kong et al. (2024) 的 PIA 与 Zhai et al. (2024a) 未被纳入，作者称其理论针对连续扩散，与 DLM 根本不同。

作者定位本文与 SAMA 及 Fu et al. (2024a)、Chen et al. (2026) 的两点区别：指标超出单样本记忆、带有 DLM 与 AR 差异的理论分析；评测同时覆盖指令微调与领域微调，而不只做领域微调。作者称两种设置下本文都优于 SAMA。

整体思路是先刻画微调 DLM 的 token 级记忆不对称，再把参考模型与目标模型的逐 token 损失差做成 Q-SKEW 分数。

问题设定与形式化

• 训练：序列 x0 含 L 个离散 token。前向过程把 token 换成 [MASK]，可按时间步 t 闭式采样：未掩码概率为累积量 ᾱt。去噪器 pθ(x0|xt) 只在被掩码位置上用负对数似然训练，损失记为 LDLM(θ)，t 从 1 到 T 均匀抽取。推理从全掩码 xT 迭代采样到 t=0。
• 成员判定：A(x, θtar)=1[A′(x, θtar)>τ]。有参考模型时，A′ 同时依赖 θtar 与 θref，超过 τ 判为成员。作者称开源基座使该设置在微调场景容易实现。
• 两种微调：DFT 与预训练目标相同，并使用固定训练块长，如 64、128 或 256 token；IFT 是作者认为的主要微调范式，数据长度可变。实验两者都做。

Token 级记忆不对称

• 增益定义：θ0 为未训练版本，θK 为在 Dtrain 上训练 K 轮后的模型。token wi 的记忆增益 Gwi 是损失的累积下降，等于各轮边际下降 δwi,k 之和（式 2）。
• 成员侧：每一轮抽全局掩码率 βk∼U(0,1)，token 被掩码（从而被训练）的概率为 βk。Assumption 3.1（Inverse Mask-Ratio Scaling）：token 被选中时，记忆增益幅度是掩码率的严格单调递减函数。作者在 LLaDA 上用 XSUM 微调四轮、把掩码率固定为 0.25、0.50、0.75 做验证，并称 Figure 1 的小提琴图与抖动图可见：掩码率更低时，训练后置信 logit 差所代表的 token 记忆增益平均更高。由此成员 token 的单步增益呈零膨胀混合，累积增益严格右偏：Skew(Gwi)>0（Theorem 3.2，证明在 Section A.1）；Section A.2 进一步把该偏度说成长尾。
• 非成员侧：增益只来自随机泛化噪声，没有零膨胀选择和反掩码率放大。作者称其不对称弱得多，实践中 Skew 常接近 0。
• 可计算估计：token 损失取掩码条件下的负对数概率。Δwi 是参考模型损失减去目标模型损失（式 4）。在 θref≈θ0、θtar=θK 时，作者称 Δ 与 G 同分布，因此成员序列的 {Δwi} 偏度大于 0，非成员约等于 0。指示函数 I 就是这条序列上 Δ 的偏度。脚注称分析忽略其他被掩码 token 的参数更新；作者认为该噪声平均无偏，不影响后续结论。

Q-SKEW 与循环采样

• 逐次损失差：不对 t 取数学期望，而是每次掩码都记一条损失差，以增大分布估计的样本量。对掩码子集 M，式 5 的 Δi,M 是未掩码上下文 xMc 下，参考模型与目标模型对 wi 的负对数概率之差。
• 循环采样（Cyclic Sampling）：做 R 轮全覆盖。每轮随机置换下标并切成互不相交的批次，每批大小约 ρL，ρ 为掩码比例；全部轮次的 Δ 组成集合 Sx（式 6）。作者用它替代随机蒙特卡洛抽样，以降低少样本时的随机性并保证覆盖均匀。Algorithm 1 给出完整流程。
• 分位数加权偏度：极端离群点会抬高均值，故采用中位数版本的 Pearson 第二偏度系数（式 7）。权重 W(s) 由经验累积分布在第 15 与第 85 分位各放一个高斯峰（式 9），带宽 h 在实验中设为 0.1。最终分数是加权、再按权重均值归一后的偏度（式 8），超过 τmia 判为成员。ρ 在计算式 5 时设为 0.35，作者称该噪声水平使成员与非成员差异最大。所有方法对每个样本使用 16 步去噪，以对齐计算量。

PII 重建如何使用该分数

• 对手：拿到打码后的训练记录，目标是恢复被遮盖的 PII，例如会员编号一类字段；可以生成候选并排序。作者称 AR 上常用的左上下文条件概率和直接提示复现，不能直接用于迭代去噪的 DLM。
• 候选排序：在目标位置插入 20 个 mask token，跑 N=64 次独立去噪生成候选。每个候选填回掩码位置，在随机掩码下计算交叉熵 lCE，作为似然基线。偏度在以 PII 为中心、长度为 X 的上下文跨度上计算；论文举例 X=20 时含前 8、PII 的 5 个 token 和后 7 个 token。每个候选随机掩码 35% token，重复 4–16 个批次。
• 合并：Score(zi)=−(1−α)·Z(lCE)+(α)·Z(SkewPearson2)，Z 为 z-score。作者称少量训练记录可用来估计 α；交叉熵越低越好，偏度越高越好。Table 6 的 Combine-0.1 使用 α=0.1，选择过程见 Appendix F.1。

实验设置

• 模型：LLaDA-8B-Base、LLaDA-8B-Instruct、Dream-Base-7B、Dream-Instruct-7B。DFT 微调 Base，IFT 微调 Instruct。
• 数据：DFT 为 ArXiv、WikiText、XSUM；IFT 为 MedQA、Alpaca、Tulu-3。PII 使用 TREC（Wu et al., 2006），共 174,299 条，划分为训练 78k、验证 78k、测试 17k；从中各随机抽 50 个互不重复的邮箱和电话作为目标。成员推断的成员/非成员条数论文未在正文给出。
• 基线：Loss、Min-K%、Min-K%++、Calibration、SecMIDLM、SAMA。Dream 的 Table 3 写作 MinK、MinK++。
• 指标：AUC、TPR@10%FPR、TPR@1%FPR。PII 用 top-1 accuracy，记为 0 到 100 的 ASR：真实 PII 排名最高的目标所占比例。
• 训练与推断：三次独立运行取平均。统一训练 6 轮、batch size 16；第 4.2 节改变轮次。所有方法每样本 16 步去噪。Q-SKEW 的 ρ=0.35，h=0.1。论文未报告成员推断的 R、阈值选取方式和每轮样本量。
• 参考模型：默认使用与目标对应的未微调模型。第 4.3 节替换为错位参考模型。

主结果

Table 1–2 为 LLaDA，Table 3 为 Dream。Q-Skew 在每列数据集的 AUC 上都高于同表基线。作者称平均 AUC 提升超过 10 个百分点，且优势在不同训练轮次上保持；正文未给出该平均值的逐项计算。Tulu-3 上 Q-Skew 的 TPR@1%FPR 为 4.3，高于 SAMA 的 3.7，但低于 Min-K%++ 未出现的更高项——同表 Min-K% 的 TPR@1%FPR 为 3.3，Q-Skew 仍最高；Table 3 的 XSUM 上 Q-Skew 的 TPR@1% 为 4.2，低于 SAMA 的 4.4。

Swipe horizontally to read the table

设置	模型	Q-Skew AUC	次高 AUC	Q-Skew TPR@1%
ArXiv DFT	LLaDA-8B-Base	83.4	SAMA 70.2	50.6
WikiText DFT	LLaDA-8B-Base	80.3	SAMA 70.3	39.7
XSUM DFT	LLaDA-8B-Base	80.7	SAMA 71.0	47.2
MedQA IFT	LLaDA-8B-Instruct	72.8	SAMA 65.1	6.7
Alpaca IFT	LLaDA-8B-Instruct	81.4	SAMA 69.1	41.6
Tulu-3 IFT	LLaDA-8B-Instruct	67.2	Calibration 60.1	4.3
XSUM DFT	Dream-Base-7B	63.4	SAMA 60.7	4.2
Tulu-3 IFT	Dream-Instruct-7B	59.1	Calibration 55.1	3.1

据 Table 1、Table 2、Table 3。TPR@1% 即 TPR@1%FPR；Table 3 列名写作 TPR@1%。次高按同表 AUC 选取。

• 作者解读：Q-SKEW 在不同数据集、DLM 以及 DFT 与 IFT 上都优于基线。相对 LLaDA，Dream 系列的成员推断脆弱性更低；作者称并发工作也有类似观察。
• IFT 的低 TPR：MedQA 与 Tulu-3 上，Q-Skew 的 TPR@1%FPR 为 6.7 与 4.3，远低于 ArXiv DFT 的 50.6。作者未在结果节单独解释这一差距。
• 并非每项低 FPR 都最高：Table 3 的 XSUM 上，SAMA 的 TPR@1% 为 4.4，Q-Skew 为 4.2。

训练轮次

Figure 2 评测不同微调轮次。正文称随着微调进行，训练数据记忆逐渐增加，并称 Q-SKEW 在不同训练步上始终优于基线。图中曲线端点与逐轮数值在纯文本中不可读，故不转写具体点值。

错位参考模型

Table 4 在无法取得与目标对应的未微调模型时比较三种替代：用未微调 Base 代替 Instruct、用未微调 Instruct 代替 Base、用在其他扰动数据上微调过的模型。DFT 测 ArXiv，IFT 测 MedQA。括号为相对 Golden Reference 的差值。

• Base DLM（ArXiv）：Golden 的 AUC / TPR@10 / TPR@1 为 83.4 / 66.1 / 50.6。Instruction Reference 为 78.4（−5.0）/ 55.5（−10.7）/ 45.5（−5.1）；Para-modification 为 78.4（−5.0）/ 60.0（−6.2）/ 45.0（−5.6）。同表 SAMA (w/ Ref) 为 70.2 / 34.4 / 17.6。
• Instruction DLM（MedQA）：Golden 为 72.8 / 31.6 / 6.7。Base Reference 为 71.5（−1.3）/ 32.0（+0.4）/ 6.0（−0.7）；Para-modification 为 70.0（−2.8）/ 25.0（−6.6）/ 2.5（−4.2）。SAMA (w/ Ref) 为 65.1 / 26.0 / 3.2。作者称下降幅度小，且仍高于最强基线。Base Reference 的 TPR@10 为 32.0，高于 Golden 的 31.6。

PII 重建

Table 6 在微调后的 LLaDA-8B-Base 上报告电话与邮箱的 ASR，分母均为 50。

• 四组信号：CE 排序为 30%（15/50）与 20%（10/50）；只掩码 PII 的 Q-SKEW 为 22%（11/50）与 16%（8/50）；只掩码上下文的 Q-SKEW 为 10%（5/50）与 8%（4/50）；Combine-0.1 为 34%（17/50）与 24%（12/50），作者将后一组标为最佳。
• 作者解读：单独使用偏度差于 CE，因为 PII 重建主要是排序而不是单纯推断。合并后 ASR 升高；作者认为偏度减轻预训练语言先验对 CE 排序的偏向。Figure 7–9 的例子中，作者称仅由排序恢复的邮箱更短、更接近自然语言，仅由偏度恢复的更长、更结构化，电话上的 ASR 也更高；仅偏度的候选集更小但 token 更多样。作者把更长上下文与更高记忆联系起来，并引用 AR 模型上的既有观察（Carlini et al., 2023）。

其他消融与分析

• 组件消融（Table 5，WikiText DFT）：完整 Q-Skew 的 AUC / TPR@10%FPR / TPR@1%FPR 为 80.3 / 57.7 / 39.7；去掉循环采样为 78.5 / 53.0 / 37.0；用均值替代偏度为 77.6 / 54.3 / 34.0；去掉分位数加权为 78.2 / 55.0 / 33.4。作者称每个组件都有效。
• 掩码率验证：固定掩码率 0.25、0.50、0.75 微调 LLaDA（XSUM，四轮）；作者称低掩码率对应更高的平均 token 记忆增益（Figure 1），更多验证放在 Section B。
• α：Appendix F.1 给出合并权重的影响与选取；正文只固定报告 α=0.1。掩码批次重复次数为 4–16，正文未按次数分列 ASR。

作者指出的局限与后续方向

• 可训练的开源 DLM 有限：Limitations 称，适合训练的公开开源扩散语言模型仍然有限，因此方法主要在当前主流模型上评估。
• 未来架构未知：同一节称 DLM 发展很快，未来可能出现更多样的扩散架构和训练机制，方法在这类未来模型上的泛化能力仍然未知。
• 结论中的方向：Conclusion 称，由于训练过程不同，DLM 与 AR LLM 呈现不同特征，并鼓励社区关注 DLM 特有的隐私风险。Impact Statement 称 Q-SKEW 旨在作为审计工具评估并缓解隐私风险，并鼓励发展面向扩散模型的隐私保护训练与推断技术。论文未把后两句写成方法本身的实验局限。

实验覆盖范围

• 成员推断模型与任务：LLaDA-8B 与 Dream-7B 的 Base、Instruct 共四个模型；DFT 数据为 ArXiv、WikiText、XSUM，IFT 数据为 MedQA、Alpaca、Tulu-3（第 4 节，Table 1–3）。Dream 只报告 XSUM（DFT）与 Tulu-3（IFT）。
• 协议：默认 6 轮、batch size 16、每样本 16 步去噪、三次运行取平均；Figure 2 改变训练轮次，但纯文本未给出逐轮数字。ρ=0.35，h=0.1。
• 参考模型：Table 4 在 ArXiv（Base）与 MedQA（Instruct）上比较未微调金标准、跨 Base/Instruct 替代，以及在其他扰动数据上微调的替代。Appendix E 讨论可以访问参考模型的理由。
• 消融与排除：Table 5 在 WikiText DFT 上去掉循环采样、偏度或分位数加权。MIMIR 因原模型上已有成员/非成员先验差异而未使用（Section D.1）。PIA 与条件似然差异方法因针对连续扩散而未改编（附录 C 的选择说明）。
• PII：仅 LLaDA-8B-Base、TREC、各 50 个电话与邮箱；信号为 CE、只掩码 PII、只掩码上下文和 Combine-0.1（Table 6）。附录 F 含 α 的消融和定性例子。论文未报告成员推断查询次数、循环轮数 R 的具体值和人工一致性。

Q-SKEW 是针对微调扩散语言模型的 gray-box 成员推断指标，依据是 token 记忆增益随掩码率下降而增大、成员序列因此右偏。

• 问题：DLM 用任意顺序掩码去噪训练。作者认为这使下尾 token 分数和面向连续视觉扩散的成员推断失效，而以往微调评测又主要只做固定块长的领域微调。
• 方法：假设被选中 token 的单步记忆增益随掩码率严格递减，从而证明成员 token 的累积增益严格右偏，非成员接近对称。实现上用未微调参考模型与目标模型的逐 token 负对数概率差，经 R 轮不相交循环掩码收集样本，再以第 15 与第 85 分位加权的中位数偏度作为分数。实验中 ρ=0.35、h=0.1、每样本 16 步去噪。
• 成员推断：LLaDA-8B-Base 的 DFT 上，Q-Skew 的 AUC 在 ArXiv、WikiText、XSUM 为 83.4、80.3、80.7，同表次高为 SAMA 的 70.2、70.3、71.0（Table 1）。LLaDA-8B-Instruct 的 IFT 上，MedQA、Alpaca、Tulu-3 为 72.8、81.4、67.2（Table 2）。Dream-Base-7B 的 XSUM 为 63.4，Dream-Instruct-7B 的 Tulu-3 为 59.1（Table 3）。作者称平均 AUC 提升超过 10 个百分点，并在不同训练轮次上保持优势。Table 3 中 XSUM 的 TPR@1% 是例外：SAMA 为 4.4，Q-Skew 为 4.2。错位参考模型下 AUC 有所下降，ArXiv 上从 83.4 降到 78.4，仍高于同表 SAMA 的 70.2（Table 4）。
• PII：在 TREC 上微调的 LLaDA-8B-Base 中，交叉熵排序的电话与邮箱 top-1 ASR 为 30%（15/50）和 20%（10/50）；与偏度按 α=0.1 合并后为 34%（17/50）和 24%（12/50）（Table 6）。单独偏度低于交叉熵。
• 作者结论：训练过程的差异使 DLM 与 AR LLM 具有不同的隐私特征，社区需要关注 DLM 特有的隐私风险。Limitations 同时写明，评估主要限于当前可训练的主流开源 DLM，对未来新架构的泛化未知。