跳到正文
原文
论文追踪· arXiv:2610.02986·本站收录· 原文发表

OLMo-Detect：面向 LLM 成员推断的多阶段混淆控制基准

OLMo-Detect: A Multi-Stage Confounder-Controlled Benchmark for Membership Inference on LLMs

论文速读

评测与基准

据论文 PDF 整理（AI 生成），以原文为准

Zlib与Sup-CAMIA在OLMo-Detect上、OLMo 2四尺寸宏平均AUC均为0.68。

问题
成员推断要在看不到训练语料时判断文本是否被用于训练。作者认为现有基准少覆盖mid-training，成员与非成员常有时间漂移或只做聚合对齐，且非成员过滤不严。
方法
OLMo-Detect建在OLMo 2上，覆盖预训练、mid-training与后训练九域。非成员经infini-gram做13-gram过滤（阈值20%），成员用模拟退火在质量、时间与词汇三轴上对齐。Shifted变体则故意不对齐。
实验与结果
在OLMo 2的1B至32B上，Zlib与In-domain的Sup-CAMIA宏平均AUC均为0.68。作者报告中期更高主要来自策划数学数据；分布偏移下AUC变化最大为0.42。主要模式可迁到OLMo 3与两个非OLMo族。
局限与可以继续做的
论文未设局限专节，附录H将完整多种子分析留作后续。主实验为OLMo 2四个instruction-tuned尺寸、九域与18个MIA；泛化限于与这些域共享训练数据且非成员可核验的模型。
实验设置OLMo 2 1B、OLMo 2 7B 等 · OLMo-Detect、OLMo-Detect (Shifted) · AUC、TPR@5%FPR
被测模型
OLMo 2 1BOLMo 2 7BOLMo 2 13BOLMo 2 32BOLMo 3 7BOLMo 3 32BDCLM-Baseline-1BDCLM-Baseline-7BSmolLM2-1.7B
基准
OLMo-DetectOLMo-Detect (Shifted)
指标
AUCTPR@5%FPR
AI 导读研究者提出 OLMo-Detect，一个基于完全开放的 OLMo 2 流程构建的多阶段、混淆控制成员推断基准，覆盖预训练、中期训练和后训练，并在三个关键维度上对齐成员与非成员，同时用 infini-gram 严格过滤非成员。研究还引入成员与非成员错位的 OLMo-Detect（Shifted）变体以评估分布偏移下的鲁棒性，并在 OLMo 2 系列上评测了 15 种无监督和 3 种有监督成员推断攻击。结果显示：最佳无监督与有监督攻击的 AUC 均仅为 0.68，有监督攻击在跨域评测中性能下降；攻击性能在中期训练阶段最高，这一模式由数据类型而非阶段效应驱动，人工整理的数学数据远比其他类型更易被检测；整体分数从 1B 到 13B 提升但在 32B 趋于平台；没有无监督攻击能抵御分布偏移，AUC 变化幅度最高达 0.42。研究称这些结论可推广到 OLMo 3 和非 OLMo 模型。

研究者提出 OLMo-Detect，一个基于完全开放的 OLMo 2 流程构建的多阶段、混淆控制成员推断基准，覆盖预训练、中期训练和后训练，并在三个关键维度上对齐成员与非成员，同时用 infini-gram 严格过滤非成员。研究还引入成员与非成员错位的 OLMo-Detect（Shifted）变体以评估分布偏移下的鲁棒性，并在 OLMo 2 系列上评测了 15 种无监督和 3 种有监督成员推断攻击。结果显示：最佳无监督与有监督攻击的 AUC 均仅为 0.68，有监督攻击在跨域评测中性能下降；攻击性能在中期训练阶段最高，这一模式由数据类型而非阶段效应驱动，人工整理的数学数据远比其他类型更易被检测；整体分数从 1B 到 13B 提升但在 32B 趋于平台；没有无监督攻击能抵御分布偏移，AUC 变化幅度最高达 0.42。研究称这些结论可推广到 OLMo 3 和非 OLMo 模型。

深度解读

6个问题，点开问题读完整回答

  1. 这篇论文试图解决什么问题？

    成员推断缺三阶段且混淆受控的基准，作者据此提出OLMo-Detect。

    成员推断缺少同时覆盖三阶段、并压低可被攻击利用的分布差异的基准。

    • 场景：要在无训练语料时判断文本是否进入过训练。作者认为现代LLM已是预训练、mid-training、后训练，但多数基准只做预训练。
    • 不足：作者指出阶段覆盖不全；成员与非成员常有时间漂移或微调差异，或只有train/held-out式聚合对齐；非成员过滤不严。MIMIR的13-gram阈值为80%。
    • 假设：多数MIA利用精确措辞而非语义。作者认为只做语义对齐仍可能留下词汇偏移。
    • 威胁模型：
      • 目标：用打分函数判断候选文本x是否属于未知语料D。
      • 知识：Section 3设为grey-box，可用loss、logits、token probabilities，不可用weights、gradients。
      • 能力：部分方法还假设可以微调目标模型M（Appendix B）。
      • 载体：标签核验用训练流程公开的OLMo 2；分数打在instruction-tuned模型上。
    • 提出：作者提出OLMo-Detect，以及成员故意不对齐的OLMo-Detect (Shifted)，用来评测已有MIA。

  2. 有哪些相关研究？

    相关工作按成员构造分四类基准，MIA则分无监督与有监督。

    成员构造方式

    • 时间切分：WikiMIA（Shi et al., 2023）、StackMIA（Ye et al., 2024）、PatentMIA（Zhang et al., 2024b）、WikiMIA-24（Fu et al., 2025）以截止日期前后区分成员与非成员。作者引用Duan et al. (2024)并认为，高分很可能反映时间漂移而非成员检测。
    • 语料划分：MIMIR（Duan et al., 2024）划分The Pile与Dolma，13-gram阈值80%；作者报告其各域残差重叠持续超过30%。RL-MIA（Tao et al., 2025）在RL后训练中制造划分；作者称没有显式机制核验分布对齐。
    • 检查点与模型输出：OLMoMIA（Kim et al., 2026）用OLMo-7B检查点，并以NV-Embed-v2做语义对齐；作者认为语义接近不等于n-gram接近，可能形成词汇捷径。DETCON（Dong et al., 2024）把LoRA微调输出当成员、基座输出当非成员；作者指出二者来自不同模型状态，且LoRA动态不同于全参训练。

    无监督MIA

    • 似然类：从Perplexity（Yeom et al., 2018）到Zlib、Lowercase（Carlini et al., 2021）、Min-K%、Min-K%++、DCPDD、PAC、ReCaLL、EMMIA、CAMIA，用token似然及不同校准。
    • 其他信号：Neighborhood用邻域似然差；Guided Instruction、DCQ等通过补全或选择探测记忆；CDD、Self-Critique看输出是否异常集中。论文对各类以描述为主。

    有监督MIA

    • 不改权重：Sup-CAMIA用标注样本训练逻辑回归，组合逐token损失动态特征。
    • 调参：MIA-Tuner（Fu et al., 2025）冻结权重、调节soft prompt；FSD（Zhang et al., 2025）在非成员上短时微调，用微调前后分数差作信号。

    本文评测所用

    • 方法：Section 5.1的15个无监督与3个有监督MIA。
    • 数据：自建OLMo-Detect九域及Shifted变体；泛化实验用与对照模型共享的GSM8K、DCLM-Baseline、OpenWebMath。

    作者用Table 1的Coverage、Explicit Alignment、Rigorous Filtering定位本文：既有基准未同时满足三项；OLMoMIA只对齐语义，MIMIR过滤阈值更宽。

  3. 论文如何解决这个问题？

    在公开的OLMo 2上过滤非成员，并用模拟退火把成员对齐到三轴。

    OLMo-Detect建在训练流程完全公开的OLMo 2上：非成员经infini-gram过滤，成员用模拟退火在三轴上对齐。另设不对齐变体，以观察分布偏移。

    任务定义

    设M在未知语料D上训练。给定候选文本x，用打分函数s(x; M)推断是否x属于D。判定为prediction(x; M)=1[s(x; M)≥λ]，1为成员、0为非成员。论文不固定单一λ，主指标用AUC。

    • 访问：grey-box。可用输出统计，不可用内部参数。部分有监督方法会微调M。
    • 打分对象：评测的是instruction-tuned OLMo 2，成员可来自其任一训练阶段，而不是各阶段检查点。

    域与排除

    Section 4.3保留九域。预训练：DCLM-Baseline、peS2o、OpenWebMath、StarCoder（Python、Java）。mid-training：Math Mix（GSM8K）、Stack Exchange（Stack Overflow、Math Stack Exchange）。后训练：SFT（WildChat、Aya）、DPO（UF-WildChat）、RLVR（CoT-GSM8K、CoT-MATH）。

    • 不纳入：从预训练复用的mid-training域；Wikipedia/Wikibooks无同源非成员；arXiv与Algebraic Stack过滤后无幸存非成员；FLAN无法同时匹配条数与token数。
    • 划分：每域dev/test的样本与token约1:9。SFT与DPO因各尺寸训练数据不同而分别构造；Table 2所示为1B。

    非成员

    先找与训练数据同源的池：held-out，或原语料中未被OLMo 2使用的剩余部分。无质量阈值的域随机抽样；有阈值的域做边界抽样，使候选落在阈值下方，避免质量系统性更低。

    • 过滤：对每个尺寸的完整训练语料建infini-gram索引，计入epoch与model soup重复。13-gram重叠比例η为出现过的13-gram占比，保留η<20%者。策略来自Xu et al. (2025)。
    • 配额：每域约217K tokens，由Math Mix非成员token数决定；多子集按训练来源比例分配。附录E要求每域至少100条、每子集至少50条。

    成员对齐

    无质量阈值的域，候选即对应训练数据；有阈值的域取刚过阈值的样本，与非成员的质量边界相接。三轴为文本质量、时间范围（有时间戳时）和词汇相似度。作者称时间漂移可抬高检测分，且多数MIA针对精确措辞，故用token频率的Jensen–Shannon散度（JSD）约束词汇。

    在条数相等、token差不超过δ=250下，用模拟退火最小化

    L=JSD(pA′,pB)+1[temporal metadata available]· Ltemp

    即词汇散度加上有时间戳时的时间均值与标准差对齐项。附录F：最多10^7步，初温10^-3，接受后温度乘0.999995，种子42。附录F.2称三轴并非穷尽，更多约束会缩小可行池。

    核验与Shifted

    Table 3：非成员对训练语料的平均13-gram重叠为5.31%，最高9.31%（StarCoder）。不用LLM的词袋分类器在各域AUC距0.50不超过0.02，作者据此认为词汇对齐成立。

    Shifted保持非成员不变，成员只匹配条数与token，不对齐三轴。Math Mix与RLVR被排除，因为随机成员的JSD与非成员差别不大。附录G称各域至少在一轴上偏移，且刻意模拟既有基准的未对齐构造，而不是把偏移放到最大。

  4. 论文做了哪些实验？

    分布对齐下，Zlib与Sup-CAMIA的总体AUC均为0.68。

    实验设置

    • 模型：instruction-tuned OLMo 2 1B、7B、13B、32B。泛化另用instruction-following OLMo 3 7B/32B，以及DCLM-Baseline-1B/7B、SmolLM2-1.7B。
    • 数据：OLMo-Detect九域，每域约217K tokens，dev/test约1:9。Table 2的SFT、DPO对应1B。Shifted为七域，不含Math Mix与RLVR。
    • 方法：无监督为PPL、Zlib、Lower、MinK、MinK++、DCPDD、PAC、ReCaLL、EMMIA、CAMIA、Neigh.、Guided、DCQ、CDD、SelfCrit；有监督为Sup-CAMIA、MIA-Tuner、FSD。SelfCrit只评DPO与RLVR。
    • 指标：AUC与TPR@5%FPR。子集到域、域到阶段、阶段到总分用macro-average。
    • 监督设定：In-domain用该域dev；LODO用其余八域dev，在留出域上测试。
    • 实现：batch size 1；生成类上下文4096 tokens，其余1024。种子42。超参在dev上按AUC选择（Table 27）。区间为子集内有放回bootstrap 2000次的95%区间。

    主结果

    表格较宽，可左右滑动

    方法PreMidPostAll
    Zlib0.590.780.670.68
    DCPDD0.610.760.640.67
    MinK0.570.750.660.66
    Method-Avg0.550.640.580.58
    Sup-CAMIA，In-domain0.550.800.680.68
    Sup-CAMIA，LODO0.580.680.580.61
    MIA-Tuner，In-domain0.540.590.530.55

    据Table 4、Table 5：OLMo 2四尺寸的Model-Avg，AUC；Pre/Mid/Post为各阶段域的宏平均。

    • 总体：作者认为在分布匹配、混淆较少时，成员信号比既有基准所暗示的更难检测。作者称Zlib是最早、最简单的方法之一，总体仍不低于更复杂的方法。Table 50中Zlib的TPR@5%FPR为0.28，方法平均0.16；附录L中Sup-CAMIA In-domain为0.26。
    • 似然类：作者报告似然类整体更高，例外是ReCaLL（Model-Avg All为0.46）。作者称其在GSM8K、CoT-GSM8K、CoT-MATH上反转（AUC 0.10、0.09、0.45，Tables 41、49），因固定格式使前缀变成上下文示例。
    • 监督：作者认为同分布标签增益有限：Sup-CAMIA只比无监督CAMIA高0.03，MIA-Tuner接近随机，FSD平均降低基方法AUC。LODO下降，作者认为学到的更像域内统计。

    阶段与数据类型

    • 测了什么：Table 6把子集AUC按阶段与数据类型拆开。all MIAs排除报告增益的FSD和只评DPO/RLVR的SelfCrit；有效MIA指总体AUC≥0.60。数字为跨尺寸平均。
    • 结果：含全部子集时，all MIAs的Pre/Mid/Post为0.55/0.65/0.59；去掉GSM8K、CoT-GSM8K、CoT-MATH后为0.55/0.59/0.54。策划数学相对其他子集：all MIAs为0.69对0.56（+0.12，13/16，单侧Wilcoxon p=0.008）；有效MIA为0.86对0.59（+0.27，8/8，p=0.004）。有效MIA中三者均超过0.70，CoT-GSM8K为0.90。
    • 作者解读：作者认为阶段排序主要是数据构成效应，而不是阶段本身；效应针对策划数学，而非一般数学内容。Math Stack Exchange与OpenWebMath在有效MIA中为0.61与0.57。重复次数不能解释：DCLM为9.00，仍低于重复1.50的CoT-MATH。

    分布偏移

    • 测了什么：七个有Shifted变体的域上，比较无监督方法AUC（不含SelfCrit）。差值用95%配对实例bootstrap。
    • 结果：每个方法在三至六个域上变化被作者判为显著，单方法最大变化为0.09至0.42，均值0.22（Table 7）。最大者为EMMIA在OpenWebMath上+0.42。十个似然方法中八个变化0.20–0.42；Neigh.、Guided、DCQ、CDD至多0.12。
    • 作者解读：作者称没有无监督方法对分布偏移稳健，且升降无统一方向。OpenWebMath使PPL升0.29、使Zlib降0.31；peS2o使CAMIA升0.28、使EMMIA降0.17（Section 5.4）。ReCaLL与CDD的显著变化均为上升。

    超出OLMo 2

    • 测了什么：五个总体较高的无监督方法（Zlib、DCPDD、MinK、PAC、PPL）打到OLMo 3与两个非OLMo族，并与同尺寸OLMo 2比（Table 8）。作者称已核验GSM8K成员在OLMo 3训练数据中、非成员不在。
    • 结果：GSM8K在OLMo 3-7B上五法平均AUC为0.97，OLMo 2-7B为0.87；32B为0.99对0.97，各法在0.92–1.00。DCLM-Baseline-1B、SmolLM2-1.7B与OLMo 2-1B的五法平均为0.61、0.62对0.59；OpenWebMath上DCB-7B对OLMo 2-7B为0.56对0.55。三模型各法与同尺寸OLMo 2相差不超过0.04，两域AUC在0.51–0.64。
    • 作者解读：作者称主要发现不限于OLMo 2。7B上OLMo 3更高，作者认为可能因其记忆更强。作者称方法排序也迁移：PAC在DCLM上最高，DCPDD在OpenWebMath上最高。

    其他消融与分析

    • 无监督Method-Avg的All：1B 0.56、7B 0.58、13B 0.60、32B 0.61（Table 4）。Sup-CAMIA In-domain的All在13B为0.71、32B为0.69（Table 5）。
    • MinK++的Model-Avg All为0.56，MinK为0.66（Table 4）。作者认为细粒度归一化去掉了部分成员信号。
    • 监督预算从10%增到50%（留出50%作评测）：Sup-CAMIA只升0.04–0.06 AUC（Section 5.2）。
    • 域未知、各域等条数池化：无监督降0.02、有监督降0.03 AUC，Sup-CAMIA降0.06；17个MIA的Spearman ρ=0.95（Section 5.2）。
    • FSD相对Zlib的平均ΔAUC：In-domain −0.04，LODO −0.06（Table 5）。MIA-Tuner的LODO All为0.49。
    • Guided、DCQ、CDD、SelfCrit的Model-Avg All为0.49、0.49、0.52、0.47（Table 4）。附录K称九域中监督优于Zlib的只有五域，DPO上Zlib为0.48、监督增益最大（+0.10）。

  5. 有什么可以进一步探索的点？

    论文未设局限专节，仅把多种子分析留作后续工作。

    作者指出的局限与后续方向

    • 多种子：附录H写明，Neigh.、CDD、PAC、FSD、MIA-Tuner含随机抽样或随机数据顺序，因计算代价未做多种子重复；bootstrap只反映有限评测集的不确定性，不反映种子间方差。完整多种子分析留作后续。
    • 测试台：Section 6希望OLMo-Detect成为后续MIA的测试台。论文未设Limitations专节，也未把这句写成不足。

    实验覆盖范围

    • 主实验为instruction-tuned OLMo 2 1B、7B、13B、32B，成员可来自三阶段，分数打在最终指令模型上（Section 5.1）。
    • 泛化实验为OLMo 3 7B/32B的GSM8K，以及DCLM-Baseline-1B/7B、SmolLM2-1.7B上、与其训练数据重合且非成员可核验的域（Section 5.5、Table 8）。
    • 评测15个无监督与3个有监督MIA，指标为AUC与TPR@5%FPR，汇总用macro-average。附录H说明未纳入Smaller Ref、SPV-MIA、Name-cloze、TS-Guessing，原因是需要M以外的模型、文本须含专名，或无开源实现。
    • OLMo-Detect为九域、每域约217K tokens、dev/test约1:9；Shifted为七域。访问设定为grey-box，部分方法可微调M。
    • 随机种子固定为42；95%区间来自2000次子集内bootstrap。论文未报告上述五种随机方法的种子间方差（附录H）。

  6. 总结一下论文的主要内容

    对齐并严过滤后，现有MIA总体AUC最高为0.68。

    作者提出面向LLM成员推断的多阶段基准OLMo-Detect，并在结论中称它是同时覆盖预训练、mid-training、后训练，在三轴上对齐成员与非成员，且对照训练语料严格过滤非成员的基准。

    • 问题：在grey-box下判断文本是否属于未知训练语料。作者认为既有基准阶段不全、分布常偏移、非成员过滤偏松，使分数难以只反映成员关系。
    • 做法：在OLMo 2公开流程上建九域。非成员用infini-gram做13-gram过滤，阈值20%，平均残差重叠5.31%（Table 3）。成员用模拟退火对齐质量、时间与词汇。Shifted故意不对齐，用来看稳健性。
    • 主结果：OLMo 2 1B–32B上，Zlib与In-domain的Sup-CAMIA宏平均AUC均为0.68，无监督方法平均0.58（Tables 4、5）。Zlib的TPR@5%FPR为0.28（Table 50）。LODO下Sup-CAMIA降到0.61。
    • 数据类型与规模：中期更高主要来自策划数学数据；去掉后阶段差距缩小。作者报告该差异在Wilcoxon检验下p=0.008与0.004（Table 6）。无监督平均AUC从1B的0.56到32B的0.61，作者认为规模继续增大不一定使检测更容易。
    • 偏移与迁移：没有无监督方法对分布偏移稳健，AUC变化最大0.42（Table 7）。作者称主要模式可迁到OLMo 3与DCLM-Baseline、SmolLM2；GSM8K在OLMo 3上仍高，弱可检测域仍弱（Table 8）。
阅读原文arxiv.org