OLMo-Detect：面向 LLM 成员推断的多阶段混淆控制基准
OLMo-Detect: A Multi-Stage Confounder-Controlled Benchmark for Membership Inference on LLMs
AI 导读
研究者提出 OLMo-Detect，一个基于完全开放的 OLMo 2 流程构建的多阶段、混淆控制成员推断基准，覆盖预训练、中期训练和后训练，并在三个关键维度上对齐成员与非成员，同时用 infini-gram 严格过滤非成员。研究还引入成员与非成员错位的 OLMo-Detect（Shifted）变体以评估分布偏移下的鲁棒性，并在 OLMo 2 系列上评测了 15 种无监督和 3 种有监督成员推断攻击。结果显示：最佳无监督与有监督攻击的 AUC 均仅为 0.68，有监督攻击在跨域评测中性能下降；攻击性能在中期训练阶段最高，这一模式由数据类型而非阶段效应驱动，人工整理的数学数据远比其他类型更易被检测；整体分数从 1B 到 13B 提升但在 32B 趋于平台；没有无监督攻击能抵御分布偏移，AUC 变化幅度最高达 0.42。研究称这些结论可推广到 OLMo 3 和非 OLMo 模型。