近重复家族干扰精确记录成员推断，CC-News 上误判率达 99.70%

标准成员推断把“精确记录是否入训”和“近重复族是否入训”混在一起，无法支撑版权与数据来源审计所要求的精确记录证明。

• 场景：成员推断（membership inference, MI）原本是隐私攻击，现被转用于版权争议和数据来源主张。作者认为这些应用要求审计识别的是争议中的精确记录，而不是相关内容。网页规模语料里的转载新闻、镜像页面和轻微修改会模糊这一区别。
• 现有方法的不足：标准MI用“干净”零假设，把精确纳入对照一个不存在相关内容的理想缺失。作者认为，若非同一的近重复让模型给出成员样分数，审计会把族级暴露误判为精确记录来源。作者还认为，即便能完美再训练，查询记录的“缺失”仍是由族缺失与族在场组成的复合状态。
• 核心观察：作者把精确记录成员关系写成以近重复族存在为滋扰变量的复合假设。四世界审计独立变化精确纳入E与族存在F，以分开标准精确推断、族存在推断，以及族已在场时的精确推断。
• 论文提出什么：在自然语料上测量误归因（false attribution），并在受控干预中比较分类下的替代（substitution）与自回归语言建模下的加性记忆。作者的结论是：仅依赖模型的正向成员证据可以支持族级暴露，但不能确立精确记录来源。
• 威胁模型：
  • 目标：判定精确记录x是否出现在训练集中，并把它与仅有非同一近重复入训的情形分开。
  • 知识：审计者对目标模型有black-box访问，可在参照数据集上训练影子模型，但不能检查已部署训练集，也不能假定知道近重复族中的每一个变体。
  • 能力：可在影子训练中独立随机化精确成员身份，并用校准影子拟合条件分数密度、设定阈值。
  • 受害系统：被审计的是在含近重复的数据上训练或微调的分类与自回归模型；成功的干净参照判定若在族在场、精确记录缺失时仍标为成员，即构成误归因。

论文在第2节按三组讨论既有工作。

成员推断与归因

• Shokri et al. (2017)、Yeom et al. (2018)：把成员推断作为与过拟合密切相关的隐私攻击提出。
• 后续攻击与指标：Li & Zhang (2021) 仅用硬标签泄漏成员关系；Liu et al. (2022) 利用蒸馏损失轨迹恢复训练动态；Li et al. (2022) 跟踪多出口网络等架构选择；Wen et al. (2024) 表明上下文适应而非权重更新时泄漏仍在。LiRA（Carlini et al., 2022a）、RMIA（Zarifzadeh et al., 2024）以及Min-K%一类LLM指标（Shi et al., 2024; Zhang et al., 2025b; Ilic et al., 2026）加强了低FPR下的统计效力。Maini et al. (2024; 2021)、Meeus et al. (2024)、Ertan et al. (2026) 把这些工具转用于数据集推断与版权分析。
• Zhang et al. (2025a)：指出无法抽样的生产级零假设带来校准障碍。作者认为自己指出的问题更根本，且在拥有完美再训练访问时仍然存在：记录“缺失”同时包含族缺失与族在场。

相关记录与记忆

• Feldman & Zhang (2020)、Feldman (2020)、Carlini et al. (2021)：把记忆与数据分布联系起来。Rezaei & Liu (2022) 指出邻近非成员常得到成员样预测。
• Carlini et al. (2022b)、Zhang et al. (2023)：用“privacy onion”与反事实记忆说明一条记录的泄漏依赖于周围训练邻域。Kandpal et al. (2022)、Lee et al. (2022) 据此推动语料去重以降低抽取风险。

操纵与防御

• Mangaokar et al. (2025)、Borkar et al. (2025)：优化后的投毒可迫使任意MI判定。Tramèr et al. (2022) 的Truth Serum与Chaudhari et al. (2024) 的Chameleon通过错误标签副本或自适应投毒放大泄漏。
• 训练方防御：Abadi et al. (2016)、Nasr et al. (2018)、Tang et al. (2022)、Chen et al. (2022)、Jia et al. (2019) 用差分隐私或对抗正则减轻泄漏。作者称，本文评估的混淆来自数据本身，没有对抗者；对受控实验的防御性解读只是次要的。

基线方法为干净参照审计器与族条件审计器，主校准审计器是LiRA；语言建模还比较loss、Min-K20%、Min-K++、EZ-MIA和邻域比较。基准/数据集为CC-News、WikiText-103、CIFAR-10/100和AG-News。

作者把本文定位为：在完美再训练访问下，干净“缺失”仍是复合状态，从而混淆精确归因；四世界干预把精确记录证据与族级证据分开。

作者用四世界审计（four-world audit）把精确记录纳入与近重复族存在拆成两个二元因素，从而把标准MI混在一起的三个问题分开。

问题设定与形式化

• 四个世界：设f为在数据集D上训练的模型，x为被审计的精确记录。E∈{0,1}表示x是否在D中，F∈{0,1}表示其近重复族中某个非同一成员是否在D中。(E,F)定义H00、H10、H01、H11，分别对应两者皆无、仅精确记录、仅族、两者皆有。
• 三种比较：标准MI比较H10与H00。exact-given-family比较H11与H01，问族已在场时x是否再增加可检测证据。族存在推断比较H01与H00。F未知时，精确记录推断的复合假设为H0E={H00,H01}、H1E={H10,H11}。
• 干净零假设校准：命题1称，对任意拒绝域A，若P00(A)≤α，则复合精确缺失零假设上的第一类错误为max{P00(A), P01(A)}，不被α界定，且可以等于1。若精确非成员中族存在的流行度为π，部署FPR为(1−π)P00(A)+πP01(A)。作者称该命题与分布无关，不依赖LiRA、高斯分数或特定相似度。
• 效应量：对四世界均值μEF与方差σEF²，原始条件效应δE^F=μ1F−μ0F，标准化效应dE^F把该差除以两世界方差平均的平方根。交互I=δE^1−δE^0衡量族存在如何改变精确记录的绝对贡献；Rexact=dE^1/dE^0衡量保留下来的精确记录信号比例。作者称比值接近0表示近乎完全替代，接近1表示近似可加。

失败模式与审计器

• 两种失败：误归因指仅有族（H01）就使分数越过在干净数据（H00对H10）上校准的阈值，从而把缺失的精确记录判成成员。擦除（erasure）指族完全盖过精确记录，使H11与H01即使对oracle审计器也不可区分。
• 分数：分类的主分数是真实类别的logit margin；语言建模是负后缀损失（negative suffix loss）。
• LiRA：主校准审计器在校准影子上拟合参数化分数密度。对数似然比为ℓx(ϕ)=log p(ϕ|E=1,F=f)−log p(ϕ|E=0,F=f)。F=0为干净参照审计器，F=1为族条件审计器。标准阈值用干净OUT分数（H00）按名义FPR α选取。

评测协议与数据

• 影子流程：每个条件重新训练一批影子模型，并独立随机化每个目标的精确成员身份。校准影子拟合密度并设阈值；不相交的评估影子在样本外测量FPR与TPR。报告原始AUC、方向不变优势adv=2|AUC−0.5|，以及LR+=TPR/FPR（对单次重抽样取自助中位数）。置信区间用目标与影子种子的交叉自助法。易受影响目标只在单独的发现影子上选定，以避免选择偏差。
• 文本族：从CC-News和WikiText-103用token 5-gram的MinHash聚类、按Jaccard阈值挖掘自然近重复族。CC-News取200个自然新闻转载族和100个无兄弟对照，目标的token-5-gram Jaccard落在[0.50, 1.00)。WikiText-103对56个有自然兄弟的目标与32个对照微调96个GPT-2影子。
• 视觉族：在CIFAR-10/100上用同标签的空间与几何变换系统构造族。因果实验使用48个被防护目标（shielded targets）和256个与目标不相交的旁观者，族大小k=8。AG-News上保持GPT-2骨干、目标记录、语义改写族、暴露水平和审计设计不变，只改变训练任务是序列分类还是自回归建模。
• 范围：架构包括ResNet-9、VGG-11、GPT-2、Pythia-2.8B、Qwen3.5-2B；数据集为CIFAR-10/100、AG-News、WikiText-103、CC-News。作者称合计训练超过1500个影子模型。每次干预固定背景数据与训练配方。CC-News核心设置为128个pythia-2.8B影子，并对每个段落的固定后缀打分、去掉字节级完全相同的副本。

局部饱和与报告规则

• 边际贡献：令S为x的已训练族，ϕ(x;D)为在D上训练后查询x的期望审计分数。精确记录在族语境下的离散边际贡献为Δx(S)=ϕ(x;D∪S∪{x})−ϕ(x;D∪S)。作者用它描述：忠实记录先覆盖局部信号，使加入x之前收益饱和，从而缩小IN/OUT差距。
• 建议的报告：当近重复不能被排除时，作者建议模型侧审计声明推断单位，同时构造H00与H01参照分布，并分别披露四个世界的FPR与功效。若不能穷尽近重复，或族在场零假设越过干净阈值，作者建议对精确成员弃权，并可同时报告正向的族存在结论。作者称，此时精确来源须依赖训练集检查、签名清单或系统访问日志等外部记录。

实验设置

• 被测模型：Pythia-2.8B（CC-News全量微调及重复运行）、GPT-2（WikiText-103微调；AG-News上分类与自回归）、Qwen3.5-2B LoRA、ResNet-9（CIFAR主实验）、VGG-11。作者称合计超过1500个影子模型。
• 数据：CC-News为200个自然族、100个无兄弟对照，Jaccard∈[0.50, 1.00)，128个pythia-2.8B影子。WikiText-103为56个有兄弟目标、32个对照、96个GPT-2影子。CIFAR-10为48个被防护目标、256个不相交旁观者，k=8。CIFAR-100与VGG-11做迁移。AG-News用几乎不共享5-gram的语义改写族，只改学习目标。
• 基线与分数：干净参照与族条件LiRA；分类用真实类logit margin，语言建模用负后缀损失。稳健性还比较loss、Min-K20%、Min-K++、EZ-MIA、邻域比较，以及全协方差LiRA、增强差分、显式族记录查询和RMIA。
• 指标：AUC、adv=2|AUC−0.5|、名义FPR下的误成员率、TPR、LR+=TPR/FPR（自助中位数）。Table 3的列是pooled score AUC，作者要求不要与别处的逐目标advantage互换。
• 协议：校准影子与评估影子不相交；易受影响目标只在发现影子上选择。置信区间为交叉自助法。去重实验执行Jaccard-0.80的MinHash去重、重建语料并重新训练。
• Figure 1：面板(b)(c)为min–max归一化的汇集世界均值（匹配的AG-News/GPT-2影子）。图中标注：分类侧H00 0.00、H10 0.87、H01 0.88、H11 1.00；语言建模侧H00 0.00、H01 0.36、H10 1.00、H11 1.00。作者称分类下橙色轨迹变平，语言建模下精确记录保留较大加性残差，而仅族偏移已越过示意阈值。

主结果

Table 3为pooled score AUC，列依次是标准精确（E|F=0）、族存在（F|E=0）、残差精确（E|F=1）；随机水平为0.50。

Swipe horizontally to read the table

设置	标准 E|F=0	族 F|E=0	残差 E|F=1
CIFAR-10 分类	0.56	0.69	0.52
CC-News 自回归	0.87	0.98	0.75
AG-News 分类	0.61	0.62	0.53
AG-News 自回归	1.00	0.89	1.00

据Table 3。

• 作者解读：分类中族存在可检测，但exact-given-family接近随机，作者称之为替代。自回归中精确序列仍有残差，作者称之为加性混淆而不是分类式擦除。
• CC-News决策：逐目标LiRA在名义1.00% FPR下把99.70%的族在场精确非成员标为成员；Table 1在5.00%操作点上该率仍为99.70%。干净世界LR+约62.00，族在场后为1.00。匹配的汇集无兄弟对照在该操作点FPR为1.20%。Figure 2(a)中61.01%的汇集非成员分数越过全局干净1%阈值；图注写逐目标校准FPR为99.70%。Figure 2(c)中不知情正向判决的LR中位数为1.00，200个目标中199个LR≤2.00。
• 学习目标：AG-News上只改任务时，exact-given-family AUC从分类的0.53升到自回归的1.00，标准化存活精确比例从0.27升到0.86。两种目标下族存在AUC分别为0.62和0.89。

自然语料的稳健性

Table 1在名义5.00% FPR下报告族在场精确非成员的误归因率FP（对照行是无兄弟记录）；P/T表示汇集/逐目标校准。

Swipe horizontally to read the table

模型/运行	分数（校准）	目标	FP
Pythia/core	loss (P)	all	88.00%
Pythia/core	LiRA (T)	all	99.70%
Pythia/core	loss (P)	control	1.20%
Pythia/repeat	loss (P)	all	98.00%
Pythia/repeat	Min-K20% (P)	all	97.00%
Pythia/repeat	Min-K++ (P)	all	82.00%
Pythia/EZ	EZ-MIA (P)	all	63.00%
Pythia/nbr.	neighbor (P)	all	58.00%

据Table 1。同表其余行：Qwen3.5 LoRA、loss (P)、J<0.80为37.00%；去重后再训练，J∈[0.50, 0.70)为92.00%，J∈[0.70, 0.80)为99.00%；语义改写为10.00%。

• 测了什么 → 结果：Jaccard-0.80去重并重训后，低于阈值而保留的族在5%名义FPR下误成员率约为92.00%与99.00%。语义改写、词面不相交的边界对照把误归因降到10.00%，为名义5.00%的两倍，低于自然词面族的99.70%。
• 作者解读：作者称单次暴露下该现象主要由表面词面相似驱动，而不是语义重叠；§5.3的更重微调中语义族也会移动分数。去重减少重复内容，但不能证明每个混淆来源的族都已不在。
• WikiText-103：名义1.00% FPR下，自然兄弟把干净参照误成员率从1.40%升到81.00%（附录给出95% CI [71%, 90%]），无兄弟对照为1.9%（正文另写对照大致在1–2%）。族条件审计器的精确推断adv约0.99，LR+=97.00。精确段落缺失时，开关族存在的adv=1.00，无兄弟对照为0.07。名义5% FPR下族在场误成员率为85%，正向判决LR+降到1.20。跨再训练环境，误归因幅度约从28%到85%。四个原始最佳兄弟Jaccard带在5% FPR下的CC-News误成员率分别为80%、88%、82%、92%，无兄弟对照为1.2%；族存在AUC在0.92到0.97之间。

受控干预与信息迁移

• CIFAR-10三分：k=8时，忠实近重复把易受影响目标的advantage从0.55降到0.11，变化−0.44（Figure 3）。低保真强化变体只变化−0.08；同类密度与随机对照为−0.03和−0.05。冲突标签使advantage增加+0.24并降低目标准确率。附录写两个最近的同类训练邻居的成员advantage只变化+0.01，CI [−0.02, 0.05]。
• Table 2（名义5% FPR，LR+为自助中位数）：clean→clean为TPR 0.37、FPR 0.07、LR+ 5.20；copy校准→copies为0.11、0.11、1.00；clean→copies为0.61、0.59、1.00；conflict校准→conflict为0.56、0.06、9.90；clean→conflict为0.13、0.02、5.40。24个易受影响目标中88.00%的advantage低于0.05。作者称重新按族校准能去掉误报偏移，但恢复不了精确比特。
• 自适应审计与迁移：参照影子明确带族训练时，全协方差LiRA、增强差分、显式族记录查询和RMIA的AUC为0.47–0.53（附录C）。标准化IN/OUT差距对近重复从1.34降到0.10，对精确副本降到0.04；固定增强查询的集体差距从无族时的2.38降到有近重复时的0.26。效应在k=1即出现，近k=8饱和（Figure 11）。CIFAR-100上近重复使advantage变化−0.76，VGG-11上为−0.30。Figure 4中视觉族大小k从1到16时，exact-given-family advantage从0.09降到0.01，族存在advantage从0.12升到0.48；Pythia参照点同时保留精确残差并暴露内容族（AUC 0.98）。

其他消融与分析

• 复合零假设：视觉上复合精确检验AUC 0.53，功效与名义5.00% FPR相当；oracle四世界GLR为0.55。CC-News上对应AUC为0.69与0.74。从H00校准改向最坏情况H01后，最坏情况FPR从0.88降到0.05，但H10功效从0.34降到0.00，H11功效从0.99降到0.17。
• 不完整族知识：8兄弟族中只计入1或2个时FPR为0.70或0.19；计入4/8时FPR为0.06，达到名义α=0.05。
• 预算：近重复advantage变化从k=1的−0.23到k=8的−0.43，k=16为−0.39；在k≤8上拟合的核模型预测k=16为−0.44。在线增强使强化变体效应从−0.24弱到−0.08。
• 交互：WikiText更接近可加，I=−0.02，CI [−0.06, 0.03]，Rexact=0.89；pythia-2.8B为I=−0.36、Rexact=0.60。冲突标签臂把advantage从0.55升到0.79。
• 从零训练的语言模型：副本与近重复使advantage变化−0.44和−0.50；微调GPT-2为−0.32和−0.11。这些文本设置里冲突证据变化为−0.09和0.00。CIFAR-100选择前基线advantage为0.73；冲突标签为+0.07，密度对照为空效应。
• 词面改写：把自然CC-News族换成保义改写（Jaccard 0.01）后，误归因为10.00%，精确记录推断AUC仍为1.00（Table 1）。Figure 5中冲突预算推到k=256时，Δadv在约0.30处进入平台，未见作者由假设A2预期的转折；k=8点与Truth Serum放大的+0.24相配。

作者指出的局限与后续方向

• 复合校准不能恢复被擦除的分离（§6.2）：作者称，对复合零假设的最坏情况阈值可以同时控制H00与H01上的FPR，但当族引起的分数偏移很大时，这一保守校正无法重建被族擦掉的分离，并大幅降低功效。视觉实验中复合精确检验只有0.53 AUC，功效与名义5.00% FPR相当；即便oracle四世界GLR也只有0.55 AUC。
• 不完整族知识（§6.2）：若文本审计者在8兄弟族中只识别并计入1或2个，FPR仍为0.70或0.19；只有至少一半（4/8，FPR 0.06）被复现并放进参照影子后，才恢复名义校准α=0.05。作者称，在网页规模数据上穷尽每个转载变体、镜像页或轻微编辑，比这一受控最好情况难得多，因此稳健的复合零假设校准在实践中不可行。
• 自适应结果不是信息论保证（§5.4）：作者称，族感知审计器下分类擦除在多个黑盒通道上仍然接近随机，这是经验上的稳健性，不是信息论保证。
• 信息迁移扫描的解释范围（附录）：k从1到16时，两个advantage的相邻自助区间有重叠。作者称这一有限扫描支持描述性的信号再分配模式，并不确立精确的单调律或普遍下界。
• 证据模型的一处预测未出现（附录A/B）：假设A2预测冲突预算上的backfire最终会转折。作者报告把kconf扫到256时Δadv在约0.30进入平台、没有转折，并称这是推论1中“离散不随预算变化”这一假设的失败，而不是均值差距模型的失败。作者还称k=256是机制探针（约25%的数据增量），不是部署预算。
• 弃权与外部记录（§6.3、结论）：作者建议，不能确定排除近重复时，模型侧证据不应被当作精确记录来源的决定性证明；应声明推断单位，并在无法穷尽近重复或族在场零假设越过干净阈值时对精确成员弃权。作者称确切的精确来源必须依赖训练集检查、签名清单或系统访问日志。作者还称，同一数据侧添加既可降低精确成员泄漏，也可被用来削弱或编造模型侧证据。

实验覆盖范围

• 自然误归因实验覆盖CC-News（200族、100无兄弟对照、128个pythia-2.8B影子）和WikiText-103（56个有兄弟目标、32个对照、96个GPT-2影子），并比较loss、LiRA、Min-K20%、Min-K++、EZ-MIA与邻域比较（Table 1、§4）。
• 执行过的去重是Jaccard-0.80 MinHash、重建语料后重新训练；低于该阈值保留的带仍被报告（§4.1）。Qwen3.5-2B LoRA只报告了J<0.80一行（Table 1）。
• 受控四世界覆盖CIFAR-10分类、CIFAR-100、VGG-11，以及AG-News上同一GPT-2、同一语义改写族下的分类与自回归（Table 3、§5.2–5.3）。视觉族由同标签空间与几何变换构造，文本自然族由token 5-gram MinHash挖掘。
• 族感知对照包括全协方差LiRA、增强差分、显式族记录查询和RMIA，AUC为0.47–0.53（§5.4、附录C）。影子模型总数作者称超过1500；Table 4按实验列出影子数量，其中包括DP-SGD ε扫描与GN对照各24个、De-style DP 16个。正文主结果未报告这些DP设置的AUC或FPR。
• 审计者设定为black-box，可训练影子模型，不能检查已部署训练集（§3.2）。Appendix F给出每个报告量到其构造、分数、子集和估计器的对照；正文未逐项列出该附录的全部估计器。

作者研究成员推断能否作为精确记录的数据来源证据。版权和来源审计需要的是该记录本身是否入训，而网页语料中的转载、镜像和轻改会让非同一近重复产生成员样分数。

四世界审计用E表示精确记录是否入训、用F表示其近重复族是否在场，从而分开H00到H10的标准MI、H00到H01的族偏移，以及H01到H11的exact-given-family。审计者只有black-box访问和影子模型，主审计器是按F=0或F=1校准的LiRA。命题1说明只在H00上把FPR控制在α，并不能控制由H00与H01组成的复合缺失假设。

主要结果都带有具体条件：

• CC-News、128个pythia-2.8B影子上，逐目标LiRA在名义1.00% FPR下把99.70%的族在场精确非成员标为成员；无兄弟对照在5%操作点为1.20%（Table 1）。Jaccard-0.80去重并重训后，保留带仍约为92.00%和99.00%。
• WikiText-103、GPT-2上，自然兄弟把名义1% FPR的误成员率从1.40%升到81.00%，而族条件审计器的精确advantage仍约0.99。
• Table 3的pooled AUC：CIFAR-10分类的残差为0.52，CC-News自回归为0.75，AG-News分类为0.53、自回归为1.00。族存在在CC-News上为0.98。
• 视觉上k从1增到16时，exact-given-family advantage从0.09降到0.01，族存在advantage从0.12升到0.48。最坏情况复合校准把CC-News的H10功效从0.34降到0.00。

作者的结论是：正向的模型侧分数可以支持族级暴露，但不能证明精确记录入训。分类中忠实族替代精确样本；自回归建模保留可检测的序列残差，但族存在本身已越过干净阈值。作者建议审计声明推断单位，无法排除近重复时对精确成员弃权，并把确切来源交给训练集检查、签名清单或访问日志。