研究：合成数据溯源识别在改写后准确率大幅下降

来源能否被找回，和哪些生成样本再训练后更好，是不是同一个问题。

• 场景：作者称反复在模型生成数据上训练会使后续模型退化。一轮输出进入下一轮训练集后，失真可能被带下去。作者把来源当作决定复用哪些样本的一种可能办法，并把它和未来网络中受管机器学习流水线的数据复用联系起来。
• 现有不足：作者称检测工作把生成对人类检测与多生成器归因分开处理，递归训练工作说明复用可以重要，但没有确立来源适合决定保留哪一条生成样本。
• 作者要分开的三件事：文本从哪来；用什么分数决定保留哪些生成样本；选中数据训练后，在另一份冻结的人类文本上发生了什么。作者称来源检测器可以准确，而不因此说明检测到的来源与后续训练结果相关。
• 本文测量：在金融风险文本上做来源识别，并在改写后重测；再比较来源筛选与参考模型分数筛选，重复生成、筛选和再训练三轮。作者称这是受控设置，不是电信数据上的部署实验。
• 改写时的知识：论文称威胁模型为 grey-box。改写模型知道使用了文体来源识别，但没有检测器参数、检测器训练数据或查询访问，且每条只产出一次改写。

第二节把已有工作分成检测、递归复用和不确定来源分配，作者没有把它们写成同一任务。

生成文本检测与来源识别

• Uchendu 等（2020）：研究神经文本生成的作者归属。
• Munir 等（2021）：学习识别生成文本的来源模型。作者称二者在受控条件下报告了强表现。
• RAID 与 OpenTuringBench：记录对领域、解码选择和改写的敏感。作者据此把生成对人类检测、识别哪个模型生成、以及识别未见源分成不同测量。

生成数据上的递归训练

• Shumailov 等（2024）：模型在递归生成数据上训练时可以退化。
• Alemohammad 等（2024）与 Kazdan 等（2025）：前者研究自消耗生成模型中的相关失败；后者显示结果强烈依赖于真实数据与生成数据的混合以及训练过程。
• Gillman 等（2024）：用保留的真实数据或校正函数研究自校正回路。作者称这些工作说明递归复用可以重要，但没有由此确立按来源决定保留哪一条生成样本。

拒绝不确定的来源分配

• Angelopoulos 与 Bates（2023）：split conformal prediction 在可交换性下给出有限样本覆盖保证。作者用它区分弃权与错误的单标签预测，并称分布偏移下该保证不再以同样方式成立。

基线与数据

• 筛选基线：递归实验比较 provenance 与参考模型困惑度（冻结记录中称 Criterion），并设 Random 与 Fixed-draw control。语料是金融风险生成文本；下游用冻结的人类金融风险段落。来源侧比较的是本文训练的 TF-IDF 分类器与 DistilRoBERTa，论文未把外部已发表检测器当作对照复现。

作者把本文放在这组工作旁边：来源身份、面向准则的筛选和递归训练结果保持分开；所测的来源分数和面向准则的代理都未被确立为对未来递归行为充分。

来源识别和递归筛选被做成两次测量：先问文本从哪来，再问两种保留规则训练之后、留出人类文本上的困惑度轨迹如何变化。

语料与三个来源任务

• 生成语料：校验和冻结的金融风险文本，十个模型在共同提示结构下生成。初始十生成器样本至少 80 词，每模型每条件最多 400 条。后续稳健性只用完整 sweep 的七个源，每源 16,384 条：deepseek-v3.2、fastcontext-4b、gemma4-31b、gpt-oss-120b、qwen2.5-14b-1m、qwen2.5-32b、qwen3-coder-480b。论文写明这两个阶段不是同一分类任务。
• 人类对照：2019 年或更早的 10-K Item 1A 风险段落，按 token 层长度匹配；检测器训练时每 ticker 最多 20 段，保留 879 段。生成文档是摘要，人类文档是段落摘录。作者将每个生成对人类结果限定在这一对照上。
• 三个任务：生成对人类检测、生成器归因、未见源拒绝，分开训练和评估。

分类器与改写

• 线性分类器：词模型用 unigram 与 bigram TF-IDF、sublinear scaling、最小文档频率 3 和逻辑回归。字符模型用字符 n-gram TF-IDF，正则化相同。词与字符组合特征也在模型集合内。各分类器独立训练、独立评估。另有微调的 DistilRoBERTa，做同一生成器识别任务。
• 四种改写：往返翻译、跨家族释义、把语域改到人类 10-K 风险因素、以及不访问检测器本身的通用规避。意图是保留大意、改变表面形式。论文称威胁模型为 grey-box：改写模型知道在做文体来源识别，但没有检测器参数、训练数据或查询访问，每条一次改写。该条件下的改写模型不进入来源检测器训练。
• 二次诊断：字符 TF-IDF 加入所测改写样本，并每次留出一种改写。四种都属于同一类改写设置；留出一种不被作者当作另一类变换的证据。

未见源与弃权

• 两种未见源：七个参考源每次留出一个，再把该模型当未知。另有五个只用于测试的生成器，各 600 条，不进入检测器开发。前者在六个已知源上训练，后者在七个上训练。论文写明两组 AUROC 不可直接比较。
• Conformal：split conformal，least-ambiguous-classification 分数，八路预测集，α = 0.05。空集或多元素集视为弃权，单元素集视为分配来源。wrong singleton rate 是全部被评样本中、预测集恰有一个且该标签错误的比例。同时报告 coverage、singleton rate 和普通来源准确率。

递归筛选

• 流程：每条 lineage 从同一 Qwen2.5-3B-Instruct 检查点开始，做三次生成—筛选—训练，记为 G0 到 G3。每步对 160 条固定提示各生成一条回复。目标长度窗口为 120–160 与 100–140 词。生成设置为 temperature 1.0、top-p 1.0、top-k 0、不截断，并使用预先指定的 lineage 种子。每条候选都由当前模型生成；人类语料只用于下游评估。
• 四条规则各保留 80/160，微调预算相同。论文未给出步数或学习率。来源分类器与参考模型在递归开始前固定，不再重拟合。没有任何一臂保留全部 160 条。
• Provenance：保留八路（生成器加人类）冻结分类器上 top-two 后验边际最低的 80 条，即检测器最不自信地绑到某一已知来源签名的样本。候选全是生成文本，所以这里不是生成对人类过滤。
• Perplexity：保留冻结 Qwen2.5-1.5B-Instruct 下困惑度最低的 80 条。冻结记录中该臂名为 Criterion。该分数不是评估再训练后代的下游终点。
• 对照：Random 按该格子的素数种子重抽 80/160。Fixed-draw 用种子 7，在所有 lineage 和代上保留同一组与内容无关的 80 条。
• 与名册的关系：Qwen2.5-3B-Instruct 不是训练来源分类器的七个源之一。名册中有 Qwen2.5-14B-1M 与 Qwen2.5-32B。来源分数因此用在相关但未见的模型输出上。

事先固定的比较

• 主终点：每个检查点在冻结的 200 段 2020 年前人类金融风险段落上的语料困惑度。这些段落不进入来源检测器训练。筛选规则不用选出自己训练数据的那个分数来评估自己。
• 主检验：递归开始前已固定，论文写明这不是公开预注册。对每条 lineage 拟合留出困惑度对 generation 的 OLS 斜率，再比较两主规则的平均斜率。精确双侧置换覆盖全部 10 选 5 共 252 种分配，α = 0.05。在常数加性平移模型下反演同一检验得到主 95% 区间，并用 Welch 区间做稳健性检查。另有模拟估计五对五设计能以可用功效检出多大的斜率差。逐代比较是次要的。保留集重叠和分数相关只用来检查两条规则是否选出了不同样本。
• 种子：provenance 与 perplexity 用 2、3、5、7、11。Random 与 Fixed-draw 用 2、3、5。G0 是共享起点，筛选从 G1 开始，G0 之后有 48 个被评估的 rule-generation 格子。

实验设置

• 被测系统：来源侧为词 TF-IDF、字符 TF-IDF、词与字符组合特征，以及微调 DistilRoBERTa。递归被测检查点从 Qwen2.5-3B-Instruct 再训练得到。参考打分模型为冻结的 Qwen2.5-1.5B-Instruct。
• 生成源：稳健性七源为 deepseek-v3.2、fastcontext-4b、gemma4-31b、gpt-oss-120b、qwen2.5-14b-1m、qwen2.5-32b、qwen3-coder-480b，每源 16,384 条。初始十生成器样本论文未列出全部模型名；至少 80 词，每模型每条件最多 400 条。五个测试专用生成器各 600 条（Table V）。
• 人类文本：检测器用 879 段 2019 年或更早的 10-K Item 1A。递归终点用 200 段 2020 年前段落，且不进入检测器训练。
• 递归规模：G0 到 G3；每步 160 条生成、保留 80。主规则各 5 条 lineage，种子 2、3、5、7、11；Random 与 Fixed-draw 各 3 条，种子 2、3、5。G0 后 48 个 rule-generation 格子。生成 temperature 1.0、top-p 1.0、top-k 0。
• 指标与检验：归因准确率、AUROC，以及 conformal 的 coverage、singleton rate、wrong singleton rate（α = 0.05）。递归主结果是留出语料困惑度对 generation 的 OLS 斜率；精确双侧置换，252 种分配，α = 0.05。
• 判定方式：论文未使用 LLM 裁判，也未报告与人工的一致性。微调预算只写“相同”，未报告步数或学习率。

主结果

据 Table II，七个源模型平均的生成器归因准确率如下。该表未给出分源准确率。生成对人类检测不在准确率列中。

条件	Word TF-IDF	Transformer
Original text	0.987	0.960
Roundtrip translation	0.967	0.787
Paraphrase	0.531	0.547
Style transfer	0.290	0.094
Generic evasion	0.469	0.489

• 作者解读：改写后精确归因下降。作者称风格改写下的失败不特异于词分类器。Fig. 1 画的是七源平均归因准确率，图注写明不包含生成对人类检测。
• 另一任务：对所测人类语料，二分类 TF-IDF 的 AUROC 在每种改写下仍高于 0.9999（Table II 注）。作者称这不能确立普遍的生成文本检测；人类材料匹配金融风险语域，而不是同一生成任务。
• 不要与十路实验合并：初始十生成器的平均成对 AUROC 为 0.9995，最低 0.9811，十路准确率 98.15%。作者写明它与后来的七生成器实验不是同一分类任务。论文未写明这组数字来自哪一个分类器。

改写族内训练与弃权

• 纳入与留出：字符 TF-IDF 在训练中包含所测改写时，Table III 的 Included 列为 0.998、0.998、0.993、0.996。留出该类型、其余类型仍在训练中时，均值为 0.957，风格改写留出为 0.834。作者称这是所测改写族的诊断，不是另一类变换的证据。
• 弃权：Table IV，α = 0.05，七源平均。释义与 generic evasion 的 wrong singleton rate 为 0.003；风格改写的 singleton rate 为 0.547，wrong singleton rate 为 0.408，最差源模型达到 0.857。作者称在这一偏移下，检测器经常返回一个错误来源标签，而不是弃权。
• 原文行：同一张表中，原文的 coverage 为 0.942、singleton rate 为 0.947、wrong singleton rate 为 0.004。论文未给出该表每个源的样本分母。

未见源

• 名册留一：正文给出 AUROC 从 0.7700 到 0.9923，均值 0.9261；Table I 写作 0.770–0.992。作者称该结果随被留出的源而变化。
• 开发集外五源：Table V 为 glm-5.2-fp8 0.971、kimi-k2.7-code 0.982、qwen3-32b 0.993、deepseek-v4-flash 0.987、Gemma2-27B-it 0.978。正文写范围 0.9714–0.9929、均值 0.9822；Table I 写作 0.971–0.993。两组分别在六个与七个已知源上训练，论文写明不可直接比较。
• 作者解读：这不是对任意未来生成器的保证。识别未见源与生成对人类检测、已知集合内的归因是不同任务。

递归筛选

• 主比较：perplexity 规则平均斜率 7.543，provenance 为 7.367，差为 +0.176 点/代。精确双侧置换 p = 0.746。反演得到的 95% 区间为 [−0.794, +1.267]；Welch 区间为 [−0.959, +1.311]（Table VI，Section VIII，Fig. 2 图注）。作者称区间仍允许大约每代一个困惑度点的双向差异，实验不支持等价声称。
• 选择不同：重叠为 G1 36.0/80、G2 37.1/80、G3 36.2/80。两个独立均匀随机的 80 选 160，期望重叠为 40，论文仅作描述参照。来源检测器置信度与参考模型困惑度的最大绝对相关为 0.255（Table VII）。
• 次要与对照：五个共享种子在 G1 上都是 perplexity 规则的留出困惑度更低；作者称方向在后续代不持续。Random 平均斜率 7.390。Fixed-draw 的每条 lineage 上，留出困惑度从 G0 到 G3 都上升。Fig. 2 图注称纵轴为 held-out corpus perplexity、越低越好，细线为独立 lineage，粗线为均值加减样本标准差，各规则共享 G0。作者称未检出平均斜率分离，既不表示两规则等价，也不表示 provenance 更好。

其他消融与分析

• 八类（七生成器加人类）总准确率 98.81%；该测试集中每个人类段落都被分到人类类。单独生成对人类检验的最低逐生成器 AUROC 超过 0.9999（Section IV）。论文未写明 98.81% 来自哪一个特征集。
• Table III 的 Original only：roundtrip 0.963，paraphrase 0.510，style transfer 0.490，generic evasion 0.447。这是字符 TF-IDF，不是 Table II 的词 TF-IDF。
• Table VIII：200,000 次五对五模拟，合并标准差固定为 0.716，种子 20260829。估计功效在真差 0.00、0.50、1.00、1.48、2.00 时为 0.048、0.157、0.476、0.799、0.964。Section VIII 写约 80% 功效出现在真差接近 1.5 点/代时；Limitations 写接近 1.48 点。作者称这描述设计敏感度，不是支持原假设的证据。
• Table VI 的 lineage 斜率：perplexity 为 7.673、7.372、7.218、7.258、8.194；provenance 为 5.991、6.955、8.424、7.754、7.711。
• 风格改写 wrong singleton：正文 0.4083，Table IV 为 0.408；最差源正文 0.8567，表为 0.857。释义与 generic evasion 的正文为 0.0027 与 0.0032，表均为 0.003。

作者指出的局限与后续方向

• 模型规模（Section X）：递归实验使用 Qwen2.5-3B-Instruct。作者写明结果可能不迁移到更大或更小的模型。
• 领域（Section X）：实验使用金融风险文本。作者写明其通信相关性针对受管训练流水线中的筛选问题，不是电信数据上的表现。
• 轮数与 lineage（Section X）：G0 到 G3 可能捕捉不到更长程效应。主规则每条五条 lineage，作者写明对小差异的检验能力有限；模拟大约只在接近 1.48 点斜率差时达到约 80% 功效。
• 改写范围（Section X）：四种测试都是文本改写。留出一种并不近似未来变换的全部范围。
• 人类对照与 3B 名册（Section X）：人类语料匹配金融风险语域，但不匹配精确的生成任务；每个生成对人类结果都受这一比较约束。Qwen2.5-3B-Instruct 不在七源名册中。分类器含两个相关的 Qwen 家族模型，但作者写明其对 3B 的置信度不应读成真实来源成员资格的校准概率。
• 后续问题（Section IX.F）：作者称未解决的问题不是仅仅用来源换成另一个固定策展分数，而是确定策展规则必须为声明的下游用途保留什么信息，以及训练改变学习器之后该要求是否仍然成立。作者称本研究标出了这一边界，但没有刻画所需的递归信息接口。

实验覆盖范围

• 来源实验包括初始十生成器样本，以及七个命名源、每源 16,384 条上的改写前后归因（Section III.A、IV，Table II）。
• 改写为 roundtrip translation、cross-family paraphrasing、style transfer、generic evasion；论文称 grey-box，每条一次改写，且该改写模型不进入对应检测器训练（Section III.D）。
• 未见源包括七源留一，以及五个测试专用生成器各 600 条；conformal 在 α = 0.05 下报告弃权与错误单标签（Section III.E–F，Table IV、V）。
• 递归从 Qwen2.5-3B-Instruct 做 G0 到 G3，每步 160 条中保留 80；主规则各 5 条 lineage，Random 与 Fixed-draw 各 3 条；终点为 200 段留出人类文本上的困惑度斜率（Section III.G，Table VI）。
• 论文未报告递归微调的学习率、步数或预算数字，未报告改写模型名称，未报告 LLM 评审或人工一致性。主比较被写明不是公开预注册（Section III.G）。

作者在金融风险文本上把来源识别和训练样本是否有用拆成两次测量，并写明这不是电信部署实验。

• 问题：反复用生成数据训练可能使后续模型退化。作者要问来源能否找回，以及来源能否帮助选出再训练后更好的样本。
• 做法：生成对人类检测、已知源归因、未见源和 conformal 弃权分开测。改写包括往返翻译、释义、风格迁移和通用规避，设定为 grey-box。递归从 Qwen2.5-3B-Instruct 出发，三轮里每 160 条保留 80 条，比较来源边际与冻结 Qwen2.5-1.5B-Instruct 的困惑度。
• 来源数字：七源 word-TFIDF 的归因准确率在原文上为 0.987，往返翻译后 0.967，释义后 0.531，风格改写后 0.290，通用规避后 0.469（Table II）。同一任务上 DistilRoBERTa 在风格改写后为 0.094。对所测人类语料，二分类 AUROC 在每种改写下仍高于 0.9999。
• 递归数字：两规则平均斜率分别为 7.543 与 7.367，差 +0.176，置换检验 p = 0.746，95% 区间 [−0.794, +1.267]（Table VI）。保留集重叠在 G1、G2、G3 为 36.0、37.1、36.2（分母均为 80）。作者用 40 只作均匀随机选择的描述参照。
• 作者结论：来源信息可以支持溯源和过滤，但本身不告诉人们哪些生成样本被复用后会产生更好的模型。面向来源和面向准则的选择器可以实质不冗余，而两者都未被确立为对递归策展充分。未检出斜率分离也不被作者写成两规则等价。