研究：大语言模型版本更替削弱 AI 辅助科研写作筛查

按固定版本评估的检测器，在LLM版本更替后还能否筛查科学摘要。

• 场景：期刊和会议用自动检测器估计投稿中有多少文字由LLM写成或改过，分数过阈值即判定。作者称两类错误落在不同人身上：人类稿被判成涉及LLM时由作者申辩，未披露且不被允许的LLM写作被当成人类写作时，负担在审稿人和编辑。
• 现有不足：作者称筛查依赖评估时可得版本构成的基准；检测器会在训练数据没有的LLM上变差，同一家族的后续版本也如此。科学文献中已发布LLM的活跃使用期随发布年份变短，而服役中重训练有成本，人类文本的误标又必须少见。
• 本文做法：把4,000篇ChatGPT发布前的PNAS摘要，与3家厂商、2023年6月至2026年8月的23个版本的改写配对，在从每次新版本都重训到训完不再更新的场景下训练检测器，并比较两种多版本筛查和一个已部署商用检测器。
• 作者的主张：作者称筛查成绩不是检测器的固定属性，须随版本更替重新取得。摘要中的政策建议是：把基准准确率视为临时结果，每次LLM发布都要重验，包括更早版本。

科学写作中的使用与筛查

• 使用规模：Liang et al.（2025）估计到2024年9月计算机科学论文中LLM修改内容最高到22%；Kobak et al.（2025）报告2024年生物医学摘要至少13.5%。作者用这些估计说明使用扩散快于披露。
• 已部署筛查：一篇计算机科学会议用商用检测器分析一个track的全部投稿，2026年未经评审拒绝178篇，占该track的18.4%；PNAS的姊妹期刊把同一产品列入评估工具。
• 误标分布：Liang et al.（2023）报告GPT检测器对非母语英语写作者的人类文本误标更高；Park et al.（2026）报告专业编辑会改变误标率。作者称，低比例误标人类文本的筛查已被建议优先采用。

检测基准与未见模型

• 固定模型池：作者讨论的一批基准，用构建时可得的LLM比较人类文本与生成或改写文本；有的还在留出生成器上评分，但模型池停在建基准之时，没有版本相互替代的发布顺序。
• 家族内连续版本：作者引用的工作称，检测器会在训练数据没有的LLM上失去准确性，同一家族的后续版本也如此。EvoBench按同一家族的连续版本评估检测器，监督检测器只在每个家族最早的版本上训练一次。
• 跨模型句子检测：另一近作用多个LLM改写arXiv摘要，在分数阈值0.5上做句子级分类，衡量在一个模型上训练的检测器对其他模型的表现。

更新检测器与词表线索

• 适应新生成器：作者提到免训练适应、类增量学习、轻量迁移和测试时适应，并称这些方法处理的是更新成本。本文另问哪些新到的版本需要更新。
• 迁移与模型属性：先前研究把跨LLM的检测迁移联系到参数规模或产生该模型的更新类型。作者指出，主要版本的规模和架构常常不公开。不同LLM所生成文本的嵌入距离，也被报告与跨模型检测表现相关。
• 词分布：作者引用的工作称词级分布在LLM之间不同，并用Jensen–Shannon divergence（JSD）度量版本间改写的词表距离。作者把它当作可以从新版本文本本身读取的信号。

基线与数据：主检测器是在自建PNAS语料上微调的RoBERTa-base。对照包括四个未在该语料上训练的公开检测器、一个词频检测器，以及商用检测器Pangram。数据是2009–2018年PNAS摘要及其23个版本的改写，不是上述外部基准的复现。

作者的定位是：在每次发布时重训，只把截至该时点已发布的版本给检测器，并在固定的人类摘要误标率下读结果。作者称，检测损失集中在少数过渡，而不是随模型年龄增长，这一形状是上述基准留开的。

整体做法是自建改写语料，微调RoBERTa-base检测器，再按维护方式和筛查方式读固定假阳性率下的真阳性率。作者把任意LLM产出的文字称为AI-generated text，把这里研究的形式称为AI-rewritten：改写已有的人类摘要。

人类语料与改写

• 人类语料：来自OpenAlex 2026年3月30日快照中、2009–2018年PNAS的英文article。作者假定这十年结束于ChatGPT公开发布之前四年，因而早于AI辅助科学写作。清洗后34,925篇，OpenAlex标为Health Sciences、Life Sciences、Physical Sciences、Social Sciences。每域抽1,000篇，共4,000篇用于改写；其余30,925篇只做阈值校准，不进入训练。
• 23个版本：OpenAI 14个、Meta 4个、Alibaba 5个，发布时间从2023年6月到2026年8月，标识符和排序日期在Table S1。作者写明因厂商要求排除了Anthropic的Claude。OpenAI纳入窗口内GPT-4至GPT-5文本模型线的各版本；并行的mini、nano、pro，o系列，以及会原地更新的别名不在范围内。Meta与Alibaba从Llama 3.1和Qwen2.5起，每个代际的主线指令模型取厂商跨代一致提供的尺寸档。
• 两阶段改写：每个版本用同一套程序改写每篇摘要。程序来自已有文献：先把原文压成要点，再展开成一段摘要体裁的文字。作者在第二阶段加了一段，说明这是PNAS文章摘要并引用期刊对篇幅和读者的要求，且输出只要摘要本身。全文和所加部分标在Supplementary Section S2。
• 采样与清洗：自托管的9个Meta和Alibaba版本，以及6个暴露相应控制的GPT-4系列API版本，温度为1.0，生成上限2,048 token。8个GPT-5系列只接受默认温度1.0，使用提供方默认设置，上限4,096 token，以覆盖内部推理所用token。92,000次请求中丢掉47篇（0.05%）：38篇触到上限、9篇为空，没有拒绝。保留91,953篇。另从349篇去掉对话式开头或结尾，不改摘要正文。

检测器

• 模型与划分：检测器是二分类器，把摘要标为人类所写或AI改写。在125M参数的RoBERTa-base上微调。输入至多为前512 token。训练和评估限于3,955篇在全部23个版本上都保留了改写的论文，按论文80/20划分，使同一篇的人类摘要和全部改写落在同一侧：3,164篇训练、791篇评估。每篇训练论文用人类摘要加一篇AI改写，两类平衡。
• 优化：4个epoch，batch size 8，AdamW，学习率2×10^-5并线性衰减。各实验的架构、训练过程和超参数固定，例外是Supplementary Section S8.2里用全部可用改写训练的pooled检测器。每个实验重复10次随机划分，报告均值和标准差。
• 为何在本领域训练：作者先看了四个未在本语料上训练的公开检测器，再在本语料上训练。作者称，这样检测器学习的是日后要判定的同一类文本，是有利于检测的设定。
• 排版规范化：人类摘要经出版和索引后，排版被写成纯文本；改写则保留LLM的排版。作者对用于自训检测器、校准、评估以及JSD的全部文本做同一套确定性规范化，把引号、破折号、上下标和标记改成人类摘要的纯文本形式。提交给商用检测器的文本，以及两名阅读者看到的改写，是规范化之前的文本。

四种维护与两种筛查

• 维护场景：判定目标版本v时，训练版本与v同厂商。current version只用v的改写。past and current versions用v及该厂商更早版本。past versions only只用更早版本，对应新版本文本先到、该版本训练数据尚未有的情况。frozen at a specific version只在该厂商本研究中最早的版本上训练，此后不更新：GPT-4、Llama 3.1或Qwen2.5。三个GPT-5.6版本日期相同，按名称字母序逐个加入筛查；维护场景里谁也不算另一个的更早版本。
• union：23个按current version训练的专用检测器并排运行，各自用自己的1%假阳性阈值，至少有一个触发就标为AI改写。
• pooled：一个分类器在23个版本的改写上训练。多版本汇集时，每篇训练论文仍只抽一篇AI改写，从所汇集的版本中均匀抽取，训练前抽一次并在各epoch保持不变。因此各场景的训练篇数相同，pooled测的是固定训练预算下的检测。pooled(k)则按发布日期取前k个版本，k从2到23。
• 随时间增长：把23个版本按发布日期排序，对k=1到23分别建前k个专用检测器的union，以及在前k个版本上训练的pooled。k=23即上述两种筛查。作者称Muse-Glimmer是23个版本中最晚发布的。

词表距离

• 算法：每个版本把保留改写汇在一起，小写，以字母数字的最长连续片段为token，丢掉只含数字的token，得到归一化的词相对频率。版本对之间计算JSD：以2为底的KL散度做对称化，两分布相同为0，没有共同词为1。
• 和检测的对照：对253个无序版本对，把JSD与两个训练–测试方向在1%假阳性下的TPR之平均相比较。作者用Spearman等级相关，并用打乱23个版本标签的Mantel置换检验评估。
• 作者给的用途：作者称JSD只需要LLM改写文本的一份样本，可当作判断哪些新发布版本可能需要重验在役检测器的候选输入。

阈值与商用判定

• 自训检测器：分数越高越倾向判为AI改写。阈值只用30,925篇校准摘要计算，这些论文训练时没有任何检测器见过。union和pooled用全部30,925篇；其余实验用固定随机子样本5,000篇。主工作点把假阳性率设为1%，阈值放在校准分数的第99百分位。作者称这遵循在固定低假阳性率上评估AI文本检测器的建议。5%和0.5%放在补充材料。报告的是评估论文中分数达到阈值的AI改写比例，即TPR。
• 商用检测器：Pangram版本3.3.2，2026年9月的厂商默认模型，经API按生产设置查询，不能接触其训练数据。作者注明查询完成后，厂商于2026年9月30日停用该版本。它返回三档文档级标签，作者不自选阈值。漏检只把标成fully human-written的改写算进去，作者称这是对检测器最有利的计法；另外两档都算检测器判对。假阳性是5,000篇校准摘要中未被标为fully human-written的比例。

实验设置

• 被改写的模型：OpenAI的GPT-4、GPT-4 Turbo、GPT-4o（2024年5月、8月、11月）、GPT-4.1、GPT-5、GPT-5.1、GPT-5.2、GPT-5.4、GPT-5.5、GPT-5.6 Luna、Sol、Terra；Meta的Llama 3.1、Llama 3.3、Llama 4 Maverick、Muse-Glimmer；Alibaba的Qwen2.5、Qwen3、Qwen3.5、Qwen3.6、Qwen3.8。共23个，Table S1。
• 语料规模：改写请求92,000次，保留91,953篇。检测主实验用其中3,955篇论文，10次论文级随机划分。校准摘要30,925篇；除union和pooled用全部外，其余实验用5,000篇子样本。
• 自训检测器：RoBERTa-base，4个epoch，batch size 8，AdamW，学习率2×10^-5。主指标为TPR at 1% FPR。Figure 1的点是10次划分的均值，误差棒是标准差。
• 公开检测器：未在本语料上训练。OpenAI的GPT-2输出检测器用roberta-base-openai-detector；RADAR用TrustSafeAI/RADAR-Vicuna-7B；Fast-DetectGPT的无采样分析版以EleutherAI/gpt-neo-2.7B同时做打分和参照；Binoculars用tiiuae/falcon-7b与tiiuae/falcon-7b-instruct。各读至多前512 token，阈值同样设在5,000篇校准分数的第99百分位。
• 商用检测器：Pangram 3.3.2。每个版本提交同一批400篇论文的改写，学科构成为Health Sciences 40、Life Sciences 85、Physical Sciences 185、Social Sciences 90，另加5,000篇校准摘要。
• 其他：词频检测器、0.5%与5%假阳性、两种单阶段替代提示词。成功判定是阈值或厂商标签，不是LLM裁判。

主结果

正文在Figure 1的四种维护场景下给出的TPR at 1% FPR如下。表中“18个版本”指20个有更早同厂商版本者里面、没有落入两处低点的那些。

维护场景	版本或汇总	TPR at 1% FPR
Current version	23个版本的中位数	99.9%
Past and current versions	23个版本的中位数	99.3%
Past versions only	上述18个版本的中位数	95.4%
Past versions only	GPT-5.1（这18个中最低）	85.5%
Past versions only	GPT-5	26.6%
Past versions only	Muse-Glimmer	3.8%
Frozen at GPT-4	GPT-5及之后任一版本	至多0.6%
Frozen at Qwen2.5	Qwen3.8	86%

• 两处低点：作者称只训更早版本时，20个有前驱的版本里有18个的TPR仍高于85%。两处低点分别是GPT-5代的第一个版本，以及Meta的Muse家族第一个开放权重模型。摘要把最陡边界写成之前高于99%、之后为3.8%；正文另给出Llama 4的mixture-of-experts过渡为99.2%，该版本是Muse-Glimmer在Meta序列中的前一个。
• 不是每次更换都掉：转到Qwen3架构时，past-only的TPR为94.7%。冻在各厂商最早版本上的轨迹因厂商而异，且不是单调下降。
• 作者的解读：作者称这些下降集中在少数版本过渡，而不是随模型年龄逐渐累积；并称这与检测器在训练数据未覆盖的LLM上变差的先前结果部分一致。

两种筛查场景

• 并排与汇集：union对Muse-Glimmer平均检到98.6%，其他版本更高。10次划分上，它误标11.9%±1.2%的留出人类摘要，即每划分791篇中检测器训练时没见过的原文。作者称大约八分之一。pooled误标0.8%±0.3%，接近设定的1%；23个版本的漏检率中位数为2.8%，Muse-Glimmer为33.8%±3.4%，其次Qwen2.5为8.8%，GPT-5.6 Terra为6.6%。作者称，训练数据里已有Muse-Glimmer改写，仍漏掉约三分之一。
• 按发布顺序累加：Figure 3中，union的人类误标从k=1的1.4%升到k=23的11.9%；Muse-Glimmer漏检在k=22为17.8%，k=23降到1.4%。pooled的人类误标在每个k都接近1%；k=12至22时Muse-Glimmer漏检高于50%，k=23为33.8%。只用GPT-5之前11个版本训练的pooled，检到GPT-5改写的26.7%，与只训OpenAI更早版本的26.6%接近。
• 作为单一筛查校准：Supplementary Section S8.1把union收成一个分数后再放到约1%假阳性。人类摘要误标为1.1%±0.4%，23个版本的中位TPR为99.3%。Table S7中Muse-Glimmer的TPR为83.6%±2.8%，对照pooled的66.2%±3.4%。作者称这样仍漏掉Muse-Glimmer改写的六分之一。

商用检测器Pangram

• 人类侧：5,000篇校准摘要中，4,999篇标为fully human-written，1篇标为fully AI-generated。假阳性率0.02%（1/5,000；精确95%区间0.0005%至0.11%）。作者称这远低于自训检测器所用的1%。
• 版本侧：漏检只计fully human-written。Figure 4(a)从GPT-5的6.5%（26/400）到Muse-Glimmer的79.8%（319/400）。与发布日期的Spearman ρ=0.25（p=0.25），作者称没有显著关系；GPT-5等较晚版本反而在较容易检到的一侧。
• 学科：跨全部AI改写摘要，漏检为Health Sciences 45.2%、Life Sciences 33.4%、Physical Sciences 31.4%、Social Sciences 26.5%。上述400篇的学科篇数并不相等。作者称漏检在学科间不均匀，并称人类文本的标记此前也被报告为分布不均。作者把Pangram和pooled放在同一侧：假阳性更少，漏检更多。

词表距离与跨版本迁移

• 格子：Figure 2(a)是行版本训练、列版本测试、10次划分平均的TPR，按全部23×23格的百分位着色，不是绝对色标。正文点名的格子：GPT-4o（2024年11月）训的检测器检到Llama 3.3改写的99.5%；GPT-4训的检到GPT-5.4的0.2%；GPT-5.6 Luna、Sol、Terra训的检到GPT-4至多0.2%。作者称格局跟着模型代际走，而不是跟着厂商走，并称这与检测可以在不同LLM之间迁移的先前结果部分一致。
• 相关：253个无序对上，JSD越大，两个方向TPR的平均越低，Spearman ρ=-0.85，p<0.001（Mantel置换，Supplementary Section S6）。同厂商ρ=-0.92，跨厂商ρ=-0.74。控制发布间隔、是否跨厂商、平均词数差之后，偏Spearman相关为-0.80。与最近同厂商前驱的JSD最远的两个版本，正是past-only TPR最低的Muse-Glimmer和GPT-5。
• 反向：同厂商、发布日期不同的104对里，41对是较新版本训的检测器检到较旧改写不到一半，47对是较旧训的检到较新不到一半。作者称JSD也跟踪这一反向。Discussion称，控制发布时间、厂商和改写长度后关联仍在，但这不构成因果。

其他消融与分析

• 词频检测器、只训更早版本、1% FPR：GPT-5为4.4%±0.6%，Muse-Glimmer为1.8%±0.4%；与JSD的Spearman ρ=-0.83（Fig. S3、S6的同一检验）。
• 同一批RoBERTa分数只改阈值：5% FPR下past-only的GPT-5为57.9%±7.8%、Muse-Glimmer为14.0%±4.3%；0.5% FPR下为19.0%±4.3%与2.2%±1.2%（Fig. S4、S5）。两处的JSD相关均为ρ=-0.85。
• 两种替代提示词、各约500篇、1% FPR：past-only的GPT-5为5.8%与7.9%，Muse-Glimmer为15.3%与7.1%（Table S6）。同规模的原两阶段提示为GPT-5的10.2%与Muse-Glimmer的2.6%；全文规模则是表中的26.6%与3.8%。
• pooled改用每个汇集版本的全部改写：k=12至22仍漏掉Muse-Glimmer的44%至67%，k=23为37.9%±25.2%（10次划分从10.7%到74.7%）。230个此类检测器中22个对训练版本的中位TPR低于50%；主设定一稿一改写的220个里，最低该类中位TPR为96.6%（S8.2）。
• 四个无领域内训练的公开检测器，23个版本的中位TPR：OpenAI检测器0.1%，RADAR 0.5%，Fast-DetectGPT 4.3%，Binoculars 2.5%。任一版本最高30.3%（Binoculars，Llama 4 Maverick）（Table S5）。
• 改写保真：91,953篇上，23个版本的嵌入余弦均值最小0.899（GPT-5）、最大0.946（Muse-Glimmer与Qwen2.5）；随机不同原文对的均值为0.109（Fig. S1）。人工阅读40篇×GPT-5与Llama 4 Maverick，不估计实质改动的频率（S4）。

作者指出的局限与后续方向

• 期刊、语言和体裁：结果来自一种期刊、一种语言、一类文本，即2009–2018年PNAS的英文摘要。作者称定性发现的普遍性需要进一步研究（Discussion）。
• 辅助方式：LLM使用被模拟成摘要的两阶段改写。作者称实际使用从改正语法到整篇重写，并可有作者与LLM的多轮往来；按辅助程度和方式做系统研究，才能看出这里的行为延伸到多远（Discussion）。
• 检测器种类：模拟依赖一类训练检测器，即在本语料上微调的RoBERTa-base，以及一个固定工作点的商用检测器。词频检测器复现了代际边界处的掉点和它与JSD的关联，四个公开检测器漏掉每个版本的多数改写，但作者称这只覆盖少数设计，基于其他原理的检测器可能表现不同（Discussion）。
• 版本范围：23个版本来自三家厂商，即OpenAI的GPT-4至GPT-5文本模型线，以及Llama 3.1、Qwen2.5之后的Meta和Alibaba版本。作者称其他厂商、这三家更早的发布，以及厂商并行发布的较轻模型没有纳入（Discussion）。
• 不是因果：JSD与检测迁移的关联在控制发布时间、厂商和改写长度之后仍在。作者称这不构成因果（Discussion）。
• 日后是否还能当信号：作者称JSD是判断哪些新发布版本可能需要重验的一个候选输入，它对未来发布是否有用，值得进一步研究（Discussion）。

实验覆盖范围

• 语料：人类侧是OpenAlex 2026年3月30日快照中的PNAS 2009–2018年英文article，清洗后34,925篇，四个OpenAlex学科域各抽1,000篇改写；23个版本都保留改写的论文为3,955篇；校准用其余30,925篇（Methods 4.1）。
• 生成侧：OpenAI 14个、Meta 4个、Alibaba 5个版本，2023年6月至2026年8月；作者写明因厂商要求排除了Anthropic的Claude。可用性最后核对日为2026年9月13日（Methods 4.2，Table S1）。
• 检测器与重复：自训检测器为RoBERTa-base，主工作点1% FPR，补充有0.5%和5%；每种设置10次论文级随机划分。商用侧为Pangram 3.3.2，每版本同一批400篇改写加5,000篇校准摘要，不自选阈值（Methods 4.3–4.5）。
• 对照检测器：另评估了词频检测器，以及未在本语料上训练的OpenAI GPT-2输出检测器、RADAR、Fast-DetectGPT和Binoculars（Supplementary Sections S5、S7）。
• 改写核对：四项自动保真指标覆盖全部91,953篇保留改写；人工阅读为40篇论文乘GPT-5与Llama 4 Maverick。作者写明该核对刻画样本中反复出现的改动，并不估计23个版本上改写改变原文实质的频率（Supplementary Section S4）。

作者量化的是：科学摘要的AI改写筛查，在LLM版本不断更换、而人类摘要误标必须少见时，会怎样变。

问题来自期刊和会议已经按分数阈值筛查投稿，但基准多停在评估时可得的版本上。作者用ChatGPT发布前的4,000篇PNAS摘要，配上OpenAI、Meta、Alibaba共23个版本的两阶段改写，微调RoBERTa-base，并在1%假阳性下比较维护方式。

• 训到被测版本本身时，23个版本的中位TPR为99.9%；连同更早版本一起重训的中位数为99.3%（Figure 1）。
• 只训同厂商更早版本时，GPT-5为26.6%，Muse-Glimmer为3.8%。同法下转到Qwen3架构为94.7%，转到Llama 4的mixture-of-experts为99.2%。冻在GPT-4上时，GPT-5及之后任一版本至多0.6%。
• 23个专用检测器取并，误标11.9%±1.2%的留出人类摘要；把全部版本汇成一个检测器，则漏掉Muse-Glimmer改写的33.8%±3.4%，尽管训练数据里有该版本。
• Pangram 3.3.2在5,000篇校准摘要里只把1篇标出人类以外的标签，却把Muse-Glimmer改写的79.8%（319/400）标成fully human-written。
• 253个版本对上，词表JSD与双向平均TPR的Spearman ρ为-0.85（p<0.001）。较新版本训出的检测器也会漏掉较旧版本；三个最新OpenAI版本检到GPT-4改写至多0.2%。

作者称，筛查成绩要在每次发布后重新取得，重验应包括更早版本；检测器继续覆盖哪些版本，也决定它更可能漏掉谁的文本。作者同时称，JSD与迁移成败的关联不是因果，结果来自PNAS英文摘要、两阶段改写和所测的这几类检测器。