AutoMark：让自动研究流程自主发现更优 LLM 水印方案

核心问题是：如何让智能体搜索文本水印，而不把评测漏洞或误报增加当作进步。

• 应用场景：作者将水印定位为AI生成文本的溯源手段，认为部署时需要避免错误指认，并抵抗文本编辑。
• 现有不足：作者称近期进展多为既有设计的细化；检测、鲁棒性和质量存在权衡，单项分数提高不能直接代表水印更好。
• 关键观察：对密钥取平均的误报保证，不保证某个部署密钥的误报率合适；附录B还记录了智能体利用公开数据和密钥选择获得高分的方案。
• 威胁模型：攻击者通过删除、替换、回译和改写生成文本削弱水印检测。论文未给出black-box等知识设定；学习规则以伪造或清除水印的security明确不在范围内。
• 提出方案：AutoMark用统计检验筛查水印，再私有评测检测、质量和鲁棒性；作者随后人工拆解组件，并对选出的方案进行留出评测。

论文把水印设计、性质评测和自动程序搜索连接起来。

水印采样方案

• Kirchenbauer et al.（2023）——Red-Green通过伪随机绿色token偏置改变下一token分布。
• AAR、KTH、DiPMark、MCMark——分别使用Gumbel-max、逆变换采样和基于分数排序的重加权；论文将这些方案归为distortion-free水印。
• SynthID与TextSeal——前者使用锦标赛采样；Sander et al.（2026）的TextSeal结合双密钥生成和熵加权检测。

水印性质与可靠性

• Piet、Tu、Pan等工作——基准与工具包同时考察检测、编辑鲁棒性及质量；Gloaguen et al.（2026）讨论重复上下文造成的跨生成多样性下降。
• Fernandez et al.（2023）——指出早期z-test低估误报率，提出精确检验并去重重复的上下文与token对。作者认为，既有保证仍主要针对密钥平均，而非部署密钥。
• Jovanović et al.（2024）——研究对手学习水印规则以伪造或清除水印；作者将这类security问题排除在当前范围之外。

自动研究与实验对照

• Romera-Paredes、Novikov、Lange等工作——让LLM迭代提出程序，由自动评测器评分；Lu等工作扩展到研究流程和训练目标搜索。
• Chan、Wijk与Zhong等工作——分别评测研究能力或利用测试漏洞的倾向。作者据此强调自动研究需要严格评测器。
• 基线方法：实际主对照为AAR、SynthID、TextSeal；搜索阶段使用ELI5，留出阶段使用WildChat中英文提示词。

作者将AutoMark定位为自动验证并评测水印的流水线，重点是控制搜索过程中的误报与评测漏洞，而不只是增加候选设计。

AutoMark把候选水印的验证与性能排名分开：未通过性质检验的提交不进入性能评测；通过者的结果供后续智能体继续研究。

水印的有效性定义

• Distortion-free：𝔼_Ũ[f(Ũ,p)]=p。含义是对随机分数取平均，水印变换保持下一token分布；作者仍测质量，因为重复上下文会影响跨请求多样性。
• Soundness over the key：对每段固定文本，随机密钥下返回小p-value的概率不超过对应阈值，约束密钥平均误报。
• Soundness given a key：对任意固定文本分布，抽到误报率超过阈值的密钥的概率不超过β；实验设β为5%。它不是对每个密钥都作保证。
• 理论修正：P^β_ξ(ω)=min{1,P_ξ(ω)/β}。作者在附录I给出论证：已满足第一类soundness的检测器，经修正可满足第二类要求，但会牺牲检测能力。

三类自动检验

• 分布检验：对固定下一token分布，跨独立密钥平均水印分布，检查单token偏移和分散偏移；检验包含多重比较修正。
• 密钥平均检验：固定无水印文本，抽取多个密钥，检验误报计数是否超过二项分布上尾允许的范围。
• 部署密钥检验：每个密钥独立抽取文本，先筛查误报偏高的密钥，再检验此类密钥是否过多；同时计入正常密钥被筛中的概率。
• 结论边界：附录F明确指出，不拒绝只表示检验未检出违反性质，不能据此认定性质成立；附录I给出各检验的错误拒绝概率界。

隔离的自动研究循环

• 实现接口：水印库以vLLM logits processor接收生成历史和下一token logits；检测接口接收token序列并返回p-value。生成状态按请求独立。
• 环境隔离：研究智能体可使用网络、GPU和辅助API；私有评分器在不共享存储的容器及另一GPU上运行，只返回聚合指标和验证结果。
• 提交机制：新智能体继承此前代码和结果；两阶段预算先提供4次提交，后续每个智能体只剩1次。附录E.2另记载Astra(low)一次性获得11次提交的运行。
• 任务提示词：输入包含研究目标、库接口和公开配置，输出为候选实现及性质论证；附录J.1给出了完整提示词。

五类组件与两个选定方案

• 组件拆解：作者人工归纳watermark unit、context seeding、score、logits transformation、detector五类组件，并逐项替换基准组件考察影响。
• ConcordMark：同义词分组只用于上下文；结合Ladder seeding、起始无水印阶段、6个独立Channels和Gumbel race。low检测器用Excess Gamma，high用加权Position evidence。
• RotationFirst：全流程使用Lexical group，结合Global first use、每请求随机四元数的Rotation分数和ResidualRace；Predictive Gamma依次预测方向并评分。
• 检测代价：ConcordMark(high)需要辅助模型forward pass，low和RotationFirst不需要。附录H给出实现算法；论文未报告这两个方案的检测耗时。

附录I的理论分析假设理想PRNG和无碰撞哈希；附录G同时说明，实际ConcordMark使用的32-bit种子哈希可能碰撞。因此，理论前提与具体实现需要分开理解。

实验包含自动搜索轨迹、可靠性复核、组件消融和独立留出评测。

实验设置

• 研究智能体：GPT-6 Astra(xhigh/low)、Opus 5(high)、Gemini-3.8 Flash(high)，提交数依次为14、11、16、11，共52次（Table 3）。
• 生成模型：搜索评测用Llama-3.1-8B-Instruct；留出增加Qwen3.8-27B并关闭thinking。回复强制为200–300 tokens，temperature 1、top-k 50、top-p 1（附录D）。
• 数据与重复：搜索每密钥用1000条ELI5回复；留出每模型、每语言用1000条WildChat回复。多样性各用10个提示词、每提示词100条回复；主评测逐指标取5个密钥的最差值。
• 对照与编辑：基线为AAR、SynthID、TextSeal。删除和同义词替换以一半词为目标；搜索回译及改写用GPT-5.4-MINI，留出改用DeepSeek-v4 Flash（附录D）。
• 判定与质量：TPR@1%FPR实际计数检测器p-value低于0.01的比例，不另用人类文本校准阈值；ΔPPL、ΔSB-2、ΔSB-3为相对无水印模型的百分比距离，无LLM裁判。
• 验证规模：私有soundness检验用200段固定文本、每段20,000密钥；另一检验用1000密钥、每密钥20,000段文本。语料含WildChat与Wikipedia、10种语言；阈值为0.001、0.01、0.05（附录D.1）。

主结果

下表据Table 1，均为WildChat留出评测；每格为英文／中文。TPR以百分比计；多样性列依次为ΔSB-2、ΔSB-3，单位为%。high表示检测需要forward pass；本评测未施加soundness given a key修正。

表格较宽，可左右滑动

生成模型	水印	Clean TPR@1	删除TPR@1	改写TPR@1	ΔSB-2；ΔSB-3
Llama-3.1-8B	TextSeal(high)	95 / 91	15 / 31	66 / 56	3.8 / 3.6；9.3 / 8.7
Llama-3.1-8B	ConcordMark(high)	96 / 91	34 / 61	82 / 77	2.2 / 2.7；5.1 / 5.7
Llama-3.1-8B	RotationFirst	91 / 89	53 / 60	69 / 61	0.9 / 1.2；2.1 / 2.6
Qwen3.8-27B	TextSeal(high)	97 / 88	7 / 10	70 / 74	3.3 / 3.4；7.5 / 7.5
Qwen3.8-27B	ConcordMark(high)	98 / 90	20 / 31	83 / 82	1.5 / 2.0；3.3 / 4.1
Qwen3.8-27B	RotationFirst	86 / 81	25 / 24	57 / 64	0.3 / 0.7；0.7 / 1.6

• 作者解读：作者认为两个方向迁移到了新的提示词、语言、生成模型和编辑模型。表中省略AAR、SynthID及ConcordMark(low)，未省略生成模型。
• 质量例外：作者称RotationFirst在所有质量指标上领先；但Qwen英文ΔPPL为2.2%，AAR为2.1%；Qwen中文为0.9%，ConcordMark为0.8%（Table 1）。
• 鲁棒性例外：Llama英文删除检测中RotationFirst高于ConcordMark(high)。Qwen英文RotationFirst的改写TPR为57%，低于三项基线的61%、68%、70%（Table 1）。

密钥校准改变检测能力

• 复核方式：附录C移除智能体自选的外层乘数，保留内部检测修正，再比较guaranteed、empirical、no correction三种设置。
• 原始p-value结果：AAR、SynthID及52个提交中的23个不通过soundness given a key检验。通过经验检验所需乘数除一个提交外均不超过1.08（附录C）。
• 检测代价：Astra(xhigh)的AxialFirst在ELI5改写检测中，guaranteed为70%、empirical为83%；Opus 5的RowMark经验设置为86%（Table 5）。作者报告保证修正平均损失16.3个百分点。

较弱验证器下的失败方案

• 误把生成来源当作水印：ConcordMark-v0对未加水印的WildChat回复误报31%，而目标FPR为1%。作者认为其分类器学到的是LLM文本特征（附录B）。
• 公开评测与密钥选择：OverlayMark改写TPR在旧评测中为100%、当前评测为92%；旧流程允许智能体选择密钥，当前取5个私有密钥的最差结果（Table 2、附录B）。
• 验证结论：Table 2的四个旧方案均未通过当前验证。作者将失败分别归因于无水印零假设语料、密钥选择或公开验证漏洞；这些方案不是有效水印的主结果。

组件消融与图文边界

• 单组件对照：附录K.2使用Llama-3.1-8B-Instruct的ELI5评测、一个密钥，p-value乘20。Table 9在同一批文本上换检测器，避免把生成变化混入检测比较。
• 检测器效果：identity grouping的core文本中，Gamma与加权Position evidence的改写TPR分别为64%、76%（Table 9）；生成质量列相同。
• 图示边界：Figure 26横轴为α、纵轴为TPR，覆盖两模型及中英文、clean和paraphrasing。作者称曲线支持主结论；所给纯文本无法核对曲线位置。Figure 5与Table 8也有数值差异，下列采用表格。

其他消融与分析

• 上下文长度：Table 6，identity grouping，k=0／2／3的删除TPR为92／56／25%，ΔSB-3为29／16／11%。
• 分组单位：Table 6，core的identity／Lexical group替换TPR为67／76%，删除TPR为56／54%。
• 随机分数：Table 7，identity grouping，Gaussian copula ρ=0.7／0.95的改写TPR为34／62%，ΔSB-3为1.7／9.7%。
• Logits变换：Table 8，identity grouping，core／ResidualRace改写TPR为64／70%，ΔSB-3为16／27%。
• 失败方向：Table 8，identity grouping，QuantileRace／加Wheel改写TPR为12／3%；删除TPR为4／0%。
• 吞吐评测：Table 4，Llama-3.2-1B-Instruct生成中，TextSeal参考实现／本文单请求／八请求吞吐为186.9／298.6／1,338.7 tokens/s；参考实现与本文top-k设置不同。

作者把后续方向定位为：为更多水印性质建立验证器和评测。

作者指出的局限与后续方向

• 性质范围：第5节明确指出，当前未纳入security、radioactivity、open-weights适用性和multibit扩展。
• 研究重点：第5节建议，未来研究关注这些性质的验证与评测，而非主要关注建立新方案。
• 检验解释：附录F指出，不拒绝不能判断方案是否违反性质；检验通过与理论保证需要区分。
• 旧方案想法：附录B明确提出，虽然四个旧方案未通过当前验证，其中部分想法仍可在未来探索。

实验覆盖范围

• 留出设置：WildChat中英文提示词，两种生成模型，四类编辑；每模型、每语言1000条回复，逐指标报告5个新密钥的最差值（附录D.5）。
• 可靠性语料：私有验证混合无水印WildChat回复和Wikipedia，涉及10种语言；失真检验使用Llama-3.2-1B-Instruct产生的4个分布（附录D.1）。
• 修正设置：Table 1未施加soundness given a key修正；附录C、Table 5另外比较保证、经验与不修正设置。组件消融使用一个密钥及乘20修正（附录K.2）。
• 理论前提：附录I假设理想PRNG和无碰撞哈希；附录G说明实际滚动哈希种子只有32 bits，并讨论碰撞。
• 检测代价：high检测器依赖forward pass；论文未报告ConcordMark和RotationFirst的检测延迟。附录H算法指定辅助分布，但未明确写出ConcordMark(high)留出评测的辅助模型名称。

AutoMark是一套自动水印研究框架：先检查生成分布和误报性质，再比较检测、编辑鲁棒性与质量，最后人工分析组件并做留出评测。

• 问题定位：只优化检测分数可能奖励误报或评测漏洞。作者区分密钥平均soundness与固定文本分布下抽到不合适密钥的概率，并为两者设计检验。
• 研究流程：三个研究模型、四种运行设置产生52个提交；作者拆解出39个新组件，并选出ConcordMark和RotationFirst（第4节）。
• 留出检测：WildChat的Qwen3.8-27B英文／中文改写后，ConcordMark(high)的TPR@1%FPR为83／82%；该设置不施加soundness given a key修正（Table 1）。
• 质量与例外：同一模型英文／中文下，RotationFirst的ΔSB-3为0.7／1.6%；但其英文改写TPR为57%，低于三项基线，ΔPPL也并非每个条件都最小（Table 1）。
• 校准与漏洞：Astra(xhigh)的AxialFirst在ELI5经验／保证修正下改写TPR为83／70%（Table 5）；旧方案ConcordMark-v0对未加水印WildChat回复误报31%（附录B）。
• 作者结论：作者认为，合适的验证器能支持自动研究改善水印；后续应扩展security等性质的验证与评测。通过统计检验不等于理论保证，水印也不应作为高风险决策的唯一证据。