SemField：免训练的语义水印，改写攻击下平均真阳性率 88.2% 至 90.4%

如何把句子语义变成稳定、可校准的文档级水印信号，使生成文本在释义和结构改动后仍能被持有密钥的一方识别，同时少把独立文本判成自己的水印。

• 场景：作者称LLM生成文本增加，提供方需要判断文本是否由自己的模型生成以便归属。水印应在局部编辑或整篇释义后仍有高真正例、低假正例，且不降低文本质量。
• 现有不足：作者称早期token水印按密钥偏置采样，改写可替换token而保留意义。语义水印把证据放到句子表示、相邻句关系或结构化编码上，但仍要把句义变成稳定且校准良好的文档级信号。
• 核心设想：作者探索嵌入空间上的连续信号能否在文档级累积。高斯方向对称，因此可由首句锁定极性，再沿该方向持续强化。
• 提出内容：训练无关的SemField及其极性锁定变体SemField-PL。共享密钥定义高斯方向，逐句选择使累积文档聚合与该方向更对齐的候选；检测时把归一化聚合投影到同一方向，并与标准正态比较。
• 威胁模型：
  • 目标：零比特检测，判断文档是否由密钥K对应的水印过程生成，用于归属，而不是恢复多比特消息。
  • 知识：检测方持有文档和密钥K。释义与结构攻击只收到干净水印文本，没有密钥，也没有检测器。
  • 能力：生成时由提供方的语言模型采样候选句并选择。攻击方可改写措辞，或插入、删除、稀释、重排句子。
  • 对象：被识别的是提供方模型的生成文本。独立于该密钥过程的人类文本或其他生成，应按H0处理。

论文把相关工作分成三类，并把本文放在训练无关的连续语义场上。

Token水印

• KGW（Kirchenbauer et al., 2023）：用密钥划分词表，使选定token比无水印生成时更常出现。
• EXP与无失真采样：Aaronson（2023）用密钥伪随机值做指数采样。Kuditipudi et al.（2024）用逆变换和指数最小采样做无失真水印，并用对齐检测应对token编辑。
• SynthID（Dathathri et al., 2024）：用密钥锦标赛采样，检测时聚合token级分数。

语义水印

• SemStamp与k-SemStamp（Hou et al., 2024a;b）：分别用局部敏感哈希和学习到的语义簇，在语义相关改写中选择带水印证据的候选。
• 关系、约束与编码：SimMark用相邻表示之间的关系；PMark用依赖上下文的语义约束；AliMark把句嵌入投影编成短二进制码并在文档上聚合；SAMark构造不依赖上一句的自锚定语义区域。
• 更小单元与事后修改：SwordStamp和k-SwordStamp（Diaa et al., 2026）改用更小语义单元，并引入顺序稳健的聚合。PostMark（Chang et al., 2024）在已生成文档上做语义选定的词项修改，无需模型logits。

学习式水印

• SIR（Liu et al., 2024）：学习把相似上下文映射到相似词表偏置的语义变换。
• 联合训练：Xu et al.（2025）用强化学习联合训练语言模型和检测器。Zhang et al.（2024）用编码器–解码器嵌入并恢复多比特消息。
• PRO（Xue et al., 2025）：面向发布后不能假设解码期控制的开源模型，联合优化水印策略与语言模型，并用正则应对微调和模型合并。

基线与数据

• 基线方法：KGW、EXP、SynthID、SIR、SemStamp、k-SemStamp、SimMark、PMark、AliMark、SAMark、SwordStamp、k-SwordStamp。各基线原实现所需参数保持不变。
• 基准：C4-RealNewsLike子集中的500篇文档；首句作生成提示，其余作人类续写参照。

作者把本文定位为：用连续、线性、训练无关的键控场，按归一化的预期文档聚合选句，并给出完整句子重排下的精确不变性，以及插入、删除下的分数变化上界。

SemField在单位句嵌入上放一条由密钥决定的连续线性场，生成时贪心选择使文档聚合投影最大的候选句；SemField-PL先锁定场的正负方向，再沿该方向强化。二者都不训练水印参数。

问题设定与键控场

• 文档：生成文档是句子序列。预训练编码器把每句映成单位球上的向量。实验中的编码器是ALL-MPNET-BASE-V2。
• 检验：检测器收到文档和密钥K。H0是文档独立于由K键控的水印过程。p值低于按目标假正例率选定的阈值时，判定有水印。
• 场：密钥经高斯伪随机生成器得到方向ω_K，理想模型下服从标准多元正态。单位向量u的场值是f_K(u)=ω_K^⊤u。作者称固定u时该分数服从标准正态；两个固定单位向量的场值协方差等于它们的内积，因此接近的表示倾向于得到接近的场值。Proposition 1给出固定密钥下场值对嵌入变化的连续性上界。

文档级统计量

• 聚合：句向量求和得到A_T。作者称线性使句级场值之和等于该聚合在ω_K上的投影。
• 归一化：假定聚合非零，文档统计量是Z_K=ω_K^⊤A_T/|A_T|₂。作者称除以范数是为避免把重复或高度相关的句子当成独立证据；若各句嵌入相同，重复不会抬高该分数。

生成与极性锁定

• 候选：已选定前若干句后，语言模型按当前文档状态采样Q个下一句。主实验Q=64，温度0.7，top-p 0.95，重复惩罚1.05。
• 选择：把候选嵌入加进当前聚合，用与检测相同的归一化投影打分，取分数最大者。作者称该贪心规则每一步都在增大检测时使用的分数。
• PL：普通SemField始终朝正方向。PL在第一步取绝对分数最大的候选，其符号作为此后固定极性；分数恰为0时取正号。之后选择使固定符号乘以分数最大的候选。作者称固定符号是为避免句间换向后在最终聚合中相互抵消。

检测与结构性质

• 单侧检测：重算句嵌入和聚合，得到观测投影。作者称在理想密钥模型下，若文档与被测密钥独立且聚合非零，则条件分布为标准正态。p值是该分数的上尾概率。
• 双侧检测：检测方不知道生成时选了哪一侧，大正或大负投影都算证据。p值是两侧尾概率之和。
• 结构性质：作者给出证明并称，句子边界和各句嵌入不变时，重排不改变聚合及两种分数，因此两种检测对完整句子重排精确不变。插入或删除时，分数变化有由扰动大小、原聚合与新聚合的范数以及密钥向量范数决定的上界；若原分数超过阈值的幅度大于该上界，编辑不能翻转阳性判定。形式陈述在Proposition 2和Proposition 3。附录D给出两种变体的生成与检测流程。

附录B讨论更高阶多项式场。作者称提高阶数会同时放大相近候选的场值差异和改写造成的嵌入移动，并增加显式特征的计算与存储；本文实验使用线性场。

实验设置

• 被测模型：Llama-3.2-1B、Qwen3-1.7B、OPT-1.3B。三套生成与检测独立运行。
• 数据：C4-RealNewsLike的500篇。首句为提示，其余为无水印人类参照。
• 基线与工具：12个基线为KGW、EXP、SynthID、SIR、SemStamp、k-SemStamp、SimMark、PMark、AliMark、SAMark、SwordStamp、k-SwordStamp，原实现参数不变。使用best-of-Q的方法取Q=64。语义算法的嵌入模型为ALL-MPNET-BASE-V2。
• 生成：温度0.7，top-p 0.95，重复惩罚1.05。各方法使用自己的密钥。论文未报告每个文档生成的句子数。
• 攻击：句子级释义为PEGASUS和PARROT；文档级为DIPPER，以及用Qwen3.8-27B做的LLM-Rewrite。攻击只看干净水印文本。另有不释义的插入、稀释、删除和重排，强度为被改动句子所占比例，Figure 1画到80%。
• 指标：每个条件报告AUROC、TPR@1% FPR和TPR@5% FPR；表中三项按此顺序书写。阈值由经验ROC在目标假正例率处插值。平均TPR覆盖干净加四种释义。质量用Llama-3.1-8B算语料困惑度和PPLRatio。MAUVE对匹配的人类续写，取三个聚类种子的均值。水印判定是正态尾概率，不是LLM裁判。除MAUVE外，论文未报告重复次数。

主结果

平均指标据Tables 1–3。最强基线按该表的平均TPR@1%选取。

表格较宽，可左右滑动

模型	SemField平均TPR@1%	PL平均TPR@1%	最强基线平均TPR@1%	PL平均TPR@5%
Llama-3.2-1B	88.4%	88.2%	78.0%（k-SwordStamp）	96.6%
Qwen3-1.7B	88.6%	90.4%	78.2%（k-SwordStamp）	96.4%
OPT-1.3B	88.3%	88.2%	81.7%（SAMark）	96.4%

• 作者报告两变体在三张表的平均TPR@1%上都占前两名。PL的平均TPR@5%为96.6%、96.4%、96.4%。SemField的平均TPR@5%在Llama上为93.6%；作者称它在Qwen、OPT上比同表第二名低0.2和0.4。
• LLM-Rewrite的TPR@1%：PL为66.4%、76.0%、69.2%，SAMark为64.6%、60.2%、67.2%（Tables 1–3的中间一项）。作者称Qwen上的增益为+15.8。同列SemField为68.4%、71.4%、69.4%，在Llama和OPT上高于PL。
• 作者称在PEGASUS、PARROT的六组模型–攻击比较中，每个变体有五组超过最强基线；PL在PEGASUS上的余量为2.6%–8.6%。例外是OPT的PARROT：SwordStamp的TPR@1%为95.0%，PL为94.6%。多组token基线在该攻击上更低，例如Llama上KGW为13.4%、EXP为5.0%（Table 1）。

极性锁定与文本质量

• Table 5给出LLM-Rewrite前后的平均文档分数，写法为SemField/PL。Llama：干净4.475/4.632，改写后3.042/3.221，损失1.433/1.411。Qwen损失均为1.346。OPT损失为1.329/1.363。作者称两者的分数下降相近。
• 作者称SemField只用正尾设定1%阈值，PL用双侧，经验阈值约2.81–2.83，前者约2.56。因此Llama、OPT上PL的LLM-Rewrite TPR@1%低2.0和0.2个百分点，Qwen上高4.6个百分点。5%处PL高8.4、6.6、5.6个百分点。作者把1%处的下降归因于更严的双侧阈值，而不是分数更不稳。
• Table 4：12个基线的语料困惑度中位数为Llama 6.75、Qwen 9.00、OPT 6.85；两变体为6.8/6.9、8.6/8.8、6.3/6.4。Table 6：PL的MAUVE为0.817、0.656、0.743，SemField为0.800、0.584、0.699；作者称各模型最强基线为0.472、0.415、0.559。PL相对单侧的困惑度差最多+0.1。五条件平均后，PL把TPR@5%提高3.0、2.8、2.6个百分点，并在15组里的10组提高TPR@1%。

结构攻击

Figure 1报告TPR@1%随攻击强度从0到80%的变化。正文主要对照SAMark、SwordStamp和k-SwordStamp。

• 插入与删除：80%插入时PL为70.4%–75.2%，SemField为47.8%–62.2%；SwordStamp、k-SwordStamp为91.5%–98.6%和90.8%–93.8%，SAMark降到0%。80%删除时PL为79.2%–84.2%，SemField为71.8%–80.6%；SwordStamp为14.6%–27.8%，k-SwordStamp为8.2%–10.8%，SAMark保留20.6%–22.8%。
• 重排与稀释：两变体的重排曲线保持在干净检测水平，SemField为96.8%–98.0%，PL为99.6%–100.0%。80%稀释时SemField为37.4%–52.8%，PL为21.4%–28.6%；SwordStamp为23.6%–28.0%，k-SwordStamp为10.4%–10.8%，SAMark为0.2%。作者称约40%强度前两种变体都较稳，此后单侧变体更高。
• SimMark：80%稀释时TPR@1%升至99.8%–100.0%。500篇零文档的平均分从0.22升到12.39。作者称其检测相邻句对，稀释会增加句对并抬高检测分数，无水印时也会抬分。

固定阈值与跨密钥

• Tables 8–10把阈值事先冻结：10,000篇C4零文档上，1%截断放在第101高分之上，5%放在第501高分之上；再用2,000篇留出零文档测量实际假正例率。所附表格未给出该实际假正例率的数值。随后同一阈值用于全部干净和释义条件。PL的平均TPR@1%为89.3%、91.2%、89.5%；SwordStamp为72.5%、73.4%、76.8%；SemField为87.1%、87.8%、87.1%。LLM-Rewrite上PL为68.6%、78.0%、71.8%，SAMark为43.6%、47.0%、46.6%。PL的平均TPR@5%为96.8%、96.7%、96.6%。
• 跨密钥使用100个密钥，每个用Llama-3.2-1B生成500篇，共500万次文档–密钥评定。生成密钥检出99.518%，无关密钥检出1.065%。各密钥的阈值在同一批10,000篇零文档上按名义1%假正例率校准。

其他消融与分析

• 温度只在Llama-3.2-1B的SemField-PL上比较（Table 7）：0.7时平均TPR@1%为88.2%，语料困惑度6.90（PPLRatio 0.715）；1.0时为97.4%和34.66（3.591）。LLM-Rewrite的TPR@1%从66.4%到91.8%。
• 候选数只在100篇、Llama-3.2-1B、SemField-PL上扫描（Figure 2）：平均TPR@1%从Q=2的4.0%到Q=64的90.2%，再到Q=128的95.2%。Q=64时干净为100%，PEGASUS 94%，PARROT 97%，DIPPER 89%，LLM-Rewrite 71%。PPLRatio在0.637到0.743之间。
• 作者对LLM-Rewrite的TPR@1%与log2 Q做拟合，斜率13.61，R^2为0.994，并外推Q≥182时TPR@1%≥90%。这是作者给出的拟合，不是表内实测点。
• 作者称温度1.0能换来更高检测，但困惑度升高；增大Q主要受计算开销约束，PPLRatio没有随Q呈现作者所称的单调改进。

作者指出的局限与后续方向

• 实验针对普通语言建模和基座模型；作者称这是为了与所给基线及其评测对齐（第7节）。
• 只为英文构建和测试，并使用句子结构；作者举例称，没有清晰句界的语言（如中文）可能不可行（第7节）。
• 只在三个模型上测试。嵌入模型和数据集在全部运行中保持单一；作者称多数基线实现如此报告，且实验对该选择没有特殊依赖（第7节）。
• 因计算约束选用500篇；作者称加上攻击后，评测量约为该数量的4倍（第7节）。
• 后续方向包括采样开销更低的策略，以及同时考虑安全、有用性、正确性和低熵生成（如数学或代码，以及RLVR与思考模型）的多维候选选择（第7节）。
• 作者称不把本工作当作全部方法、模型与用途上的总体SOTA，而是与既有研究对齐的概念验证（第7节）。

实验覆盖范围

• 生成模型为Llama-3.2-1B、Qwen3-1.7B、OPT-1.3B；嵌入模型为ALL-MPNET-BASE-V2；主协议为Q=64、温度0.7、top-p 0.95、重复惩罚1.05（第4节）。
• 数据为C4-RealNewsLike的500篇。释义攻击为PEGASUS、PARROT、DIPPER和LLM-Rewrite；结构攻击为插入、稀释、删除和重排，Figure 1画到80%强度（第4–5节）。
• 对照为12个水印基线。质量指标为Llama-3.1-8B语料困惑度、PPLRatio，以及三个聚类种子的MAUVE（Tables 1–6）。
• 固定阈值使用10,000篇C4零文档校准、2,000篇留出。跨密钥为100个密钥乘以500篇，只在Llama-3.2-1B上做。温度和候选数消融也只在该模型上报告，候选数曲线为100篇（第5.3–5.4节，Table 7，Figure 2）。
• 论文未报告每个文档的生成句数，未报告除MAUVE三种子以外的重复次数，也未报告人工自然度评分。检测使用正态尾概率或零文档分数，不是LLM裁判；留出集上的实际假正例率在正文中被测量，但所附Tables 8–10未给出该比率。

SemField是提供方在生成时嵌入、事后用密钥检测的零比特语义水印，用来在释义和句子级结构改动后识别本方模型文本。

• 问题：作者认为token级信号可被改写替换，而语义水印仍需要稳定、校准良好的文档级信号，同时控制误报和文本质量。
• 方法：密钥确定嵌入空间中的高斯方向。每步从候选句中选择使归一化文档聚合投影最大的一句。SemField只强化正方向；SemField-PL由首句锁定极性。检测把聚合投影与标准正态比较。作者称完整句子重排不改变分数，插入和删除的分数变化有上界。
• 主结果：在C4-RealNewsLike的500篇、三个1B级模型和12个基线上，干净加四种释义的平均TPR@1%为88.2%–90.4%。PL的平均TPR@5%为96.4%–96.6%。LLM-Rewrite上PL的TPR@1%为66.4%、76.0%、69.2%；同列SAMark为64.6%、60.2%、67.2%。Llama和OPT上，单侧变体在该攻击的1%工作点高于PL。
• 其他结果：三模型上两变体的MAUVE为所测方法前两名，PL为0.817、0.656、0.743；困惑度靠近12个基线的中位数。80%删除时PL的TPR@1%为79.2%–84.2%，80%插入时SwordStamp更高，80%稀释时单侧变体高于PL。固定阈值下PL的平均TPR@1%为89.3%、91.2%、89.5%。100个密钥下，生成密钥检出99.518%，无关密钥检出1.065%。
• 作者结论：作者称两变体在所测释义条件下检测较强，重排下分数不变，生成质量与对照方法同量级。作者同时把它限定为英文、句子级、三个基座模型上的概念验证，而不是全部设置上的总体SOTA。