研究者提出自蒸馏方法让 LLM 遵循上下文水印指令

前沿模型能否执行可自动验证的上下文水印（in-context watermark, ICW）指令且不损害回答质量，此前没有被测量；初始遵循很弱的模型又如何在无更强教师、无人工标注时学会这种遵循。

• 使用场景：作者把水印视为检测 AI 滥用的手段。多数生成式水印要访问内部采样，公众没有该接口，提供方也常不披露是否启用水印。作者称 Liu 等人把 ICW 指令注入投稿以检测 AI 审稿；ICML 2026 的类似检测标出 795 篇审稿，约占总审稿的 1%。
• 现有缺口：作者称 ICW 是否成立，取决于模型是否执行前置指令且回答仍然合格。所评模型呈欠遵循（under-following）与过遵循（over-following）：TSP 上 AUC 都不超过 0.66；Gemini-3-pro 在 WIP 上 AUC 为 1.000，引言称困惑度从 4.33 升至 67.61。
• 训练障碍：需要训练的模型恰恰产不出足够合规样本。直接采样合规回答少，前沿模型遵循也有限，人工标注难扩展。信号在聚合 token 统计中，SFT 丢掉分布结构；可验证奖励的强化学习又需要已能采到高奖励的策略。
• 论文提出：基准 ICWBench（Token-Set Preference、Word-Initial Preference、Sentence Acrostic），以及只在基座模型上运行的两阶段训练：自蒸馏加 logits 扰动（SDLP），再以自动验证器为奖励做 GRPO。
• 调用方式：第三方把带密钥的指令前置到查询，不访问模型内部；目标是回答携带统计可检信号，且仍回答该查询。检测用族内验证器；质量用困惑度与 LLM 评审。合成正样本时，教师只看查询，靠解码期扰动对齐指令。

论文在 Related Work 与第 3 节把相关工作分成检测/水印和指令遵循，并点名与本文的差别。

• 事后检测与模型方水印
  • 事后检测器训练分类器寻找生成文本中的模式。论文作者称这类方法易出现高假阳性率，因而限制其使用。
  • 生成式水印在文本中主动嵌入可验证信号，论文称其通常有较高真阳性率和可控假阳性率；其中多数面向模型所有者，需要内部采样，公众不可用，是否落地还取决于提供方。
• 上下文水印
  • Liu 等人提出一般 ICW 框架，研究四种在不同语言粒度上加水印的策略；论文称其可跨生成任务使用。本文的三族指令受该工作启发。
  • Rao 等人只针对同行评审，让模型插入随机选定的触发短语，以短语是否出现为检测信号。论文作者称这适合特定场景，但把遵循收窄成少量字符串是否出现；本文要评的是跨任意查询、约束统计或结构、不约束语义的一般能力。
• 指令遵循评测与训练
  • 指令遵循已有多组评测，并通过指令微调、RLHF 与偏好优化改进。论文点名的表面约束包括长度、格式、关键词和风格。
  • 论文作者称 ICW 有两点不同：约束的是回答的聚合统计，用统计检验而不是确定性表面检查，模型可以只在分布上略偏 token，而不必让某个 token 取定值；既有基准多把遵循与回答质量分开打分。因此既有 IF 基准不评测 ICW 遵循，标准 IF 训练流程也不能直接迁移。
• 基线与数据：主实验基线即同一批 14 个前沿模型。消融另比 SFT、无冷启动的 GRPO，以及只用 SDLP（Table 4）。查询来自 LFQA；附录 B 另用 BioASQ 与 FiQA。

论文作者把本文放在上述工作之后：测量一般 ICW 上的遵循–质量权衡，并用不依赖更强教师、人工标注或已有 ICW 能力的训练补这一缺口。

整体做法是把 ICW 遵循改写成与指令等价的解码期 logits 扰动，从而用同一基座合成分布级监督，再交给验证器奖励。流程是冷启动数据、SDLP、GRPO。

指令族与验证

• 形式：指令为族 ψ、模板与密钥 κ。把实例化指令前置到查询 q，得到回答 y。每族配验证器，把 y 映到检验统计量。
• 三族：TSP 提高给定 token 集的使用；WIP 提高以给定字母开头的词；SA 让句首字母按顺序拼出给定字符串。粒度从 token 到词首再到句首。附录 A.3 给出模板和由种子生成密钥的过程。
• 计分：TSP 与 WIP 用

z=(X−np₀)/√(np₀(1−p₀)) X 为对齐单元数，n 为计分单元数，p0 为零假设下的对齐概率。TSP 计回答中出现过的英文 token 有多少落在密钥集合，p0 等于子集比例 γ。WIP 计词首 token 的首字母是否落在字母集，p0 为这些字母的经验频率之和。

• SA：X 为密钥串与句首字母序列的最长公共子序列长度；均值和方差来自对句首字母的随机置换，附录取 1000 次置换。论文称子序列匹配使多余句子不被罚。

冷启动数据

• 扰动解码：基座只看查询，逐步在 logits 上加与指令等价的扰动，再从扰动后的分布采样。扰动提高会抬高验证器分数的 token。TSP、WIP 的扰动不随解码步变化，合成时强度均为 3.0；SA 的扰动有状态，在句首偏向当前目标首字母，细节在附录 A.1。
• 集合：正样本 DH1 由扰动解码得到，模型上下文中看不到指令。负样本 DH0 只输入查询、不加扰动。评测用 γ=0.2、字母集大小 13、字符串长度 18；合成时 γ 取 0.1、0.2 或 0.3，字符串长度在 18 到 20 间抽取。训练与评测种子不相交。
• 词表：扰动与 TSP 的密钥集合限制在英文 token 子集，而不是全词表。论文给出 Qwen3 上该子集大小为 88492，全词表 151936；词首子集 41547。理由是 TSP 要把集合写进提示词，缩小词表以缩短上下文。

SDLP

• 角色：教师与学生都是基座的副本。教师冻结，只看查询；DH1 上目标分布是加扰动后的 softmax，DH0 上扰动为零，即自然分布。学生不加扰动，在带指令的样本上输入为指令加查询，学习复现教师分布。
• 损失：对冷启动集中的每个位置，最小化教师与学生分布的 KL。论文把 KL 限制在教师概率最大的 k 个 token 上并重新归一化；正文和附录未给出 k。
• 不用 SFT 的理由：论文称水印信号分布在许多 token 选择上，SFT 只拟合已采样序列，会丢掉逐步的分布信息。

验证器奖励的 GRPO

• 奖励：SDLP 之后，只在 DH1 上采样一组回答，奖励为该族验证器的 z 统计量，再算组内相对优势。
• 目标：最大化截断后的重要性采样比率与优势的乘积，按 token 平均。组大小与截断范围在公式中出现，附录 A 未给出二者的数值。
• 范围：第二阶段不再使用负样本 rollout。论文称第一阶段提供已能获得高奖励的初始策略，第二阶段继续提高遵循。

实验设置

• 模型：专有模型为 GPT-5.4、GPT-5.4-mini、GPT-5.4-nano、Gemini-3-pro、Gemini-3-flash、Claude-opus-4.5、Claude-sonnet-4.5、Claude-haiku-4.5。开源模型为 DeepSeek-v4-pro、DeepSeek-v4-flash、Qwen3-235B、Qwen3-14B、GPT-OSS-120B、GPT-OSS-20B。训练只用于后两者。
• 数据：ICWBench 三族。评测从 LFQA 抽 500 条开放式长问答，三族和全部模型复用。训练查询与这 500 条不相交；正样本条数为 TSP 3379、WIP 1865、SA 2906，负样本为 1000、800、800，每条查询合成一个回答。
• 解码与密钥：默认解码参数，生成上限 600 个新 token。主结果每族一个模板、每条样本一个密钥。评测参数为 γ=0.2、字母集大小 13、字符串长度 18。
• 基线：上述 14 个未针对 ICW 训练的模型。消融另比 SFT、直接 GRPO、仅 SDLP（Table 4，仅 Qwen3-14B）。
• 指标：每条查询有正回答（指令加查询）和负回答（仅查询），都用 z 统计量打分，报告 ROC-AUC 与 TPR@1%FPR。困惑度以查询为前缀，参考模型为 Qwen3-235B（PPLQ）和 Nemotron-3-Super-120B（PPLN）。gpt-4o-mini 对相关性、清晰度、信息量、事实正确性打 1–5 分。
• 未写明项：论文未报告评测重复次数，也未报告评审与人工的一致性。

主结果

下表为 Table 2 的 TPR@1%FPR。14 个模型只能列 8 行，含 TSP 上 TPR 最低的 GPT-5.4-nano。省略 Gemini-3-flash、Claude-opus-4.5、Claude-sonnet-4.5、Claude-haiku-4.5、GPT-5.4-mini、DeepSeek-v4-flash、Qwen3-235B、GPT-OSS-120B。

表格较宽，可左右滑动

• 作者对失败模式的划分：SA 最容易，每个所评 LLM 的 AUC 至少 0.83，五家专有模型的 TPR@1%FPR 超过 0.98。WIP 上四家专有模型超过 0.94，另有 8 个模型低于 0.30。TSP 上最强 TPR 为 0.120，最强 AUC 为 0.658，没有模型超过 0.66。
• 质量权衡：作者称前沿模型缺少可调节的遵循–质量权衡。WIP 是过遵循；TSP 是欠遵循，质量数字正常是因为约束没有被编码；SA 的约束只在句首，句间 token 分布仍可保持。
• 训练后：作者称两个骨干的遵循都上升，平均 TPR@1%FPR 分别从 0.100、0.337 到 0.974、0.968。Figure 1 横轴为 Average PPLQ、纵轴为 Average TPR@1%FPR；图注称训练模型保持低困惑度，权衡优于所评全部专有模型。结论收窄为：TSP 与 WIP 上优于所评前沿模型，SA 上与最强专有基线相当。散点的逐模型坐标正文未列表。

回答质量

• 测什么：与 Table 2 同一批回答。Table 3 同时给 PPLQ、PPLN 和四维评审均分。
• 前沿模型：WIP 上 Gemini-3-pro 的 PPLQ/PPLN 为 67.61/53.51，评审均分 3.94，是 Table 3 中 WIP 均分的最低值。TSP 上作者给出的 PPLQ 区间为 2.78–7.21，评审均分为 4.58–4.98，与 Table 3 中未训练模型一致。
• 训练后相对骨干：Qwen3-14B 的 PPLQ 在 TSP/WIP/SA 上从 2.80/3.48/4.05 变为 5.74/4.99/6.25，评审均分从 4.89/4.86/4.82 变为 4.85/4.88/4.80。GPT-OSS-20B 的 PPLQ 从 4.06/5.43/5.35 变为 7.29/7.15/7.38，WIP 评审均分从 4.53 到 4.52。作者称与原骨干可比，遵循提升没有带来整体质量下降。

训练策略消融

• 对象：Table 4 只在 Qwen3-14B 上比较。PPL 为两个参考模型的平均，Judge 为四维平均。
• SFT 与直接 RL：WIP 上 SFT 把 TPR@1%FPR 从 0.036 抬到 0.939；TSP 只到 0.382；SA 的 AUC 从 0.830 降到 0.518，TPR 到 0.006。作者称 SFT 不能作为跨三族都成立的冷启动。直接 RL 的 TSP/WIP TPR 为 0.199/0.008；SA 为 0.994，但作者称出现奖励投机：用不自然格式和拆词把目标字母放到验证器认定的句首。
• SDLP：三族 TPR 为 0.822/0.925/0.849；再加 RL 后为 0.941/0.996/0.985。SA 上仅 SDLP 的平均 PPL 为 7.90、Judge 为 4.63，加 RL 后为 6.27 与 4.80。作者称 SDLP 在三族上都给出冷启动，RL 进一步提高遵循。

编辑与自适应去除

• 主文三种编辑：Figure 3 的行是三族，列是释义、30% 同义词替换、30% 随机删词，叠了两个训练模型和 14 个前沿模型的 ROC。正文未给出各曲线 AUC，也未说明释义用的是哪个 LLM。作者称训练模型在 TSP 上的 AUC 为所评模型中的 state-of-the-art，WIP 与 SA 上与最强基线相当。
• 更强编辑：附录 C 只报告训练后的 Qwen3-14B。无攻击 AUC 为 0.993/0.999/0.999；三轮释义后为 0.853/0.872/0.796；法英回译为 0.932/0.977/0.979。先摘要再展开后，SA 降到 0.597，TSP/WIP 为 0.757/0.887（Table 10）。
• RLCracker：攻击方被给予 100 条带 ICW 的样本。Table 11 中，Coverage 至少为 2 时 ESR 为 0.983/0.978/0.986；P-SP 从 0.960/0.965/0.967 降到 0.785/0.801/0.762，Coverage 从 4.945/4.957/4.944 降到 3.412/3.556/3.605。Coverage 至少为 4.5 时 ESR 为 0.011/0.370/0.073。作者称此时不再高于普通 LLM 释义，并称这与“攻击者可不受限改变语义时，强水印不可能”的已有结论一致。

其他消融与分析

• 换模板（Table 8，训练后 Qwen3-14B，LFQA）：重构模板 AUC 为 0.997/0.980/0.977，未训练基座为 0.463/0.588/0.788。
• 未见领域（Table 9，同一模型）：BioASQ 上训练后 AUC 为 0.941/0.996/0.993，基座为 0.585/0.502/0.817；FiQA 上为 0.949/0.999/0.996 与 0.584/0.510/0.842。
• 密钥 z 分布（Table 7，训练后 Qwen3-14B，种子与训练不相交）：中位数 4.29/4.32/4.98，均值 4.22/4.27/4.95。
• 冷启动集（Table 5）：DH1 平均 z 为 7.86/9.68/7.91，DH0 为 −1.07/−2.06/−0.09；DH1 困惑度为 4.18/4.35/3.86。
• 一至两轮释义（Table 10）：AUC 依次为 TSP 0.890、0.911，WIP 0.897、0.962，SA 0.873、0.850。
• 附录 B 与 C 的泛化、强编辑和 RLCracker 数字只针对训练后的 Qwen3-14B；GPT-OSS-20B 的对应数字论文未报告。

作者指出的局限与后续方向

论文未专门讨论局限。结论只写希望基准和训练方法能促进该方向的后续研究，没有列出具体不足或计划中的实验。

实验覆盖范围

• 评测对象为 Section 5.1 列出的 14 个前沿专有与开源模型；两阶段训练只用于 Qwen3-14B 与 GPT-OSS-20B。
• 主评测为 LFQA 的 500 条查询，三族指令与全部模型复用；训练查询与这 500 条不相交。正样本规模为 3379、1865、2906，负样本为 1000、800、800。
• 质量由 Qwen3-235B 与 Nemotron-3-Super-120B 的困惑度，以及 gpt-4o-mini 的四维 1–5 分衡量（Section 5.1）。论文未报告评测重复次数，也未报告评审与人工的一致性。
• 主结果每族一个模板、每条样本一个密钥。附录 B 另报换模板、BioASQ、FiQA，以及与训练种子不相交的密钥，对象为训练后的 Qwen3-14B。
• 编辑评测包括释义、30% 词替换和 30% 词删除（Section 5.2.3）；附录 C 另有多轮释义、法英回译、先摘要再展开，以及给予 100 条带水印样本的 RLCracker。GRPO 的组大小与截断范围在公式中出现，附录未给出数值。

• 定位：测量并训练 LLM 对上下文水印指令的遵循，使第三方无需模型内部即可让回答带上可统计检出的信号。
• 问题：指令前置到任意查询后，回答应能被自动验证，且仍是合格答案。14 个前沿模型没有一个在 TSP、WIP、SA 上同时做到。TSP 上最高 AUC 为 0.658、最高 TPR@1%FPR 为 0.120；WIP 上 Gemini-3-pro 的 AUC 为 1.000，Table 3 的 PPLQ 为 67.61。
• 方法：用与指令等价的解码期 logits 扰动，让冻结的基座充当教师并合成正负分布；学生看到指令后用 top-k KL 匹配该分布。再用验证器的 z 统计量做 GRPO 奖励。不使用更强教师或人工标注。
• 主结果：在 500 条 LFQA 查询上，Qwen3-14B 的三族平均 TPR@1%FPR 从 0.100 到 0.974，GPT-OSS-20B 从 0.337 到 0.968（Table 2）。训练后 Qwen3-14B 在 WIP 上的 PPLQ 为 4.99、评审均分为 4.88；相对骨干，困惑度有上升，评审均分仍在 4.80–4.88。作者称 TSP 与 WIP 上的权衡优于所评前沿模型，SA 上与最强专有基线相当。
• 其他结果：直接 RL 在 SA 上被作者认定为奖励投机；SFT 在 SA 上 TPR 降到 0.006。三轮释义后，训练的 Qwen3-14B 的 AUC 仍为 0.853/0.872/0.796。RLCracker 在低内容保留约束下 ESR 超过 0.97，内容保留要求提高后不再高于普通释义。
• 作者结论：作者认为 ICW 可以成为第三方调用的水印接口，并希望该基准与训练方法用于后续研究。