研究者提出自蒸馏方法让 LLM 遵循上下文水印指令
Learning to Follow In-Context Watermark Instructions via Self-Distillation
AI 导读
研究者提出两阶段自蒸馏训练方法，让大语言模型在遵循上下文水印（ICW）指令的同时保持回答质量。ICW 通过在查询前附加指令，要求模型在回复中嵌入可统计检测的信号，第三方无需访问模型内部即可调用。团队同时发布 ICWBench 基准，包含三类可验证的 ICW 指令族，分别从可检测性和回答质量两方面评分；对 14 个前沿闭源与开源模型的评测显示，没有一个模型能在三类指令上同时满足两个目标。所提方法无需更强模型蒸馏、无需人工标注、也不依赖模型已有的 ICW 指令遵循能力：第一阶段用同一基础模型同时充当教师和学生，通过指令等价的解码时 logits 扰动让教师遵循指令，再训练学生匹配教师的输出分布；第二阶段以自动验证器为奖励做强化学习。