跳到正文
原文
arXiv· arXiv:2605.16462· Guang Yang, Amir Ghasemian, Fengchen Liu, Zhong Wang, Ninareh Mehrabi, Homa Hosseinmardi·本站收录· 原文发表

Asking Back:交互层防蒸馏水印

Asking Back: Interaction-Layer Antidistillation Watermarks

AI 导读

研究者提出交互层防蒸馏水印,把防蒸馏标记从输出 token 层上移到教师模型的交互行为。方法是用系统提示词让教师模型间歇性表现出追问、低频变体或陈述式复述等行为,蒸馏学生会继承这些行为,防守方再用黑盒查询和 LLM 评审进行审计。在 Llama-3.3-70B-Instruct 教师下对 63 个 LoRA 蒸馏学生、35,343 个判定样本的实验中,水印向 Gemma、OLMo、Qwen 学生迁移的相对保真度分别为 88.9%、80.9%、45.2%;非自适应 DIPPER 改写下,教师自身上限约 66.4%,学生相对保持率 21-112%,OLMo 学生的水印保持高于教师本身。20 人预注册实验显示各标记变体与基线的 Likert 差距在 0.22 步以内,作者称交互层是与 token、模型和推理轨迹层防御互补的可行设计位置。

阅读原文arxiv.org