跳到正文
原文
公众号 模安局·本站收录· 原文发表· 攻击 →· 扫描记录里的位置 →

论文提出 APD,将越狱提示生成蒸馏给小模型

大模型的越狱能力,能否蒸馏给小模型?

AI 导读

一篇发表于 IJCNLP-AACL 2026 Findings 的论文提出 APD(对抗性提示蒸馏),把生成越狱提示的能力从大模型迁移到 BERT 等亿级参数的小模型。方法分三步:先按有害性、隐蔽性、多样性和效率筛选模板,用 LoRA 微调教师模型;再通过投影层和 KL 散度把教师输出对齐到 BERT,并配合动态温度控制;最后用强化学习按检测规避、有害性和多样性奖励迭代优化提示。论文在 AdvBench 上报告 GPT-4 的 ASRk 为 96.4%、ASRl 为 69.2%,GPT-3.5-Turbo 的 ASRl 为 99.6%;HarmBench 上学生模型对 GPT-4-0613 的 ASRl 为 63.0%,高于教师模型的 54.5%;BERT 生成提示耗时 0.23 秒,Llama-3.2-1B 为 0.86 秒。

阅读原文mp.weixin.qq.com