论文提出 APD,将越狱提示生成蒸馏给小模型
大模型的越狱能力,能否蒸馏给小模型?
AI 导读
一篇发表于 IJCNLP-AACL 2026 Findings 的论文提出 APD(对抗性提示蒸馏),把生成越狱提示的能力从大模型迁移到 BERT 等亿级参数的小模型。方法分三步:先按有害性、隐蔽性、多样性和效率筛选模板,用 LoRA 微调教师模型;再通过投影层和 KL 散度把教师输出对齐到 BERT,并配合动态温度控制;最后用强化学习按检测规避、有害性和多样性奖励迭代优化提示。论文在 AdvBench 上报告 GPT-4 的 ASRk 为 96.4%、ASRl 为 69.2%,GPT-3.5-Turbo 的 ASRl 为 99.6%;HarmBench 上学生模型对 GPT-4-0613 的 ASRl 为 63.0%,高于教师模型的 54.5%;BERT 生成提示耗时 0.23 秒,Llama-3.2-1B 为 0.86 秒。