Safe Unlearning：一种意外有效且可泛化的越狱攻击防御方案
[Daily Paper] Safe Unlearning: A Surprisingly Effective and Generalizable Solution to Defend Against Jailbreak Attacks
AI 导读
一篇论文提出 Safe Unlearning，主张对模型权重中特定有害知识做定向遗忘，从而泛化防御多种越狱提示。该方法仅使用 20 条原始有害问题训练，在包裹复杂越狱提示的分布外测试集上把 Vicuna-7B 的攻击成功率从 82.6% 降到 7.7%；相比之下，用约 10 万条安全对齐样本训练的 Llama2-7B-Chat 即使加上安全系统提示，攻击成功率仍有 21.9%。论文分析认为，不同越狱提示诱发的有害回答在结构与隐空间表征上高度相似，遗忘一处有害知识会连带覆盖语义相近的请求。材料还指出，只训练拒答相当于在完整有害知识之上叠加一层表层行为，并认为这一思路或可迁移到具身 AI 的 VLA 模型，针对动作层表征而非表层指令遵循做遗忘。