弱到强越狱：小型不安全模型可越狱大型对齐模型
[Daily Paper] Weak-to-Strong Jailbreaking on Large Language Models
AI summary
加州大学圣巴巴拉分校、清华大学与 Sea AI Lab 的论文提出弱到强越狱攻击，用一个刻意不安全的小型 7B 模型引导大型对齐模型输出有害内容，且无需访问目标模型权重。论文发现对齐模型与被越狱版本的解码分布主要在回复的初始 token 上出现分歧，于是用不安全小模型与对齐小模型的 log 概率差作为修正信号，在推理时加到大型对齐模型的下一 token 概率上。针对 70B 目标模型，该攻击约增加 20% 计算开销，并在来自三家机构的五个模型上取得一致的越狱成功率，且可跨模型家族迁移。作者提出的初步防御是监测推理时输出分布的分歧，但承认在修正信号较小或 logit 级监测成本过高时效果有限。