不止于提示词:利用解码前状态检测扩散大语言模型中的越狱攻击
Beyond the Prompt: Leveraging Pre-Decoding States for Jailbreak Detection in dLLMs
AI 导读
研究者提出 ReFuse(Representation Fusion),一种面向扩散大语言模型(dLLM)的推理时越狱检测方法。论文指出,dLLM 通过并行迭代精炼掩码 token 生成回复,近期攻击正利用其双向条件化与并行掩码 token 精炼等特性,而同一特性也带来新的检测面:越狱在生成任何 token 之前,即可从掩码回复位置的隐藏状态中被识别。方法在提示词表示和解码前回复表示上分别训练线性分类器,两者各有对方漏检的攻击,ReFuse 融合两个分类器的 sigmoid 有害性评分,不修改模型权重和解码过程。在 LLaDA-8B 上,多种越狱的平均攻击成功率从无防御时的 63.29%、仅用提示词分类器时的 11.27% 降至 3.31%,标准效用基准上的平均良性拒答保持在 1% 以下。
相关热点
1 个事件 · 0 条新闻提到
- 这件事的论文
ReFuse:用解码前状态检测dLLM越狱