DiffuGuard:扩散大语言模型的内在安全如何失去与找回
DiffuGuard: How Intrinsic Safety is Lost and Found in Diffusion Large Language Models
AI 导读
研究者提出免训练防御框架 DiffuGuard,在四个扩散大语言模型(dLLM)上将六种越狱方法的攻击成功率从 47.9% 降至 14.7%,同时保持模型效用与效率。论文从步内与步间动态两个维度分析 dLLM 的越狱脆弱性,发现标准贪心重掩码策略存在有害偏向,并提出去噪路径依赖(Denoising-path Dependence)现象,即早期 token 的安全性对最终输出有决定性影响。DiffuGuard 采用双阶段设计:随机退火重掩码(Stochastic Annealing Remasking)引入受控随机性以缓解贪心选择偏向,块级审计与修复(Block-level Audit and Repair)利用模型内部表征自主检测风险并引导修正。代码开源于 https://github.com/niez233/DiffuGuard。
相关热点
1 个事件 · 1 条新闻提到
- 报道提到了 DiffuGuard
智源提出基于反事实词元重掩码的扩散语言模型对齐方法CURE
提到这篇论文的新闻
智源提出基于反事实词元重掩码的扩散语言模型对齐方法CURE
- 智源社区提到论文的名字智源提出基于反事实词元重掩码的扩散语言模型对齐方法CURE
同条件下,SRIGuard与DiffuGuard报告的额外计算量分别为252.58和130.24TFLOPs。