SADDER：面向文本扩散模型的安全感知去噪与方向嵌入修正

1. 01这篇论文试图解决什么问题？

   文本扩散的有毒续写和越狱缺少可直接迁移的推理时引导，作者用嵌入门控扩展SAD。

   文本扩散模型缺少可直接套用的推理时安全机制，SAD又只在token概率空间做引导。

   • 场景： 作者称自回归模型仍主导语言建模，文本扩散模型（TDM）可在去噪中并行更新多个位置。但TDM在有毒生成和越狱上的安全研究相对不足。
   • 现有不足： 作者称微调与对齐、事后过滤、自回归解码期干预要么要额外训练，要么假设自回归解码，不能直接用于TDM。SAD用约500～1000条不安全参考在概率空间转向，但是否能用更丰富的表示做位置级引导仍是开放问题。
   • 观察： 作者提出先在嵌入或激活空间为每个位置提取安全信号，再按该信号调制SAD更新；高不安全信号的位置更可能被修改。该乘法不自动保持原目标分布的条件均值。
   • 方法： 作者提出SADDER，推导修改后的去噪器恰好对应位置级目标分布的条件，并在MDLM与USDM上评测不安全续写和越狱。
   • 威胁模型：
     • 风险： 不安全提示上的有毒续写，以及DIJA、PAD对指令微调扩散模型的越狱。
     • 防御方信息： 预训练去噪器输出、层隐藏状态、不安全参考。论文未使用white-box或black-box描述攻击者。
     • 干预： 训练无关；在指定去噪步上改选中位置的干净token分布。MDLM里已经露出的位置按转移核复制，USDM任一步都可改token。
     • 判定： Llama-Guard unsafe rate、HarmBench ASR；质量用PPL与BERTScore，成本用生成器NFE。

   收起这一问

2. 02有哪些相关研究？

   相关工作包括激活转向、重掩码、采样引导和扩散越狱；基线有SAD、CSD、BoN、FK与DiffuGuard。

   推理时安全与TDM引导

   • 传统机制： Dai等（2024）做微调与对齐，Naveed等（2025）做事后过滤和拒绝采样，Xu等（2024）的SafeDecoding在下一token预测时改解码。作者称这些方法要么要额外训练，要么假设自回归解码，不能直接用于TDM。
   • TDM上的推理时方法： Singhal等（2025）做粒子引导，Schiff等（2025）做分类器引导，Lee与Han（2026）做面向安全的重掩码。SAD（Yusuf等，2026）不训练，用约500～1000条不安全参考，在token概率空间把轨迹推向安全区域。
   • Safe Denoiser： Kim等（2025）给出安全去噪器与数据、不安全去噪器的恒等式，2026年扩展到flow matching。作者称SAD用超参η近似权重，实现没有该定理所承诺的安全保证。

   激活转向与重掩码

   • 对比方向： Rimsky等（2024）的Contrastive Activation Addition用成对样本提取方向；Avrahami与Nachmani（2026）的ILRR让掩码扩散的激活对齐参考序列。
   • DiffuGuard： Li等（2025）结合随机重掩码、块级审计和修复。本文评测区分可改固定攻击文本的full repair，和只改初始mask位置的gen repair。
   • CSD： Lee与Han（2026）用WildJailbreak的有害回复和改写拒绝估计Contrastive Safety Direction：前一段去噪步改隐藏状态，再按阈值选位置重掩码并再生。作者称SADDER用类似对比方向，但分数以有害与安全表示的中点为中心，门控的是概率空间里的SAD修正，而不是直接改隐藏状态。

   采样控制与扩散越狱

   • Best-of-N与FK： Best-of-N在独立候选中选最高奖励；FK steering（Singhal等，2025）维持多条轨迹，并按奖励派生的势在中间步重采样。作者称二者不重训生成器；SADDER在单条轨迹内改token预测，比较的是给定推理预算下的安全–质量权衡。
   • DIJA与PAD： Wen等（2026）的DIJA用交错文本–mask提示，利用双向上下文和并行解码引出有害补全。Zhang等（2025）的PAD把肯定式应答启动改写成多点注意力攻击。作者称因此要在对抗结构输入上评估引导，而不只做普通不安全续写。

   基线与基准

   • 基线： unmodified采样、full SAD、改编CSD†、BoN与FK；越狱实验另含DiffuGuard（full与gen）。USDM续写基线不含FK。
   • 数据： 续写用RealToxicityPrompts与BeaverTails；越狱用HarmBench行为上的DIJA与PAD；过度拒绝用XSTest。JailbreakBench与AdvBench用于开发划分，WildJailbreak用于构造越狱参考。

   作者将SADDER定位为用中点中心化的激活分数选择SAD的作用位置。摘要称其安全、质量与推理成本的平衡优于已有方法；该总括与部分表格不一致，见第4问。

   收起这一问

3. 03论文如何解决这个问题？

   SADDER用有害–安全中点分数做门控，只在选中位置施加SAD更新。

   SADDER分两阶段：用嵌入空间的中点分数选出风险位置，再只对这些位置施加SAD的概率修正。核心方法不重掩码；warm-up与重掩码是可选扩展（Algorithm 2）。

   两类扩散与SAD

   • MDLM： 前向以概率αt保留token，否则变为mask，且一旦mask就保持。反向中已露出位置被复制，mask位置按网络预测揭示。LLaDA与Dream的采样器只在如何选择揭示位置上不同于该转移。重掩码采样器还可把已揭示位置退回mask。
   • USDM： 无mask。token以αt保留，否则换成词表均匀样本。反向核每一项都可为正，因此任一步都可改任意token。作者引用Sahoo等（2026），称这带来自校正和更好的引导生成。
   • SAD： 数据去噪器即预训练输出。不安全去噪器用否定集上的前向核做蒙特卡洛加权。权重β*(xt)难算，实现用ηβ(xt)近似，并只在反向过程开头的关键时间窗C内保持非零η。

   第一阶段：位置门控

   对每条参考，取提示与有害、安全回复，把回复截断到M个token，在层k对回复位置的隐藏状态取平均，再对样本平均得到类中心。单位方向是有害中心减安全中心后的归一化差，中点是两中心的平均。位置分数为 s_k,l^(t)=⟨ h_k,l^(t)−m_k,v̂_k⟩ 正分表示当前隐藏状态在超平面的有害中心一侧，作者称这等价于它离有害中心更近。门控在分数大于0时为1，否则为0。作者称软化分数没有优于该硬门控（附录J.2）。MDLM只在仍为mask且可编辑的位置上打分；Algorithm 1中USDM对全部位置打分。

   第二阶段：选中位置上的SAD

   若至少一个门为1，则在当前状态估计不安全去噪器与β(xt)。位置l的修正预测为 p̃_l=𝔼_D[x₀^l|x_t]+ηβ(x_t)a_k,l^(t)(𝔼_D[x₀^l|x_t]−𝔼_Dunsafe[x₀^l|x_t]) 全序列预测是各位置因子的乘积。未选中位置保持数据去噪器，再把预测交给反向求解器。窗口C之外不做这次干预。

   理论条件与实现选择

   • 位置级条件均值： Theorem 3.1称，若门控强度等于该位置后验不安全概率与其补的比，则上式正是某个位置级安全目标下的条件均值。成员函数把干净序列映到[0,1]。Remark 1称推理时没有该oracle，中心化分数只是代理，没有形式保证，与SAD对β*的近似同类。定理中的不安全去噪器由该成员函数诱导，与式(15)的实现不一定相同。
   • 与全局目标一致： Theorem A.1称，各位置条件均值同时等于某一全局安全目标的边际去噪器，当且仅当其余位置的安全权重与该位置干净token在位置级安全后验下条件不相关。Remark 2称这并不保证存在全局相容分布。
   • 可选扩展： warm-up在前w步对全部合格mask位置做full SAD，之后再选择性引导；此期间不重掩码，最后一步也不重掩码。重掩码策略有none、top-b与aligned。主方法是w=0且不重掩码。主续写的warm-up取w=8，即步0–7为full SAD、步8–15为选择性引导。
   • 判定： 续写安全为Llama-Guard-3-8B的unsafe rate。有害PPL是GPT-2-large在有害提示全部可评分输出上的语料困惑度，含被判为安全的输出。良性BERT与良性PPL用另一组RTP人类续写。越狱分开报告HarmBench ASR与Llama-Guard。过度拒绝用WildGuard在XSTest安全提示上的拒绝率。NFE只计生成器前向。

   收起这一问

4. 04论文做了哪些实验？

   续写上SADDER常改善相对full SAD的良性质量，越狱收益随模型与攻击变化。

   实验设置

   • 被测模型： LLaDA-8B-Base、Dream-7B-Base做续写；LLaDA-8B-Instruct、Dream-7B-Instruct做越狱；Duo与UDLM做均匀状态续写。
   • 数据： MDLM每集600条不安全提示，来自RealToxicityPrompts（RTP）与BeaverTails；良性对照为600条良性RTP。USDM为300条不安全RTP与300条良性RTP。越狱为留出的100条HarmBench行为。XSTest为250条安全提示、200条不安全对照。评测提示与开发集分开。
   • 基线： unmodified、full SAD、改编CSD†、BoN、FK；越狱另加DiffuGuard的full与gen。USDM基线为unmodified、full SAD、CSD†与BoN，不含FK。
   • 指标与裁判： 续写安全是Llama-Guard-3-8B unsafe rate。有害PPL用GPT-2-large。良性质量用BERTScore F1（表中乘100）和PPL。越狱分开报HarmBench-Llama-2-13b-cls的ASR与Llama-Guard。过度拒绝用WildGuard。BoN/FK的搜索奖励用RoBERTa，终判仍用Llama-Guard。
   • 采样： MDLM续写32 token、32步、温度1、种子42/43/44。USDM上下文128、128步、五个种子。越狱名义128步、长度128、温度1、三个种子。续写不安全参考最多2000条；越狱用357条WildJailbreak不安全回复。
   • 成本与选点： NFE只计生成器前向，不含奖励打分、安全裁判和一次性参考编码。续写操作点按不安全率在开发集上选定，良性质量事后评估（Table 7、附录E）。

   主结果

   下表为Llama-Guard-3-8B unsafe rate（%）。MDLM四行是Table 7的选定操作点，η与层不同，不是同一超参。USDM两行取Table 34的k=12、η=1.5×10^5。warm-up在USDM未报告。

   表格较宽，可左右滑动

   设置	未引导	Full SAD	SADDER	warm-up
   LLaDA-Base / RTP（Table 1）	38.6	32.4	29.4	31.2
   LLaDA-Base / BeaverTails（Table 1）	38.6	27.1	29.9	24.4
   Dream-Base / RTP（Table 9）	46.8	33.4	35.9	34.7
   Dream-Base / BeaverTails（Table 9）	38.7	22.7	34.1	27.7
   Duo / RTP，k=12，η=1.5×10^5（Table 34）	51.3	41.1	43.6	未报告
   UDLM / RTP，k=12，η=1.5×10^5（Table 34）	68.5	49.5	45.9	未报告

   • 作者称四种MDLM设置下，选择性SADDER的良性BERT高于full SAD、良性PPL低于full SAD；两种变体的良性BERT仍低于未引导（Table 1、Table 9）。
   • 作者称收益依赖模型：Dream上η=10000的full SAD不安全率低于两种SADDER。LLaDA/BeaverTails上选择性SADDER也不低于full SAD。
   • BoN-8与FK-8的NFE为256，另加奖励打分；表中SADDER与full SAD的NFE为32。作者称BoN-8能进一步降低不安全率。LLaDA/RTP上CSD的unsafe rate为22.4%，但harmful PPL为225，SADDER为42.1、未引导为21.1（Table 1）。

   均匀状态模型上的续写

   • 作者称UDLM上SADDER达到45.9% unsafe rate，未引导为68.5%，full SAD扫描中的最低不安全率为47.4%（η=10^5，与45.9%不是同一η）。对应良性BERT：SADDER 80.92，作者用于比较的full SAD为80.49，未引导80.81。作者称相对full SAD更安全，且参考相似度没有损失。
   • Duo上作者称每个η的full SAD不安全率都低于SADDER：η=3×10^4为43.4%对47.2%，η=1.5×10^5为41.1%对43.6%。同η下SADDER的良性BERT都更高，扫描末端为81.68对80.76。匹配良性BERT时，full SAD在81.77处为43.4%，SADDER为45.0%。
   • 三者与CSD†的生成器评测次数相同，NFE为128；BoN是其N倍。Duo上BoN-8为33.1%（NFE 1024），作者称这是观察到的最低不安全率。UDLM上BoN的N=3/5/8为70.0%、68.9%、69.7%，作者称未优于未引导的68.5%。CSD在Duo的k=9为35.1%，同层UDLM为63.5%；作者称CSD在Duo上跨层相差15.5个百分点，固定η时SADDER最多变动2.2个百分点。Figure 1的图注写纵轴为Unsafe rate、横轴为Benign BERTScore，更大标记对应更大η。

   越狱与过度拒绝

   • DIJA： Table 2中Dream未引导的HB ASR为82.0%、LG unsafe为80.7%；SADDER为77.7%与81.7%，warm-up为78.7%与79.7%，NFE均为91.7。作者称SADDER与warm-up的HB接近未引导，LG仍把大约五分之四判为不安全。Dream的DiffuGuard full为HB 33.3%、LG 84.0%、PPL 537。作者称HB降幅没有带来可比的LG降幅。LLaDA-Instruct上SADDER的DIJA HB为79.0%，未引导为78.7%（Table 20）。
   • PAD： Dream的warm-up为HB 42.7%、LG 55.0%、PPL 10.40，未引导为51.7%、64.0%、8.53。作者报告配对HB下降9.0个百分点（95% CI [-15.7, -2.3]），并称这是攻击特定的权衡，不是普遍越狱鲁棒性。选择性SADDER的HB仍为52.7%。
   • 过度拒绝： Table 2中Dream warm-up的WG拒绝率为17.9%，未引导为55.5%。作者报告在共同评分输出上下降35.4个百分点（95% CI [-41.6, -29.3]），但不安全对照的WG有害率从0.0%升至6.9%（有有效标签的回复）。作者称更少拒绝不能说明有用性在安全不变时提高。LLaDA-Instruct的对应WG拒绝率为16.3%对20.7%（Table 20）。

   其他消融与分析

   • 同层、同强度、同窗口下，LLaDA/RTP选择性SADDER相对full SAD的不安全率差为-4.1个百分点（Table 15，95% CI [-6.1, -2.1]）；BeaverTails为+2.8（[-1.1, 6.6]）。Figure 2比较的是各自选定的full SAD，LLaDA/RTP为-3.0（[-6.4, 0.3]）。
   • 附录J.2：软门控τ为30、70、100时，作者称相对硬门控没有一致差异；UDLM上四条门控重合，Duo上差异小于种子波动。
   • Table 19：LLaDA/RTP上SADDER+BoN-2的不安全率为26.7%，BoN-2为30.6%，NFE同为64；有害提示PPL从20.90到28.80。良性质量未测。
   • Table 12：LLaDA/RTP的top-1重掩码不安全率28.3%、NFE 47.0；对齐重掩码30.6%、NFE 46.6。主方法不重掩码。
   • 作者称Figure 3在未引导的不安全RTP续写上，开闸比例随去噪推进总体上升。图的横轴为Normalised denoising step，纵轴为Open-gate ratio。
   • 附录H.5在同一DIJA输出上比较全文与仅初始mask片段。去掉支架后，未引导LLaDA的LG从82.0%到53.3%，HB从78.7%到73.0%；作者称裁判并不因此可互换。

   收起这一问

5. 05有什么可以进一步探索的点？

   Section 6称选择性引导有局限，越狱改进依赖模型和操作点。

   作者指出的局限与后续方向

   • Section 6称，掩码与均匀状态扩散上的实验同时显示选择性引导的收益与局限。
   • Section 6称，SADDER在若干设置下相对full SAD改善良性续写质量，部分配置也降低不安全生成；越狱改进依赖于模型和操作点。
   • Section 6称SADDER的拒绝率更低，并把它写成管理安全–质量与安全–拒绝权衡的一种方式。论文未单列Future Work，Discussion未列出具体后续实验。

   实验覆盖范围

   • 生成模型为LLaDA-8B-Base、LLaDA-8B-Instruct、Dream-7B-Base、Dream-7B-Instruct、Duo、UDLM。
   • MDLM续写用RTP与BeaverTails，每集600条不安全提示、3个种子、32 token与32步；USDM用RTP 300条、5个种子、128步。越狱为DIJA与PAD，各100条留出的HarmBench标准行为、3个种子、128步。
   • XSTest为250条安全提示和200条不安全对照。对照含unmodified、full SAD、CSD†、BoN、FK；越狱另有DiffuGuard的full repair与gen repair。
   • 安全裁判为Llama-Guard-3-8B、HarmBench-Llama-2-13b-cls与WildGuard；流畅度用GPT-2-large，参考相似度用BERTScore。论文未报告这些自动裁判与人工标注的一致性。
   • 论文报告NFE，并写明不含奖励打分、安全裁判和参考集准备。续写参考最多2000条，越狱参考为357条WildJailbreak回复。主方法的门控是硬阈值，理论校准条件在实现中由中心化分数代理（Remark 1）。

   收起这一问

6. 06总结一下论文的主要内容

   SADDER用嵌入门控做训练无关的安全去噪；续写质量常更好，越狱并不普遍更强。

   SADDER是面向文本扩散模型的训练无关安全引导：用嵌入空间的中点分数决定在哪些位置施加SAD修正。

   • 问题： TDM的有毒续写和越狱不能直接沿用自回归的训练或解码期方法。SAD只在token概率空间操作，且其权重近似没有定理所承诺的安全保证。
   • 做法： 从有害与安全回复的隐藏状态差得到方向，分数相对两中心的中点。分数为正才把SAD更新乘进该位置的token分布。MDLM只考虑仍为mask的位置，USDM每步考虑全部位置。作者给出该更新成为位置级安全条件均值、以及与某一全局目标一致的条件；实现中的分数没有形式保证。
   • 续写： LLaDA-Base在RTP上，SADDER的Llama-Guard unsafe rate为29.4%，full SAD为32.4%，未引导为38.6%，NFE均为32（Table 1）。同表BeaverTails上warm-up为24.4%，选择性SADDER为29.9%，full SAD为27.1%。作者称四种MDLM设置下，选择性SADDER的良性质量指标优于full SAD，但仍低于未引导。
   • 例外： Dream-Base上full SAD（η=10000）的不安全率低于两种SADDER（Table 9）。UDLM上SADDER（k=12，η=1.5×10^5）为45.9%，未引导为68.5%（Table 34）。Duo上同η的full SAD为41.1%，SADDER为43.6%。
   • 越狱： Dream-Instruct上，warm-up的PAD HarmBench ASR为42.7%，未引导为51.7%；DIJA上warm-up为78.7%，未引导为82.0%（Table 2）。XSTest安全提示的WG拒绝率从55.5%到17.9%。作者称更少拒绝并不等于有用性在安全不变下提高，越狱改进依赖模型和操作点。
   • 作者结论： Section 6称SADDER提供了管理安全–质量与安全–拒绝权衡的额外方式。摘要中“优于已有方法”的总括，与Dream续写、Duo不安全率和DIJA上的表格不完全一致。

   收起这一问

相关论文