D²-Monitor：基于犹豫信号的扩散大语言模型动态安全监控

扩散语言模型缺少面向多步去噪轨迹的部署期安全监测。

• 场景：D-LLM多步去噪并使用双向注意力，中间隐藏状态可能含单步监测没有的安全信息。作者认为对齐仍可能被对抗攻击绕过，因而做部署期外部监测。
• 现有不足：LLM-as-monitor计算开销大，边缘部署困难；线性探针轻，但表达力有限。作者称微调防御开销大且可能影响效用，译码干预则要重新生成。
• 观察：作者称安全不确定会沿去噪轨迹出现。线性探针裕度反复落入小区间的步，其计数能预测该探针失败，并作为样本难度代理。
• 方法：提出D²-Monitor。常开线性探针给出基座预测和犹豫估计；超过阈值才升级。更强探针只在含犹豫步的轨迹上训练，且只读这些步的最小跨度。
• 威胁模型：
  • 目标：检测有害用户输入。引言也提到问题模型行为；实验按提示词的safe/unsafe或毒性标签评估。
  • 知识：读取被测D-LLM去噪过程中的隐藏表示，不修改模型。论文未使用white-box或black-box。
  • 系统与判定：受害系统是开源D-LLM。WildGuardMix含对抗性输入。正确性按数据集标签的Acc与Macro-F1。
  • 作者指出的绕过：把hesitation压低的输入可能留在轻量路径，避开高级探针（Ethics Statement）。

D-LLM与模型内安全

• 扩散语言模型：Nie et al.（2025b）、Zhu et al.（2025）、Bie et al.（2025）把masked diffusion扩到离散文本，并用双向注意力做多步去噪。
• 内在性质：He et al.（2026）讨论扩散生成相对自回归生成的安全相关性质。论文只作引用，未与本文做数值对比。
• 已有防护：A2D（Jeung et al., 2026）做微调对齐，DiffuGuard（Li et al., 2026b）做译码干预。作者称前者开销大且可能影响效用，后者需要重新生成。

外部监测器

• LLMs-as-monitors：Llama-Guard（Inan et al., 2023）等在安全数据上微调分类器，过滤输入或输出。作者称额外LLM计算量大，边缘部署困难。
• 探针监测：线性探针（Alain & Bengio, 2016）被用于幻觉、毒性与欺骗检测；更强形式包括MLP、TimeAttn（Kramár et al., 2026）和循环编码器（Damirchi et al., 2026）。
• 轨迹差异：作者写，AR-LLM每个生成token贡献一个状态，D-LLM则在每步重编码整段序列，得到中间状态轨迹。

级联与路由

• 早期做法：检测级联（Viola & Jones, 2004）和early-exit（Teerapittayanon et al., 2016）把易样本交给便宜模型。
• LLM监测级联：McKenzie et al.（2025）与Cunningham et al.（2026）用激活探针做第一级，不确定样本交给外部LLM监测器。作者称第二级仍是LLM，需预先微调或写提示，推理时多一次调用。
• 动机来源：Wang et al.（2026b）与Li et al.（2026a）报告数学推理中，D-LLM中间输出会在对错之间摆动。作者据此假设安全探针空间也有类似不稳定。

基线与数据

• 基线方法：单步LP/MLP（Last Step）；全轨迹LP/MLP的Mean与Majority Vote；TimeAttn；LSTM。共8个。附录另对照Llama-Guard-3-1B。
• 基准：WildGuardMix、ToxicChat、OpenAI-Moderation。域内用前两个；迁移从WildGuardMix测后两个。

作者把区别写成三点：D-LLM特有的多步路由信号、第二级用探针而非额外LLM、用犹豫轨迹训练第二级。作者写明不把双层设计本身当作新意。

D²-Monitor让线性探针处理每个样本，并用犹豫严重度nτ决定是否把局部轨迹交给更强探针。

问题设定与轨迹

• 生成：干净序列经固定噪声日程逐步掩码；反向过程每步预测全序列，只替换当前掩码位置，再按random或low-confidence等策略重掩一部分。提示词作为固定未掩码前缀。
• 表示：某一层隐藏张量沿token维均值池化，得到逐步向量，轨迹记为H。作者给出的理由是双向注意力使安全信息分布在各token上。主实验未写明层号。
• 训练目标：探针最小化经验交叉熵。标签0为safe，1为unsafe。基座用线性探针；作者给出的理由是适合常开，且形式可解释。
• 用全轨迹：§3.2比较只用最后一步，以及在时间均值上训练、测试时用均值或逐步多数投票。作者据此在后续分析中使用全轨迹。

犹豫信号

• 探针外：由各位置的预测分布算逐步熵与置信度。熵不低于阈值，或置信度不高于阈值，记为犹豫步。
• 探针内：线性探针对每步给出有符号裕度d_s。绝对值小于τ的步为犹豫步。轨迹只要有一步犹豫，即记为hesitant。
• 严重度：n_τ=∑_s=1^S1[|d_s|<τ]，即落入裕度带的步数。二值准则只看该计数是否至少为1。作者比较后用nτ做路由。
• 选择：阈值按相近的稳定/犹豫划分比例对齐后再比。论文后文把margin作为默认信号；熵和置信度留作对照。

路由与窗口

• 升级：测试时基座每步算裕度。nτ不大于λ时由基座分类；否则抽出犹豫窗口交给高级探针。λ越大，升级越少。
• 基座规则：nτ≤λ时，ŷ=sign(∑_s=1^Ssign(d_s))。论文将其写成多数投票。
• 窗口：高级探针不读全部S步，只读含犹豫步的最小连续跨度；无犹豫步则窗口为空。作者称犹豫步倾向连成一段（附录E.1）。
• 变体：高级探针为参数量相近的MLP，或在窗口内做时间注意力的TimeAttn。作者称框架不绑定某一种高级探针。

三阶段实现与判定

• 折外打分：训练集分k折，每折由其余折上的线性探针打裕度，再收集nτ>0的轨迹。论文未给出k。
• 两个探针：基座在全训练集上训练，测试时用来算nτ。高级探针只在非空窗口上、以nτ>0的样本训练。训练筛选是nτ>0，测试升级是nτ>λ。
• τ与λ：在训练集4:1划出的验证集上选择，不为此重训。τ取得犹豫样本约占50%。再在验证F1略低于最高的配置里取E[P]最小者。迁移时在目标集留出划分上联合网格搜索。论文未量化“略低于”。
• 优化：Adam、batch size 256、50个epoch，A40 48GB。MLP隐层宽256；TimeAttn注意力维128。成功与否按数据集标签算Acc与Macro-F1，不用LLM评审。

实验设置

• 模型：LLaDA-8B-Base、LLaDA-8B-Instruct、LLaDA-1.5-8B、LLaDA-2.0-mini-16B。探针读其隐藏状态，不改权重。
• 数据：WildGuardMix训练86.8k、测试1.7k（Table 11为1,725条）；ToxicChat训练与测试各5.08k；OpenAI-Moderation为1.68k条、八类，任一类命中即unsafe，只作迁移测试。
• 协议：域内分别在WildGuardMix、ToxicChat上训练并测试。迁移从WildGuardMix测后两个集。seeds 0、1、2，报mean±std。Table 3只含前两个模型。
• 基线：LP/MLP的Last Step、Mean、MV，以及TimeAttn、LSTM，共8个。附录另对照Llama-Guard-3-1B的zero-shot与LoRA。
• 指标：Acc；表中F1为两类F1的不加权均值。E[P]为常开探针参数加升级比例乘高级探针参数。无LLM评审。附录另有F2、Precision、Recall、FRR、时延与FLOPs。
• 配置：验证集按训练集4:1划出。稳健性实验在生成长度128、步长4下训练。主表未写探测层；Table 5一处写S=32。Table 1里三个8B模型共用一列E[P]。

主结果

宏F1（%），mean±std。WildGuardMix据Table 1，ToxicChat据Table 2。斜线左侧为D²-MLP，右侧为D²-TimeAttn。

| 模型 | WildGuardMix | 该集最强基线 | ToxicChat | 该集最强基线 | | LLaDA-8B-Base | 88.2±0.3 / 89.1±0.4 | TimeAttn 87.2±0.6 | 87.9±0.6 / 88.3±0.3 | LSTM 86.3±0.1 | | LLaDA-8B-Instruct | 89.5±0.1 / 89.3±0.1 | LSTM 87.9±0.4 | 90.3±0.2 / 90.1±0.2 | LSTM 87.6±0.2 | | LLaDA-1.5 | 89.4±0.1 / 89.4±0.2 | TimeAttn 88.0±0.5 | 89.9±0.1 / 90.4±0.1 | LSTM 87.8±0.2；MLP (Mean) 87.8±0.1 | | LLaDA-2.0-mini | 83.4±0.1 / 83.5±0.3 | LSTM 80.8±0.5 | 87.2±0.2 / 87.4±0.3 | MLP (Mean) 83.9±0.3 |

• 作者解读：作者称每个模型–数据集格的Acc与F1都高于8个基线，并归于犹豫感知路由。相对最强基线，作者写域内+1.4到+3.5 F1、跨数据集+2.7到+4.3 F1。
• 参数：Table 1三个8B模型共用的E[P]上界为D²-MLP ≤0.34M、D²-TimeAttn ≤0.55M；mini为0.06M与0.12M。作者称整体不到0.93M，即8B模型的0.01%。
• 例外：作者称多步读出在大多数模型上高于单步。Table 1中LLaDA-1.5的LP (Last Step) F1为87.9±0.1，高于LP (MV) 87.2±0.1和LP (Mean) 87.4±0.1。Appendix A称各方法在LLaDA-2.0-mini上绝对F1最低，并认为可能与更窄的隐藏状态有关。

跨数据集与LLM监测器

• 迁移（Table 3，训于WildGuardMix）：LLaDA-8B-Instruct上D²-TimeAttn的F1，ToxicChat为75.3±0.7，OpenAI-Moderation为70.5±0.7。LLaDA-8B-Base上，ToxicChat最高为D²-MLP 72.0±0.2，OpenAI-Moderation最高为D²-TimeAttn 68.6±0.8。该表E[P]上界为D²-TimeAttn ≤0.93M。另外两个模型未报告。
• Llama-Guard-3-1B（Table 6、7）：WildGuardMix与ToxicChat上LoRA后F1为89.9与90.4。Table 7里LLaDA-8B-Instruct的D²-MLP / D²-TimeAttn域内为89.5 / 89.3和90.3 / 90.1。作者称多数模型上性能相当，监测参数少于0.05%，并称LLM监测器参数超过2000倍（表中1.12B对≤0.34M / ≤0.55M）。未适配时ToxicChat F1为60.7、precision为21.8。
• 偏移：同一LoRA在ToxicChat为80.4、OpenAI-Moderation为74.5；作者给出的D²区间为71.6–75.3与66.8–70.5。作者称Table 3中基于表示的方法在分布偏移下都明显变差，并把这类监测器的泛化视为开放问题。OpenAI-Moderation上，对齐后Acc从75.3到75.2，FRR从26.8%到32.7%；作者称准确率不变而FRR上升。

路由对象与解码配置

• 对抗占比：Figure 5中nτ=0时对抗比例为38–46%，低于WildGuardMix基线∼47%；最大桶为67–89%。Table 9路由子集上，D²-MLP为68.2%、80.8%、80.5%、75.5%（四个模型）。作者称升级集中在对抗输入，而不只是泛泛的难样本。
• 解码（Figure 3，LLaDA-8B-Instruct，WildGuardMix）：生成长度128、步长4下训练后不重训，改变步长{1,2,4,8}、生成长度{16,32,64,128}，以及low-confidence、entropy、random三种remasking。正文未给出图中各点F1。作者称这些设置上仍高于全部基线。
• 代价（Table 11，生成并抽出隐藏状态之后）：作者称D²-MLP比MLP (Mean)快2.4×–6.6×，D²-TimeAttn比TimeAttn快4.1×–5.1×。四模型上D²-MLP为0.57、0.56、0.66、0.55 ms。Table 10中D²-MLP期望FLOPs为0.92、0.68、0.97、0.87 MFLOPs；作者称低于1 MFLOP。

其他消融与分析

• 50% hesitation ratio时，margin在路由子集上的准确率差为13.5% / 12.4%，entropy为7.2% / 7.4%，confidence为7.1% / 7.3%（§5.3，两个高级探针）。
• Table 4（LLaDA-8B-Instruct）：筛选加路由相对全数据全样本，WildGuardMix上MLP F1从87.82±0.42到89.54±0.10，E[P]从1.05M到0.26M；ToxicChat上从87.08±0.18到90.33±0.17，E[P]从1.05M到0.16M。作者称两因素的相对大小随数据集反转；匹配成本下的筛选在四组里至少+1.0 F1，路由将E[P]降低4.0–7.2×（附录D.2；§5.3写4–7×）。
• Table 5（ToxicChat，LLaDA-8B-Instruct，seed 0）：默认犹豫跨度平均16.9步；D²-MLP在λ=24时F1为90.51，D²-TimeAttn在λ=4时为90.35。作者称对TimeAttn，全轨迹均匀平均损失0.69 points。
• Table 8（WildGuardMix，LLaDA-8B-Instruct，seed 0）：层20/24/28/32上，D²-MLP为89.2/89.3/89.2/89.7，D²-TimeAttn为89.1/89.1/89.2/89.4。作者称约0.5 points。
• Fig 6：ToxicChat上λ从4到27，F1变化小于0.8 points。Fig 7：训WildGuardMix、测ToxicChat的(τ, λ)网格上，F1跨度为3.5 points（D²-MLP）与3.3 points（D²-TimeAttn）。
• Table 15（WildGuardMix，LLaDA-2.0-mini）FRR：D²-TimeAttn 7.2±0.4，D²-MLP 8.3±0.4，TimeAttn基线7.3±2.0。作者称四模型上D²-Monitor的FRR最低；该表中D²-MLP的点估计高于TimeAttn。

作者指出的局限与后续方向

• 模型规模：实验限于参数量不超过16B的D-LLM，原因是计算约束。作者预期做法可带到更大的D-LLM（Conclusion Limitations；Appendix A）。
• 校准：生成长度、步长和remasking变化下可以不重训（Fig 3），但检查点或安全策略变化下的校准仍是开放问题。作者写明并未解决一般的分布偏移校准（Conclusion；Appendix A）。
• 成因：作者只经验刻画犹豫，没有解释为何某些输入的中间状态反复靠近决策边界。解码开始前能否预测犹豫，作者也列为开放问题（Appendix A；Conclusion）。
• 误用风险：监测器可能误拦良性提示。把犹豫压低的输入可能留在轻量路径并避开高级探针。作者建议与互补防御一起部署，并持续看对抗漂移（Ethics Statement；Appendix B）。

实验覆盖范围

• 模型与数据：被测模型为上述4个LLaDA。数据集为WildGuardMix、ToxicChat、OpenAI-Moderation。域内训练测试前两个；迁移从WildGuardMix出发。Table 3只报告LLaDA-8B-Base与LLaDA-8B-Instruct。Table 7写明未评估从ToxicChat迁出。
• 对照与重复：基线为8个探针变体，并跑了Llama-Guard-3-1B的zero-shot与LoRA。主表为seeds 0、1、2的mean±std。指标含Acc、Macro-F1、E[P]；附录另有F2、Precision、Recall、FRR、时延和FLOPs。
• 解码与信号：稳健性实验的训练配置为生成长度128、步长4，并比较三种remasking。路由信号对照包括margin、entropy、confidence。窗口构造在Table 5比较了连续跨度、只保留犹豫步、top-k和软权重。
• 论文未报告的实现项：主实验探测层未写明；Appendix E.5只在一个模型、一个数据集、seed 0上比较层20、24、28、32。折外打分的k未给出。Ethics Statement与Appendix B写了压低hesitation的对手，论文未报告相应实验结果。

D²-Monitor是不改D-LLM权重的外部安全监测器，用去噪轨迹上的探针裕度分配算力。

• 问题：多步隐藏状态可能含安全信息，但线性探针会在难样本上出错；全程使用更强探针又提高测试时参数。作者认为对齐仍可能被对抗输入绕过。
• 做法：裕度绝对值小于τ的步记为犹豫步，个数为nτ。线性探针常开，nτ不大于λ时做多数投票；否则把犹豫步的最小连续区间交给只在nτ>0轨迹上训练的MLP或TimeAttn。
• 域内：三个种子的宏F1中，WildGuardMix上LLaDA-8B-Instruct的D²-MLP为89.5±0.1%，LLaDA-2.0-mini的D²-TimeAttn为83.5±0.3%（Table 1）。ToxicChat上LLaDA-1.5的D²-TimeAttn为90.4±0.1%（Table 2）。
• 迁移与参数：训于WildGuardMix后，Instruct的D²-TimeAttn在ToxicChat为75.3±0.7%，在OpenAI-Moderation为70.5±0.7%（Table 3）。作者称相对8个基线，域内为+1.4到+3.5 F1、跨数据集为+2.7到+4.3 F1，期望参数不超过0.93M。
• 对照：Llama-Guard-3-1B在两个域内集上LoRA后F1为89.9与90.4；迁移到ToxicChat为80.4，高于作者给出的探针区间71.6–75.3。作者称分布偏移下基于表示的监测器都明显变差。
• 结论：作者认为犹豫步数可预测轻量探针何时失败，并同时用于筛选训练数据和测试路由。作者也写明，16B以上的模型、检查点或安全策略偏移下的校准，以及犹豫为何出现，仍待研究。