DeMTS：将去噪轨迹建模为多变量时间序列，检测扩散语言模型的幻觉

D-LLM幻觉检测若沿时间或token单维压缩去噪轨迹，会丢失token-step二维结构里的线索。

• 场景：D-LLM用迭代去噪生成文本，流利输出仍可能含事实错误或无支持内容。作者认为只看输出token的预测不确定性往往不够，因为线索可能在去噪中表现为不确定性回升或token间不一致精炼。
• 现有不足：一类工作沿扩散步选择或重加权（Chang et al. 2025; Weng et al. 2026）；另一类沿token维压缩，用指示性token的去噪动态（Qian et al. 2026）。作者认为两者都先压缩一维，可能抓不到不一致收敛和跨token故障传播。
• 观察：作者在Fig. 1区分两种模式。幻觉回答后期，不同token的不确定性可收敛到明显不同水平；不稳定或错误token也可带动上下文相关token的熵轨迹一起偏离。图注标出inconsistent convergence window与propagation window。
• 做法：提出DeMTS，把去噪轨迹写成可学习隐变量上的多元时间序列。T2V把语义身份不稳的token信号收成稳定变量并保持局部动态；DMTM再联合变量间依赖与变量内时间演化。
• 检测设定：输入为不确定性轨迹H、上下文嵌入轨迹E；任务文字还提到生成回答。yn=1表示含事实错误或无支持内容，yn=0表示事实性回答。检测使用去噪过程中的token熵和上下文嵌入。论文未使用black-box等术语。

主文把相关工作分成D-LLM幻觉检测和多元时间序列；实验另用输出级与表征级检测器作基线。

D-LLM幻觉检测

• 步级证据：主文将Chang et al. 2025、Hemmat et al. 2026、Zhao, Zhao, and Yu 2026归为选择或重加权信息量大的去噪阶段。附录A.1称TraceDet选取子轨迹，HIVE用中间状态的隐藏证据做验证。引言还将Weng et al. 2026放在步级证据一行。
• 动态轨迹：Qian et al. 2026建模去噪中的异常token演化。附录称DynHD用相对期望动态的偏离来检测，TDGNet（Hemmat et al. 2026）用时间动态图表示token关系。作者认为这些工作说明证据可来自判别性步骤或动态模式，但仍未完整保留token-by-step结构。
• 轨迹证据的引用：Guo and Tan 2026与引言中的Qiu et al. 2025a被用来支持迭代去噪提供轨迹级不确定性。主文未再展开批评这两篇。

多元时间序列

• 三类通道策略：主文区分通道独立（各变量分开；Zhang and Yan 2023; Liu et al. 2024; Shen et al. 2026）、通道相关（联合全部变量；Nie et al. 2022; Zhao et al. 2026; Zeng et al. 2023）和通道部分（只与相关变量交互；Qiu et al. 2025b; Zhao et al. 2023）。
• 稳定身份假设：作者指出这些策略假设变量在样本和时间上身份稳定（Yang, Zhu, and Chen 2024; Lin et al. 2025a）。D-LLM里token位置的语义角色会变，因此不能直接当变量。
• 附录差异：附录A.2用PatchTST、Crossformer、iTransformer、DUET、CrossGNN、TimeFilter展开，部分文献的通道归类与主文引用分组不一致。这里只记录这一差异。

基线与基准

• 三类基线：输出级为Perplexity、LN-Entropy、Semantic Entropy、Lexical Similarity；表征级为EigenScore、CCS、TSV；轨迹级为TraceDet、DynHD。
• 数据与骨干：TriviaQA、HotpotQA、CommonsenseQA；LLaDA-8B-Instruct与Dream-7B-Instruct。指标为AUROC。

作者将DeMTS放在两类工作之间：不像沿单维压缩的D-LLM检测器，它保留token-step二维结构；不像假设变量身份稳定的时间序列模型，它先把变化的token信号转成稳定隐变量，再做时间和变量间建模。

DeMTS先用轨迹保持的token到变量分配（T2V）得到身份更稳定的隐变量，再用动态多元时间建模（DMTM）联合变量间依赖和变量内演化，最后做幻觉二分类。

问题设定与信号

• 生成过程：给定查询q，模型从高度掩码的序列r(T)迭代去噪到r(0)。中间回答长度为N，词表为V，步t从T走到0。
• 轨迹信号：位置i、步t的词表分布记为πi,t，token熵Hi,t是该分布的负对数和。全部位置与步组成不确定性轨迹H，时间轴是去噪步，另一轴是序列位置。上下文嵌入ei,t组成E，用于构造隐变量。
• 检测目标：样本带标签yn。学习检测器f，使预测概率接近yn。目标写成

min_ϕ1/M∑_n=1^M L_cls(y_n, f_ϕ(H_n, E_n)) 即M个样本上二分类损失的平均。公式输入是H与E；任务文字还提到生成回答，但未把它写成单独自变量。

T2V：轨迹保持的变量构造

• 按步标准化（SAUN）：作者认为早期步通常更不确定、后期更稳定，原始熵带有日程偏差。每个步内用该步token熵的均值和标准差标准化，得到相对不确定性。小常数ϵ的数值论文未给。
• 内容与位置赋值：标准化熵与上下文嵌入投影后相加，γ控制嵌入项，论文未给γ。内容网络输出对K个隐变量的logits。位置用F个频率的傅里叶特征，再映射成结构logits，并由内容自适应门调节后与内容logits相加，经softmax得到软分配。实现中F=16，K取32或48。
• 聚合成变量轨迹：每个隐变量是该步token表示的分配加权平均，轨迹从位置索引变为变量索引Z。
• 保持约束：作者担心加权平均抹平局部去噪变化。相邻步熵差被投到表示空间，聚到变量后再投回token。Lamp对齐变化幅度，Ldir在重建变化与原变化符号相反时惩罚。二者组成Lpres。分开的系数未给出；Table 5的轨迹保持权重为0.1。

DMTM：动态多元时间建模

• 阶段自适应交互（SAIVI）：每个去噪步对K个变量做注意力，得到该步依赖C。可靠性系数ρ=(T-t)/T，随t减小而增大，融合写成U=Z+ρC。作者称t大时更噪、依赖更易是虚假相关，后期变量更稳，并引用Weng et al. 2026。
• 变量内时间建模（VWTDM）：依赖增强后的状态加上步的时间嵌入，再对每个变量的整条轨迹做TemporalAttn，得到R。
• 预测：ŷ=MLP(R)。论文称分类器轻量，未另给MLP层数。跨变量注意力头为2，时间注意力头为8，dropout为0.05。

训练目标与复杂度

总损失为 L = L_cls + L_pres Lcls是二分类交叉熵；附录D.2写Cross Entropy。附录B的Algorithm 1按T2V、保持损失、逐步交互、变量内时间注意力、MLP概括流程。附录C写推理复杂度O(T N K d + T K^2 d + K T^2 d)，d为表示维，实验取64。保持约束只在训练时增加同阶项。作者称实践中K小于N，因而关系项按变量数而不是token数取二次，且复用去噪时已记录的熵和嵌入，不再额外前向骨干。

实验设置

• 骨干与生成：LLaDA-8B-Instruct、Dream-7B-Instruct。生成长度与去噪步数取64或128，逐步记录token预测熵和token ID。
• 数据：TriviaQA用于开放域知识回忆，HotpotQA要求整合多条事实线索，CommonsenseQA考察日常知识推理。每数据集1600条训练，另400条分为200验证和200测试。种子42。论文未报告重复运行次数。
• 标签：TriviaQA与HotpotQA由Qwen3-8B判定，yes记为1，no记为0。CommonsenseQA不用该模型，按选项或答案文本规则匹配。附录E.2的规则包括不流畅、不直接作答、不能由参考答案支持或不一致；与任一参考答案精确或语义匹配，以及参考答案不可回答时的不知道类输出，记为非幻觉。论文未报告与人工的一致性。附录E给出生成提示和自动标注提示。
• 基线：输出级为Perplexity、LN-Entropy、Semantic Entropy、Lexical Similarity；表征级为EigenScore、CCS、TSV；轨迹级为TraceDet、DynHD。Dream的Table 1未列出Perplexity与LN-Entropy。
• 训练：指标为AUROC（%）。隐维64，K为32或48，论文未说明主表用哪一个。傅里叶频率16。AdamW，学习率2e-4，权重衰减0.1，batch 8，最多100个epoch，早停patience 20，轨迹保持权重0.1。按验证AUROC选checkpoint。PyTorch 2.6.0，4张NVIDIA L40。
• 输入范围：检测器在带yn的轨迹上监督训练。正文公式的输入是H与E。

主结果

Swipe horizontally to read the table

设置（Table 1）	DeMTS	DynHD	TraceDet
LLaDA六格平均	87.3	84.2	72.0
Dream六格平均	87.4	84.3	80.8
LLaDA，TriviaQA，64	89.8	86.1	74.1
LLaDA，HotpotQA，64	88.1	85.3	63.7
LLaDA，CSQA，64	83.4	81.3	77.1
Dream，TriviaQA，64	87.7	84.4	86.7
Dream，HotpotQA，128	84.6	80.1	75.1
Dream，CSQA，128	87.9	83.5	84.7

• 作者称输出级统计不足以刻画迭代去噪中形成的幻觉。Table 1中LLaDA的输出级平均为Perplexity 54.9、LN-Entropy 57.8、Semantic Entropy 55.9、Lexical Similarity 60.1。Dream未列前两者；Semantic Entropy平均62.8，Lexical Similarity 66.5。LLaDA的CSQA上Semantic Entropy为43.9与44.1，低于同格Perplexity的65.0与65.6。
• 作者称表征级方法用了比输出统计更丰富的模型侧信号，但多数情况下仍低于DeMTS。Table 1已列出的EigenScore、CCS、TSV格子均低于同格DeMTS；三者在LLaDA上的平均为63.2、55.6、59.0，在Dream上为69.8、54.1、65.2。
• 作者称联合建模变量内演化与变量间交互，更能抓住异常时间关系。Table 1已报告的格子里，DeMTS均为该格最高；与TraceDet最接近的是Dream的TriviaQA、长度64那一格。

组件消融

• 测了什么：Table 2在LLaDA-8B-Instruct上去掉SAUN、T2V、SAIVI、VWTDM、Lamp或Ldir。
• 结果：完整模型平均87.27。去掉后平均分别为83.53、79.77、81.17、82.84、82.07、80.50，平均下降最多的是去掉T2V。Table 4在Dream上各格都低于完整DeMTS；论文未给Dream消融的平均。HotpotQA、长度64上去掉VWTDM为87.97，完整模型为88.14。
• 作者解读：作者认为用原始不确定性会让日程引起的全局趋势掩盖样本特有动态；直接用token位置作变量退化明显；幅度、方向、变量间交互和时间演化都参与检测。

跨任务泛化

• 协议：在一个基准上训练，在其余基准上不再适应。Table 3只列CCS、TSV、TraceDet、DynHD、DeMTS。论文未写骨干。表头分成TriviaQA、HotpotQA、CSQA三组，每组两列是其余基准的缩写；正文未逐列定义表头是训练侧还是测试侧。
• 结果：DeMTS六格为82.2、70.2、74.1、65.8、74.8、73.6，平均73.5。DynHD平均72.9，TraceDet 66.3，TSV 61.3，CCS 53.5。TriviaQA组H-QA列上DynHD为85.5，高于DeMTS的82.2。CSQA组T-QA列上DeMTS与TraceDet同为74.8。
• 作者解读：作者称最高的平均AUROC说明，T2V得到的稳定隐变量加上时间演化与变量间交互，捕捉到可迁移的幻觉模式，而不是只记住某一数据集的语义。

变量数、赋值与效率

• K：Figure 3左图是性能对隐变量数K的敏感性。作者称K小会过度压缩token级信号，K大则变量碎片化且冗余，中等K更能兼顾信息保持与变量稳定。正文未给出各K的AUROC，也未把中等K对应到32或48。
• 赋值：Figure 3右图是多样本上的变量赋值。作者称尽管样本间token内容与语义角色变化大，每个隐变量仍汇总语义或动态特征相近的信号。纯文本看不到点或簇的位置，不能核对这一描述。
• 效率：Figure 4比较平均推理时间与AUROC。作者称DeMTS的AUROC最高且运行时间最短。正文未给出秒数或查询次数。附录C给出前述复杂度，并称优势来自在K维隐变量空间建模、且不再额外前向骨干。

其他消融与分析

• Figure 5：Lamp与Ldir的权重在一片范围内表现平稳；去掉或权重很小则下降，过大也下降。正文未给权重网格。作者称二者分别保住变化幅度和时间方向。
• Table 4中Dream完整模型六格为87.74、88.89、88.16、84.63、86.95、87.86；去掉SAIVI时，HotpotQA、长度128为72.77。
• 附录D.4称两个骨干、各数据集和两种长度上的消融趋势一致。
• 保持约束只在训练时增加与T2V同阶的O(T N K d)，推理无此项。

作者指出的局限与后续方向

论文未专门讨论局限。引言、实验、结论和附录都没有把某项结果写成不足，也没有列出后续工作。结论只称，跨多个D-LLM、基准和生成设置的实验显示DeMTS具备有效性、跨任务泛化、鲁棒性和计算效率。

实验覆盖范围

• 被测生成模型为LLaDA-8B-Instruct与Dream-7B-Instruct；基准为TriviaQA、HotpotQA、CommonsenseQA；长度与去噪步数为64和128（Experiments）。
• 每数据集为1600条训练、200条验证、200条测试；指标为AUROC；种子为42。论文未报告重复次数或统计显著性检验（Appendix D.2）。
• TriviaQA与HotpotQA的标签来自Qwen3-8B，CommonsenseQA用规则匹配（Appendix E.2）。论文未报告自动标注与人工判断的一致性。
• 对比包括文中列出的输出级、表征级和轨迹级基线；Dream的Table 1未报告Perplexity与LN-Entropy。另有组件消融（Table 2、Table 4）、K敏感性（Figure 3）、跨任务测试（Table 3）和推理时间对比（Figure 4）。
• Table 3未写骨干，也未逐列定义训练侧与测试侧。Figure 4、Figure 5的正文未给出可回查的耗时或权重网格。γ、ϵ以及Lamp、Ldir的分开系数未给数值，只给出轨迹保持权重0.1（Table 5）。

DeMTS面向扩散语言模型的幻觉检测，把去噪中的token-step不确定性当作多元时间序列，而不是只看最终输出或沿单维压缩轨迹。

要处理的问题是：流利回答仍可能事实错误或缺少支持；作者观察到后期各token收敛水平可不一致，错误状态也可带动相关token一起偏离。token位置没有稳定语义身份，不能直接当作时间序列变量。

T2V按步标准化熵，结合上下文嵌入和傅里叶位置结构做软分配，并用幅度、方向约束保留局部变化。DMTM用随步增强的变量间注意力和时间自注意力抽出轨迹表示，再由MLP做有监督二分类。

Table 1里，LLaDA-8B-Instruct的六格平均AUROC为87.3%，Dream-7B-Instruct为87.4%，已报告格子均高于同表基线。去掉T2V后，LLaDA平均为79.77%（Table 2）。Table 3的跨任务平均为73.5%（未写骨干）；TriviaQA组H-QA列DeMTS为82.2%，同列DynHD为85.5%。

作者在结论中称，与沿时间或变量维压缩轨迹的做法不同，他们保留二维token-step结构，以捕捉幻觉相关不确定性如何在生成中演化并传播；实验显示DeMTS具备有效性、跨任务泛化、鲁棒性和计算效率。论文没有单独写出局限。