DialFork：超越事实性，评估对话智能体的流程幻觉

核心问题是衡量流程幻觉：对话每句可以流畅且事实可信，整段仍可能偏离规定流程。

• 场景：作者称客服、排程、引导式排障、临床问诊等智能体被默认按结构化步骤，把对话从初始请求推进到目标完成；过程与单句内容同样重要。
• 现有不足：作者称主流工作评事实错误，如错误日期、虚构产品细节或错误数字。TruthfulQA与HaluEval评内容真实性，看不见过程错误。智能体通信中的幻觉（Lin et al., 2025）和FaithDial的接地忠实性（Dziri et al., 2022）也只关心内容是否准确。
• 作者的界定：作者把该失败称为过程崩溃而非内容错误，并称它与事实正确正交：单句不必为假，整段对话仍可以是错的。智能体可能跳步、改目标、重复已完成动作，或加入冲突目标，同时每句仍像真的。
• 本文做法：作者按工作流分量定义四类流程幻觉，并发布DIALFORK：在受控轮次分叉合规对话、注入一类幻觉，得到24个任务、12个领域的36,278条对话。三项任务分别问集合偏离多远、单条偏离多远、从哪一轮开始脱轨；FLOW KL与FLOW SCORE按对话如何展开而非按内容比较。作者称这是首个在原始对话文本上衡量该失败模式的基准。

作者把相关工作分成事实幻觉和流程遵循/对话相似，并称现有流程基准评的是模型是否按指令行动，而不是一段对话偏离流程多远。

• 事实幻觉：Maynez et al.（2020）、Kryściński et al.（2020）、TruthfulQA（Lin et al., 2022）与Mallen et al.（2023）评生成内容的事实准确性。综述Ji et al.（2023）、Zhang et al.（2025b）、Huang et al.（2025）沿忠实性与事实性分类。DiaHalu（Chen et al., 2024b）把评测扩到多轮对话。作者称这些类别都关心说了什么，不关心对话如何展开是否正确。
• 流程遵循：Chen et al.（2021）研究策略约束的动作序列；White et al.（2023）用流程指导动作预测；TOD-ProcBench（Ghazarian et al., 2025）评条件–动作指令遵循；Qiao et al.（2025）做工作流生成。作者称这类工作通常在标注的动作、意图或槽位上进行。
• 对话相似：SBERT（Reimers and Gurevych, 2019）与DSE（Zhou et al., 2022）把轮次收成一个向量再比余弦，丢掉轮次顺序。TaskDiff（Bhaumik et al., 2023）依赖标注的意图和槽位。作者称这些方法评的是文本相似。
• 基线与数据：Task 1的集合距离基线是FBD与PRD（Xiang et al., 2021），在连续（系统, 用户）轮次对的嵌入上比较对话集合；对照还有轮数差、词数差和随机。Task 2对照是轮次均值池化、整段编码、轮数/词数差，以及利用重放前缀的Shared prefix。评测对话由STAR（Mosig et al., 2020）的流程与角色指令重新生成，STAR原始对话不进入基准。

作者的定位：上述流程工作评模型是否遵循流程指令；DIALFORK评的是直接在原始对话文本上衡量偏离程度的方法，文本可以由LLM或人产生。

整体用DIALFORK把流程偏离做成原文上的监督：同一随机种子重放合规前缀，在指定系统轮注入一类幻觉指令，再用FLOW KL与FLOW SCORE按展开方式比较对话。

工作流与四类幻觉

• 抽象：作者把意图逻辑写成W=(S,A,δ,O)：S是会话状态，A是智能体动作，δ由当前状态和用户输入给出下一状态，O是目标。作者称多数系统并不显式写出这四项，该式不假定具体实现。合规对话D+的各轮按W产生。
• WIC：用另一个工作流W′替换W，O仍保留。作者用来建模任务消歧失败和提示注入。
• SSPC：保留O与(S, A)，用损坏的δ′替换δ。主文举例为重复、跳过、颠倒顺序；附录B共五种策略。
• GR与CSC：GR保留W，把O换成性质不同的O′。CSC保留O，再加上会间歇压过O的辅助目标Oc。变体列表在附录B。WIC从同领域另一任务抽替代流程（附录E）。

数据构造

• STAR：24个任务、12个领域。作者称它同时给出每任务工作流，以及当初交给人类系统角色和用户角色的指令。新对话全部重生成，原始对话不进入基准。
• 合规对话：SDIALOG跑两个智能体，都是本地Gemma4-31B。系统侧拿到人类系统角色的指令并被要求跟随工作流；用户侧拿到对应用户指令，主文要求自然交互、不要一开始交出全部细节。解码为温度1.3、top-p 0.95、top-k 64（附录E）。长度预算等于该任务STAR人类对话的最大长度，到点后催结束，再5轮硬截断。保留能放下四个分叉点的2,134条。
• 分叉：系统轮数为T时，tk = 1 + round((k−1)·T/4)，k为1到4。同一随机种子重放，使tk之前仍在原工作流下生成；生成tk之前，把幻觉指令作为系统消息写入系统智能体上下文，写明类型和抽到的变体。附录F给出完整提示词。从tk起按该指令继续。更早分叉共享更短前缀。固定种子仍可能有轻微改写。
• 规模：每条合规对话16个分叉（4类×4位置），共36,278条。30名标注者按附录N核验构造。

三项任务

• Task 1：两个对话集合的距离。每类幻觉、每个任务按分叉位置得到四个集合，参考集是该任务的D+。期望距离随k递减。指标是Kendall's τ，对24个任务平均。作者也把它当作数据集健全性检查。
• Task 2：两条对话的距离。每条D+与其四个分叉构成4项排序。τ对全部合规对话平均。
• Task 3：找出首次脱轨的系统轮；合规则判为没有。流式设定逐轮到达，只能看合规参考对话，没有工作流，作者称最现实也最难。非流式看完整对话，无参考也无工作流。非流式加真实工作流时，作者称实践中通常没有，只作参照。
• 输入：只有原始转写，无标注，也不能访问生成模型。作者称测的是文本里的流程偏离，不测某个模型有多容易偏离。

指标与检测器

• 集合距离：FBD把轮次对嵌入拟合成高斯再算Fréchet距离；PRD在相对密度阈值上取precision与recall调和平均的最大值。FLOW KL用Dialog2Flow把D+话语聚成节点并统计转移，把每条对话打成转移概率的几何平均，再比较两集合似然的核密度。
• 对话距离：Mean-turn与Full-dialog是嵌入余弦距离。FLOW DTW用动态时间规整对齐轮次嵌入。FLOW SCORE在轮级做最大匹配，距离为1减F_flow=2PR/(P+R)。作者称所用句编码器对每轮独立编码，因此这一实现不显式利用轮次顺序。
• 流式检测：节点序列上的N-gram。正文主结果用D2F、N=6。不可能转移（IT）与惊讶度尖峰（SS）的阈值，分别取合规对话上最小转移概率的第5百分位、最大惊讶度增量的第95百分位。可选的节点置信度把转移概率乘上对比式softmax。
• 非流式：Gemma4-31B、Qwen3.6-35B、GPT-OSS-20B零样本指出首次偏离的系统轮，或判定没有偏离。附录H给出两种提示词。Score对两侧MAE合意度各赋0.35、两侧coverage各赋0.15，取加权几何平均。

实验设置

• 生成与检测模型：系统与用户智能体均为本地Gemma4-31B（附录E：温度1.3，top-p 0.95，top-k 64）。Task 3零样本检测器为Gemma4-31B、Qwen3.6-35B、GPT-OSS-20B；其中Gemma4-31B与生成器同名。
• 数据：DIALFORK，来自STAR的24个任务、12个领域。合规对话2,134条，分叉34,144条，四类各8,536条，合计36,278条；约750K轮、10.4M词（Table 5、§4.2）。分叉对话平均21.18轮，合规对话15.52轮（Figure 4a）。
• Task 1–2：指标为Kendall's τ。Task 1对照为FBD、PRD、轮数差、词数差、Random；附录J的分析单位是任务×幻觉类型，共96个。Task 2编码器为SBERT、LaBSE、BGE-M3、Qwen3-Embedding、EmbeddingGemma、DSE、D2F；对照为Mean、Full、FLOW DTW及长度差、Shared prefix、Random。Table 7的配对单位为8,536。
• Task 3：流式主结果为D2F上N=6的IT与SS，可加节点置信度。非流式为零样本，附录H给提示词。指标为幻觉MAE、幻觉覆盖、合规MAE、合规覆盖和Score。平凡基线恒预测第一轮、最后一轮或随机轮。Table 4未另写每格样本量。
• 标签：Task 1–2的顺序来自分叉构造，没有单独的LLM裁判。人工核验为30名标注者、5个任务、428段对话、526次判断；先盲评，再看到注入说明（§4、附录N）。
• 检验：Task 1用Fisher合并的置换检验，方法间用配对Wilcoxon；Task 2用单侧配对Wilcoxon并做Holm校正（附录J、Table 7）。

主结果

下表是Task 2的平均Kendall's τ，据Table 3的Avg列。D2F即Dialog2Flow。

表格较宽，可左右滑动

Encoder	Mean	Full	FLOW DTW	FLOW SCORE
LaBSE	0.759	0.675	0.742	0.840
Qwen3-Embedding	0.648	0.519	0.721	0.812
SBERT	0.728	0.623	0.739	0.843
BGE-M3	0.748	0.712	0.727	0.845
D2F	0.762	0.747	0.742	0.834
DSE	0.741	0.704	0.737	0.833
EmbeddingGemma	0.740	0.675	0.721	0.835

• 作者报告FLOW SCORE在七个encoder上都高于同表其他方法，且相对每一其他方法的提升均统计显著（单侧Wilcoxon，Holm校正，p<0.001，Table 7）。
• 作者称Full把整段对话压成一个向量后更难排出分叉顺序，因为分叉与源对话共享内容；该差距在Qwen3-Embedding上最大，在为对话流训练的D2F上最小。Table 3中FLOW SCORE的CSC列为0.642–0.700，低于同表的WIC与GR列。
• 轮数差平均τ为0.126，接近随机。Shared prefix利用构造本身，平均τ为0.682；FLOW SCORE在每个encoder上仍超过它（p<0.001），且看不到这个线索。作者称重放前缀可能有轻微改写，所以Shared prefix不是完美oracle。

集合级排序（Task 1）

• 测了什么：四个分叉位置集合到该任务合规集的距离排序，24个任务×4类。期望更早的分叉距离更大。
• 结果：FBD、PRD、FLOW KL的平均τ为0.913、0.878、0.882（Table 2）。FLOW KL在SSPC上为0.903，高于FBD的0.792和PRD的0.764；FBD在WIC、GR、CSC上分别为0.972、0.986、0.903。轮数差平均τ为−0.087，词数差为0.201。附录J：三者精确恢复四元排序的比例为77.1%、68.8%、67.7%，随机为4.2%。
• 作者的解读：作者称三项距离指标都以高一致性恢复预期顺序（平均τ≥0.88），长度对照不能；并把它当作健全性检查，即分叉在指定位置偏离，而不只是变长。三者差异未达其检验的显著水平（p≥0.43）。作者认为显式转移图比隐式嵌入分布更能捕捉针对步骤顺序的SSPC。附录J中轮数差的Fisher p=0.995，词数差的p=0.048。

脱轨轮定位（Task 3）

• 测了什么：预测首次幻觉的系统轮。流式主表是D2F、N=6（Table 4）。非流式三个LLM分无工作流和有真实工作流两档。
• 结果：流式IT+NC的平均MAE为4.61，幻觉覆盖93.82%，合规覆盖5.58%，Score 71.07。无工作流时Gemma4-31B与Qwen3.6-35B的平均MAE均为3.02，幻觉覆盖分别为73.65%和83.52%，Score为82.82和78.90；GPT-OSS-20B的MAE为3.50，覆盖72.37%，Score 78.05。有工作流时平均MAE为Gemma4-31B 1.09、GPT-OSS-20B 1.78、Qwen3.6-35B 1.90；合规覆盖升至30.65%、82.80%、55.39%，Score为85.28、67.82、77.90。Table 4中各方法的CSC MAE都高于该行其余三类。第一轮基线Score为0.00，末轮基线幻觉MAE为15.39。
• 作者的解读：作者称给工作流后定位更准（MAE 1.09–1.90），但合规对话误报增多，Gemma4-31B为30.65%，最高到82.80%。这些增益需要完整对话，理想情况下还要工作流和第二个LLM。流式检测器不需要工作流，并在偏离发生时报警；作者称这是实时护栏的一个起点。

人工核验

• 测了什么：30名标注者判断五个任务（weather、plane_book、bank_fraud_report、hotel_book、party_plan）的428段对话，共526次判断。步骤1在看到任何构造信息前，用0–100滑条评助手是否按步骤走。
• 结果：对破坏工作流的WIC、SSPC、GR，Figure 3a的盲评均值为k=1的14、k=2的19、k=3的41、k=4的58，合规对话为94；四条分叉的τb为0.64。注入指令在91%的分叉上被确认，合规对话上的箔指令为8%。起始轮与tk相差不超过一轮的占77%，恰好在tk的占67%。分叉前的轮次在95%的情况下被判为遵循工作流。附录N：CSC的盲评只从k=1的59到k=4的70；含CSC时，标注者内τb为0.41。前缀题原始一致率0.87、AC1=0.85；起始轮α=0.84；滑条α=0.66。
• 作者的解读：作者称该研究确认了基准所依赖的四类标签：分叉顺序、幻觉类型、分叉轮和前缀合规。附录N写明，在问“是否按步骤走”时，CSC的偏离程度随k变化不大。

其他消融与分析

• 附录I：Score权重从0.40/0.10到均匀0.25，各体制内最优方法不变。
• 正文：N为2、3、10时与N=6结果相近；未给出这三档的MAE或Score。
• Table 9：BGE-M3的IT+NC幻觉MAE为4.01、Score为68.06；DSE的IT+NC MAE为6.22、Score为66.98。NC提高了D2F、LaBSE、Qwen3-Embedding、SBERT、DSE上两种检测器的Score（14对中的10对），但降低了BGE-M3与EmbeddingGemma的Score。
• Table 3：多个encoder上FLOW DTW的平均τ低于Mean，如LaBSE为0.742对0.759。
• 附录J：FLOW KL相对FBD的平均Δτ为−0.031，95% CI为[−0.080, 0.017]，Holm校正后p=0.43。
• 附录N：箔指令在分叉对话上的确认率为45%；96%的标注起始轮在tk或之后。

作者指出的局限与后续方向

• 语料来源：经验结果绑在STAR的任务与领域分布上。扩展到其他语料，包括非英语对话或STAR以外的流程与领域，作者留给后续工作和生成管线的使用者（Limitations, Single source corpus）。
• 单类型注入：每条分叉只在一个点注入一种幻觉。作者写明真实失败可以是复合或级联的，检测器没有在这种组合条件下评测，四类分类法可能需要扩展（Limitations, Single-type hallucinations）。
• 模拟对话：合规与分叉对话都由Gemma4-31B的角色扮演生成。作者写明语言和会话行为的分布可能不同于真实用户与已部署智能体；在DIALFORK上有效的方法在自然对话上可能不同，反过来也一样。人工研究覆盖五个任务（Limitations, Simulated rather than observed dialogues）。
• 基线范围：所报方法是初始基线。流式检测器是预训练编码器之外不再做神经训练的N-gram；非流式是三个开源模型的零样本，没有微调、少样本或思维链。作者认为三个任务上都很可能做出更强的检测器，并希望使用者去探索（Limitations, Baseline scope）。
• 内部信号：依赖生成器逐轮似然或置信度的检测器被排除。作者写明这类信号会把结果绑到一个模型，而且其他系统或人类产生的对话没有这些信号（Limitations, Baseline scope）。

实验覆盖范围

• 评测集是DIALFORK：STAR的24个任务、12个领域，2,134条合规对话和34,144条分叉，四类各8,536条（Table 5、§4）。
• 对话由Gemma4-31B生成。Task 2比较LaBSE、Qwen3-Embedding、SBERT、BGE-M3、D2F、DSE、EmbeddingGemma七个编码器（Table 3、附录K）。
• Task 3非流式为零样本Gemma4-31B、Qwen3.6-35B、GPT-OSS-20B；流式主表是D2F上的6-gram，Table 9给出其余编码器（§6.3）。
• 人工核验为weather、plane_book、bank_fraud_report、hotel_book、party_plan五个任务，30名标注者，428段对话、526次判断（§4、附录N）。
• 论文写明，依赖生成器内部信号的检测器不适用于只看文本的设定（Limitations）。Table 4未写明MAE与coverage对应的对话条数。

DIALFORK把“对话有没有走规定流程”从事实幻觉里拆出来，做成可在原文上打分的基准。

• 问题：智能体可以句句像真的，却跳步、换目标、重复已做步骤或塞进冲突目标。作者认为现有事实幻觉基准评的是内容真假，评不到过程对错。
• 做法：在STAR的24个任务上，用Gemma4-31B按工作流生成2,134条合规对话，再在四个等距系统轮注入WIC、SSPC、GR或CSC之一并重放前缀，得到36,278条对话。集合级FLOW KL比较流程似然分布，对话级FLOW SCORE做轮级匹配。评测输入只有转写。
• 集合与对话距离：Task 1上FBD、PRD、FLOW KL的平均Kendall τ为0.913、0.878、0.882（Table 2），三者差异未达作者所做检验的显著水平（p≥0.43）；轮数差平均τ为−0.087。Task 2上BGE-M3的FLOW SCORE平均τ为0.845，七个encoder上该法都高于同表其他方法（Table 3，p<0.001）。
• 脱轨轮：流式IT+NC的Score为71.07、平均MAE为4.61。有工作流时，与生成器不同名的Qwen3.6-35B平均MAE为1.90；与生成器同名的Gemma4-31B为1.09、Score为85.28，合规误报覆盖为30.65%（Table 4）。
• 人工：在WIC、SSPC、GR上，盲评符合度从k=1的14升到k=4的58，合规对话为94；注入行为确认率91%，起始轮误差在一轮以内占77%（§4，Figure 3）。附录N中CSC随k的变化较小。
• 作者结论：流程相似与语义相似是不同的轴。作者希望流程保真成为可在部署中监控、可在日志中检索、并最终可在训练中优化的属性。作者同时写明，结果绑在STAR和Gemma4-31B上，只评了单类型注入，所报方法只是初始基线。