论文提出 Intent-Eval 基准，揭示多轮对话中模型混淆已否决意图

多轮任务里，用户提到变更后又拒绝，模型仍常按被提到的内容执行，而不是按仍生效的要求执行。

• 场景：用户在多轮中澄清或改口，上下文会留下不应影响答案的内容。作者认为，即便信息已齐，拆成多轮也会比单条消息更难（Laban et al., 2026）。
• 现有不足：需求变更基准（Tack et al., 2026; Wu et al., 2026）未在同一任务上比较澄清、接受与拒绝，也未看影响是否随对话加深或持续。
• 核心观察：作者称模型把提到的内容当成仍生效要求。Figure 1 中 Retained 拒绝提议，Revised 接受同一提议，只有后者改目标。
• 本文提出：Intent-Eval 含 414 个源任务、四领域和四种多轮条件，并配单轮对照。Intent-OPSD 用与决策匹配的完整单轮任务监督学生，学生只看完整对话。
• 作者给出的降幅：八模型均值：多轮Original比单轮低36.30个百分点，Neutral再低4.43；Retained与Revised比Original低8.06与5.55。

作者把相关工作分成多轮对话能力、演化中的用户意图，以及 on-policy 蒸馏。

多轮对话能力

• 早期多轮基准：MT-Bench-101、MT-Eval、MultiChallenge（Bai et al., 2024; Kwan et al., 2024; Deshpande et al., 2025）评测指令保持、上下文推理与回复精炼。
• LiC：Laban et al. (2026) 报告任务跨多轮展开时表现下降。本文 414 个源任务改编自 LiC。

演化中的用户意图

• Intent Mismatch：Liu et al. (2026) 从对话上下文重建指令，研究意图对齐。论文称这是更难、更根本的问题。
• 需求变更：SEQUOR（Canaverde et al., 2026）与 Evolving User Intent（Tack et al., 2026）研究需求变更。引言称 Tack et al. (2026) 与 Wu et al. (2026) 未在同一任务上比较澄清、接受和拒绝。
• 规格与承诺：SpecPath（Wu et al., 2026）比较交互历史和可能去掉已取消需求的最终规格。Trip+（Chen et al., 2026a）评测旅行需求变化下是否保住有效承诺。

On-policy 蒸馏

• 教师分布：Agarwal et al. (2024) 用教师分布监督学生自己生成的前缀。
• 同模型教师：Self-Distilled Reasoner（Zhao et al., 2026）让同模型教师看到参考解。Ye et al. (2026) 让教师看到学生没有的信息。
• 迁到多轮：Found in Conversation（Chen et al., 2026b）把单轮能力迁到对话。MAIGO（Zheng et al., 2026）用清洗后的历史做自蒸馏。论文称 Intent-OPSD 改为按用户决策构造仍生效的单轮任务。

基线与数据

• 对照：RQ4 的基线是同一基座的 Base 与 matched SFT，评测环境是 Intent-Eval。领域源为 BFCL、HumanEval、LiveCodeBench、Spider、GSM8K；训练还用到 MBPP。

作者称先前工作聚焦特定形式或领域的演化意图，Intent-Eval 则联合考察澄清、拒绝与修订，并配匹配的单轮对照和加长对话。

作者用 Intent-Eval 把「仍生效的要求」固定下来，再用 Intent-OPSD 让学生在完整对话上对齐这份要求。教师与学生从同一模型初始化，推理时不再用教师。

四种多轮条件

• 主动意图：作者把仍生效的要求称为 active intent。每个源任务只改一条要求，原任务与修订任务的参考答案记为 y(0)、y(1)。
• 四种条件：Original 不插入事件；Neutral 插入两条澄清；Retained 提出变更后拒绝；Revised 接受同一提议。事件是两条用户消息，插在该要求出现之后。
• 计分：只评最终回复。前三种条件对 y(0)，Revised 对 y(1)。助手回复依赖到当前用户消息为止的历史 Hk。

构建、单轮对照与加长对话

• 四步构建：按领域改工具参数、入口名、查询条件或输出字段、数值前提；再要求无歧义、只动一条要求、且可验证。选出一条修订、构造 y(1)，人工审阅后渲染。414 条都通过自动检查。附录 A 有细节和完整例子。
• 单轮对照：SOrig 直接陈述原任务，SDir 直接陈述修订任务。SRet、SRev 在同一条用户消息里于原任务后接上同一提议，再拒绝或接受。前三种多轮条件匹配 SOrig，Revised 匹配 SDir。
• 加长对话：附加块数 k 从 0 到 4，每块两条用户消息。累积协议在 Original 上加 k 个澄清块，或 k 个提议各不相同的拒绝块，原任务保持有效。持续协议在决策后再加 k 个 Neutral 块，生效任务不变。附录 C 给出构造。

决策条件的自蒸馏

• 谁看什么：学生看多轮历史 Hv，冻结教师看与决策匹配的完整单轮任务。选择为 c_v=S_Dir（条件为 Revised，否则为 SOrig）。拒绝则教师留在原任务，接受则切到修订任务。
• 源筛选：教师对 SOrig 和 SDir 都要正常结束并通过各自验证器，该源才进入训练。参考答案和验证结果只用于筛选，不提供给两个模型。
• 损失：学生 on-policy 采样最终答案。在同一学生生成前缀上，对全词表计算学生与冻结教师下一 token 分布的 Jensen–Shannon 散度，再对答案 token 取平均。中间回复留在历史中，不计损失。错答案也计入损失。
• 等权更新：四种条件等权，即 L=1/4(L_Orig+L_Neu+L_Ret+L_Rev)。只更新学生；更新后的学生继续采样。推理时学生只看对话，不需要教师或单轮提示。

训练实现与判定

• 共享超参：Intent-OPSD 与 matched SFT 都用 LoRA（秩 16、alpha 32、dropout 0）、AdamW、学习率 1×10−5、1 个 epoch、种子 42（Table 7）。
• SFT：复用同一批源和对话历史，目标是录取时验证过的教师答案，按四种条件等权做硬目标学习。
• 预算：Code、Database、Math 的训练序列最长 32768，中间回复与最终答案各至 4096。Actions 为 8192、128 与 512。每次更新 4 个源（Actions、Database）或 8 个源（Code、Math）。
• 验证器：Actions 比对调用结构与参数；Code 检查入口名并跑测试，两个名字都定义不算通过；Database 比较执行结果；Math 抽取并规范化最终数字。附录 B.2 给出用户模拟器的完整提示词：它按轮重述信息碎片，输入是已有对话和碎片列表，输出下一条用户消息。

实验设置

• 模型：十个，分别为 Qwen3.6-27B、Qwen3-8B、Qwen3-4B-Instruct-2507、Qwen2.5-7B-Instruct、Llama-3.1-8B、GPT-5.6-Luna、DeepSeek-V4-Flash-0731、Claude-Sonnet-5、Gemini-3.7-Flash、Gemma-4-26B-A4B。附录 B.1 写明 Llama-3.1-8B 用 Unsloth 的 Meta-Llama-3.1-8B-Instruct，Gemma 为 Gemma-4-26B-A4B-it。Table 1 报八个模型，Table 8 补两个较早的 Qwen。
• 数据：414 个源任务，Actions 104、Code 100、Database 107、Math 103。每源 4 个多轮条件加 4 个单轮对照，每模型 3312 条（Figure 2：832、800、856、824）。多轮平均 7.14 轮，范围 3–14。
• 生成：本地模型温度 0、top-p 为 1、种子 0；单轮输出上限 1000，多轮 4096。API 用默认采样，上限相同且含推理 token。多轮用户模拟器固定为 Qwen3.6-27B，温度 0.3，输出上限 192。
• 指标：领域验证器的准确率，只评最终回复。论文未使用 LLM 评审。RQ2 另报新错误中含失效内容的比例。
• RQ4：学生为 Qwen3-8B、Gemma-4-26B-A4B、Qwen2.5-7B-Instruct、Llama-3.1-8B。对照是 Base 与 matched SFT。每领域 500 个训练候选、50 个验证源，与评测源不重叠。
• 深度与诊断：累积协议用 372 个有四条不同提议的源；持续协议用 414 源；k 从 0 到 4。RQ2 在十个模型上配对 Original 做对、另两条件做错的输出。

主结果

论文未给出各模型的跨领域均值，下表只转载 Table 1 的八模型等权汇总，不含 Table 8。Single 第二列是 Direct Rev.，Multi 第二列是 Neutral，二者不是同一条件。

表格较宽，可左右滑动

设置	Original	第二列	Revised	Retained
Single	91.73	90.85	85.11	84.21
Multi	55.43	51.00	49.88	47.37

• 三类降幅：作者把多轮差距拆成披露、对话开销和决策混淆，并给出 36.30、4.43、5.55 与 8.06 个百分点。作者称直接陈述时两版任务接近，所以修订任务更难解释不了决策后的下降；单轮里相对直接陈述，Revised、Retained 还降 5.74 与 7.52 个百分点。
• Code：作者称 GPT-5.6 与 DeepSeek-V4 在全部多轮 Code 条件上至少为 85%，并认为这可能与对话式编程进展有关，且其他结构化任务没有同样的表现。Table 1 中 Claude-Sonnet-5 的 Code Neutral 为 58.00%。
• 并非每格同向：作者称 Neutral 的额外下降出现在全部八个模型上。Table 1 的领域格子并不都同向，例如 Qwen3.6-27B 的 Database 上 Multi Neutral 为 43.93%，Multi Original 为 42.99%。该表多轮最低格是 Llama-3.1-8B 的 Code Retained，10.00%。

失效内容（RQ2）

• 测了什么：Original 正确、但 Retained 或 Revised 错误的最终回复。失效内容在 Retained 是被拒提议，在 Revised 是被替换的原要求。检查规则见附录 E.2。
• 结果：十模型合计，新 Retained 错误 446/748 含失效内容（59.63%），新 Revised 错误 201/649（30.97%）。Figure 4 分领域：Math 为 67.70% 与 47.94%，Code 为 69.60% 与 10.08%，Database 为 56.67% 与 23.24%，Actions 为 42.31% 与 36.88%。
• 作者解读：作者称这与 mentioned-as-in-effect confusion 一致，拒绝后更常见。作者认为 Math 两侧都高，可能与逐步计算、未更新中间结果有关。附录 E.2 给出用被拒或被替换数值得到错误答案的例子。

对话深度（RQ3）

• 累积：Figure 5 的四个模型上，作者称第一块的平均单步下降最大，其后准确率大体继续下降。最终深度相对 Original，Neutral 降 8.13 个百分点，Retained 降 20.77 个百分点。
• 持续：决策后再加四个 Neutral 块，相对各自 k=0，Retained 降 2.72 个百分点，Revised 降 3.50 个百分点。作者称决策已经明确后，继续澄清仍可能降低准确率。
• 另外六模型：附录 E.3 与 Figure 7。作者称六模型、四条路径平均后，第一块降幅最大；重复 Retained 的平均损失大于 Neutral。最终深度上，决策后的澄清仍使均值低于对应基线，模型与领域之间有差别。图中曲线端点数值正文未逐条列出。

决策条件蒸馏（RQ4）

Table 2 的 Mean 与 Overall Avg. 对四模型、四条件等权。单位为 %。

表格较宽，可左右滑动

方法	Original	Neutral	Revised	Retained	Overall
Base	46.10	42.71	40.96	31.46	40.31
SFT	55.57	51.83	43.03	39.13	47.39
Intent-OPSD	59.42	55.55	50.93	38.57	51.12

• 作者解读：作者称相对 Base、SFT 的平均增益为 10.81 与 3.73 个百分点；16 个模型–领域对全部高于 Base，13 个高于 SFT。相对 SFT，Revised 增益更明显，Retained 均值接近。作者认为意图跟踪是瓶颈时该方法可能有用，并称 Actions 相对 Base 高 21.46 个百分点，Code 增益较小。
• 格子级例外：并非每格都高于 Base。Qwen3-8B 的 Math Retained：Intent-OPSD 23.30%，Base 37.86%，SFT 28.16%（Table 2）。
• 深度：k=1 到 4，四路径汇总相对 Base 的增益为 +9.61、+11.74、+11.67、+10.64 个百分点，相对 SFT 为 +2.91、+3.86、+2.49、+2.16（Table 2）。作者称各测试深度上相对两个基线的汇总增益仍为正。

其他消融与分析

• Table 8 的 Qwen3-4B-Instruct-2507 与 Qwen2.5-7B-Instruct 在每个领域上都是 Multi Original 低于 Single Original，Multi Retained 再更低；二者不计入 Table 1 的八模型汇总。
• 用户模拟器人工检查：500 段对话（每领域 125 段）、2345 个用户轮；带碎片消息 2284/2317（98.6%）被判传达了任务相关信息，语境得体 2345/2345（100%）（附录 B.3）。
• Table 6：教师两版单轮都做对才收录。Qwen3-8B 为 Actions 435、Code 316、Database 201、Math 451。Database 候选经检查后剩 381，再做录取。
• Table 9 的 Accumulation: Retained 路径上，k=1 时 Intent-OPSD 为 38.84%，SFT 为 40.32%，Base 为 32.19%；该路径 k=1–4 上 Intent-OPSD 低于 SFT。
• 训练对话按 LiC 的分片方式在线生成，学生更新后历史随之变化（附录 D.1）。论文未报告评测的多次重复。

作者指出的局限与后续方向

• 单条要求：附录 F 写明，当前基准聚焦对一条选定要求的决策；扩展到多个相互作用的要求，以及更多样的用户行为，仍是未来工作。
• 被拒变更：附录 F 称平均 Retained 准确率与 SFT 相近，处理被拒变更仍然困难，是后续方法方向。
• 自然对话：附录 F 称训练用的是基准给出的完整生效任务规格；用到自然对话需要从消息和决策重建生效要求，并做一致性检查与人工审阅。
• 更长更开放：第 6 节把更长、更开放的交互，以及更丰富的意图演化形式，列为后续方向。

实验覆盖范围

• 模型与规模：评测模型为实验设置中的十个；Table 1 的八模型汇总不含 Table 8 的两个 Qwen。每模型 3312 条，源任务 414，领域为 Actions、Code、Database、Math。
• 条件：四种多轮条件加四种单轮对照。累积协议 372 源，持续协议 414 源，k 为 0 到 4。Figure 5 报四个模型，Figure 7 另报六个。
• 判定：最终回复由领域验证器计分。论文未报告 LLM 评审、统计显著性检验或多次重复；本地生成种子为 0。
• 训练比较：RQ4 在四个模型上比较 Base、matched SFT 与 Intent-OPSD。教师是同一基座的冻结副本，推理时不使用。
• 用户侧：多轮用户消息由固定的 Qwen3.6-27B 模拟器生成。附录 B.3 报告 500 段对话、2345 个用户轮的人工检查。

Intent-Eval 测的是多轮对话里，模型会不会只执行仍生效的要求。用户可以澄清、拒绝或接受变更；被提到后又失效的内容不该进入答案。

• 做法：414 个源任务做成 Original、Neutral、Retained、Revised，并配单轮对照，用来分开任务难度和多轮干扰。Intent-OPSD 让冻结教师看与决策匹配的完整单轮任务，学生在完整对话上用 token 级 JS 散度对齐，推理时去掉教师。
• 条件差距：八模型均值下，多轮 Original 比单轮低 36.30 个百分点，Neutral 再低 4.43；Retained、Revised 比多轮 Original 低 8.06 与 5.55。Table 1 的领域格子并不都同向。
• 错误与深度：十模型的新错误里，Retained 有 59.63%（446/748）含失效内容，Revised 有 30.97%（201/649）。Figure 5 的四模型在最终深度上，Neutral 与 Retained 相对 Original 降 8.13 与 20.77 个百分点。
• 蒸馏：四模型上 Intent-OPSD 总体准确率 51.12%，比 Base、SFT 高 10.81 与 3.73 个百分点。作者称 16 组都高于 Base、13 组高于 SFT，但 Retained 均值仍与 SFT 接近；Table 2 也有低于 Base 的格子。
• 作者结论：作者认为要区分说过什么与什么仍生效。作者称该方法在推理不依赖教师时缓解了这一问题，并把更长、更开放的意图演化列为后续方向。