Drift-Bench++：在沟通失误与意图漂移下评测交互式意图对齐

现有基准默认用户始终准确传达固定意图，无法评测智能体能否在错位与漂移中持续对齐。

• 场景：作者称现代 LLM 智能体通过长程交互完成复杂任务，但多数基准采用 Oracle Communication Assumption：用户消息始终准确、充分地传达底层意图。实际用户会省略细节、依赖错误前提或表达含糊，意图也可能在未充分说明时变化，基准成功因此掩盖检测错位、澄清和保持同步的能力。
• 现有不足：作者指出三处空缺。（1）意图错位与意图漂移多被分开研究，而部分传达的漂移会立刻重新制造错位。（2）真实用户耐心有限，澄清却很少受有限交互预算约束。（3）意图可在对话中演化，包括被智能体的问题触发；现有漂移多由日程或任务结果预定并显式宣布，变化后又回到 oracle 沟通。
• 任务定义：作者将 Interactive Intent Alignment 定义为：给定可能被错误传达、且可能在未充分传达时演化的潜在意图，智能体须在有限耐心下，与沟通和决策行为多样的用户交互，使动作与用户当前意图保持对齐。
• 本文提出：作者提出 Drift-Bench++ 构造管线（可执行意图图、经验证的错位请求、有限耐心、静默且由交互触发的漂移、基于 GDMS 的人格用户），以及 GRIP 评测协议，覆盖任务落地、用户真实感、询问效果和对演化意图的适应。作者并在部署的 ProdAgent 会话上检验这些抽象是否常见且有后果。

意图错位

• 早期澄清与智能体扩展：Gan 等、Li 等（MediQ）、Qian 等让 LLM 向模拟用户提问；ChatShop、UserBench、UserVille 把该范式延伸到工具使用，误解会直接影响后续动作。作者称这些工作把交互当作解决错位的机制，但错位形式较窄，如缺失信息或笼统含糊，未区分失败模式。
• 结构化扰动：Drift-Bench 用 intention、premise、parameter、expression 四类故障和人格条件模拟，提供可复用的错位任务合成管线。作者称其为受控意图扰动的结构化做法。LHAW 用行为效应验证欠指定变体；UnderSpecBench 与 AppWorld-UL 给出更明确的构造与验证。作者称耐心约束和意图在交互中演化仍未被充分研究。
• Table 1 中的错位基准：ChatShop、UserBench、UserVille、LHAW、UnderSpecBench、AppWorld-UL、RegretBench、Drift-Bench 均标为 No Oracle Communication，且均无 Intent Shifting、无 patience-bounded。Persona-guided 仅 UserVille、RegretBench、Drift-Bench 为 ✓。Beyond Success 仅 RegretBench（I.R.）和 Drift-Bench（I.R., U.R.）。

意图漂移

• 日程触发：Trajectory2Task、InterruptBench、Trip+、HAS-Bench、Evolving Intent、IACM-RL 在预定阶段引入预先定义的目标变化。
• 结果触发：AgentChangeBench 在当前目标完成后进入下一目标；EHR-ChatQA 在任务失败后修订目标。作者称两类机制仍规定变化何时、如何发生，且都把漂移显式告诉智能体，变化后相当于恢复 oracle 沟通。
• Table 1 中的漂移基准：上述八个基准 Intent Shifting 均为 ✓，No Oracle Communication 均为 ✗，Patience-bounded 均为 ✗。Persona-guided 仅 AgentChangeBench 与 HAS-Bench 为 ✓。S.T. 出现在 AgentChangeBench、InterruptBench、HAS-Bench、IACM-RL；HAS-Bench 另有 U.R.。

基线方法与基准

• 基线：No Ask，以及 Just Ask、AT-CoT、Belief Graph、ProductAgent、SAGE、BED-LLM、CTA；另有三个诊断参考智能体 Memory Ledger、Memory+Verification、Self-Evolving Playbook。
• 实例化环境：WebShop，以及 τ2 的 Retail 与 Airline。真实交互验证使用 ProdAgent 的 16,596 条多轮会话。

作者把 Drift-Bench++ 定位为同时具备 No Oracle Communication、Interaction 触发的漂移、patience-bounded、persona-guided，以及 I.R.、U.R.、S.T. 的基准；并称先前工作未把错位与漂移作为耦合问题，也未让漂移在交互中静默出现。

Drift-Bench++ 把宿主任务做成带验证错位和可执行替代意图的实例，交互协议用耐心预算和静默漂移约束对齐过程，GRIP 把结果拆成四个维度分别报告。

意图图与错位验证

• 意图图：轻量适配器把原任务 x 映成 Ix = A(x) = (f, C)，f 是任务框架，C 是条件集合。条件来自宿主任务字段，如 WebShop 的商品属性与价格，或 τ2 中可执行写动作的参数。再检索同环境中满足 Refine、Relax、Subs.、Pivot 四种关系之一的已验证任务，先成关系树，再重分类并加跨边，得到意图图。只保留通过宿主合法性与执行检查的候选。Figure 2 标注 2543 个样本、395 个意图图、11 类故障、5 种人格。
• 故障分类：沿用 Drift-Bench 的沟通故障分类，分 intention、premise、parameter、expression 四类，共 11 种具体故障。LLM 按故障指令生成查询。附录 B.3 给出分类与故障定义。
• 三步验证：两名独立 LLM judge 从查询 u 和根意图 I0 恢复结构化编辑 δ，仅当 δ = E1(u, I0) = E2(u, I0) 时保留。再做表面保真检查：应保留或替换的值必须出现在文本中，应隐瞒或未绑定的值不得出现。最后用宿主 oracle 执行真意图 I0 与查询表达意图 IQ，要求 Y0 与 YQ 的关系符合故障类型 k 的预期效果，例如隐瞒要求应扩大解集或改变结果，事实替换应改变结果，噪声或迂回说法应不改变结果。

交互协议

• 有限耐心：bt+1 = bt − c(at)。澄清消耗耐心，被拒绝的方案代价更大。付不起的面向用户动作变为不可用，迫使智能体以当前知识提交。人格把初始预算缩放为 b0 = B mρ。附录 B.4 给出具体规则。
• 静默漂移：耐心跨过预设阈值时可触发；智能体的问题触及意图图中可行变化的话题时也可触发，具体属性从合法替代中选取。转移写为 It+1 ∼ P(· | It, bt, qt)。转移是概率性的。两条通道共享有限的漂移机会池，由提问触发的漂移消耗已有机会。用户不完整宣布新意图。附录 B.5 给出调度与转移规则。
• 人格：GDMS 的 Rational、Intuitive、Dependent、Avoidant、Spontaneous 调节披露、反馈、初始耐心、漂移时机和对智能体引发再考虑的敏感度。这些行为由用户状态机执行；LLM 只识别问题涉及哪一项已授权要求，并转述状态机选出的信息。附录 B.6 给出配置。

GRIP

• 四个维度分开报告，不合成单一分数。Grounding：Success 是可执行验证器下的完成；Earned 与 Inferred 区分是否完整引出隐藏意图后才成功。Role-realism：Identification 看评审能否认出指定人格，Consistency 看同一人格跨任务是否行为连贯。Inquiry：Aim 看问题是否对准未解决的隐藏要求，Recovery 看引出多少隐藏意图，Patience 看剩余交互预算。Persistence：Staleness 捕捉仍对齐已被取代意图的失败，Reaction 在成功回合中衡量漂移后的适应速度，Post-shift Success 是意图变化后无条件成功概率。精确定义在附录 B.7。

默认评测条件

• 默认条件为 DeepSeek-V4-Pro、Rational 人格、单故障请求、开启意图漂移。主结果为三次带种子运行的 mean±sd。No Ask 不提问；七个澄清方法为已发表基线；三个参考智能体分别加入意图跟踪、验证和跨任务适应。实现细节在附录 C.1。

实验设置

• 环境：WebShop，以及 τ2-Retail、τ2-Airline。Figure 2 给出构造规模 2543 个样本、395 个意图图；各环境测试子集的条数论文在正文未单列。
• 方法：No Ask；Just Ask、AT-CoT、Belief Graph、ProductAgent、SAGE、BED-LLM、CTA；参考智能体 Memory Ledger、Memory+Verification、Self-Evolving Playbook。
• 默认条件：DeepSeek-V4-Pro、Rational、单故障、开启漂移。三次带种子运行，报告 mean±sd。
• 指标：Table 2a 报告 G/I/P 的 Success、Earned、Inferred、Aim、Recovery、Patience、Staleness、Reaction、PostShift。Table 2b 只报告 Success、Earned、Aim、Recovery、PostShift。No Ask 的 Earned、Inferred、Aim、Recovery 在 WebShop 为 n/a。
• 其余设置：五个 LLM backbone（Figure 3 未在图注中列出名称）；故障数 k；关闭漂移；五种人格。RQ3 用隐藏人格说明后的独立评审做识别与一致性，并用 ProdAgent 16,596 条、10 周的会话做真实数据对照。

主结果

默认条件、DeepSeek-V4-Pro、Rational、单故障、漂移开启。Success / Earned / Recovery / PostShift，mean±sd，据 Table 2。

表格较宽，可左右滑动

方法	WebShop	τ2-Retail	τ2-Airline
No Ask	52.54±0.82 / n/a / n/a / 45.93±0.58	49.85±2.09 / 27.64±2.70 / 36.85±1.62 / 33.25±1.33	46.64±3.82 / 9.55±1.68 / 24.00±3.68 / 28.67±7.17
Just Ask	54.80±0.69 / 19.23±1.03 / 33.93±1.61 / 48.82±0.74	67.57±1.90 / 31.26±2.32 / 42.18±0.57 / 56.11±1.71	55.30±4.47 / 18.69±3.36 / 37.31±4.12 / 40.84±6.95
BED-LLM	55.95±0.23 / 26.60±0.56 / 48.48±0.83 / 51.61±0.85	70.15±2.71 / 31.82±3.06 / 40.40±2.16 / 59.22±3.11	58.98±4.84 / 20.21±2.44 / 38.40±2.23 / 39.93±7.44
CTA	53.19±0.50 / 25.63±0.33 / 48.08±1.18 / 48.72±0.44	65.77±1.30 / 29.01±0.53 / 39.71±3.18 / 53.85±1.22	56.89±3.20 / 20.47±2.23 / 38.91±2.47 / 39.18±8.05
Self-Evolving	57.98±1.78 / 28.85±1.78 / 47.91±0.99 / 53.25±1.74	71.41±3.07 / 36.50±4.77 / 49.66±4.71 / 60.52±4.30	59.49±2.17 / 20.80±4.10 / 40.73±3.66 / 36.78±5.98
Mem.+Veri.	56.92±0.50 / 26.29±1.27 / 46.41±1.85 / 52.64±0.59	71.59±0.85 / 31.46±1.14 / 40.51±0.94 / 61.93±0.58	57.53±3.67 / 19.80±0.60 / 36.86±2.89 / 39.35±5.63

表中省略 AT-CoT、Belief Graph、ProductAgent、SAGE、Memory Ledger。WebShop 上 Belief Graph 的 Success 为 45.60±0.89，低于 No Ask 的 52.54±0.82，是 Table 2a 中 Success 最低的方法。τ2-Airline 上 Belief Graph 的 Success 为 51.12±6.20，为该环境表中最低。τ2-Retail 上 Belief Graph 为 62.28±1.77，高于 No Ask，但低于表中其余提问方法。

• 作者解读：提问在 WebShop 上增益较小，在会改状态的 τ2 上更大；作者称意图错误的下游后果更强时澄清更有价值。Self-Evolving 在三个环境的 Earned 都最高，Recovery 也处于前列或接近前列；作者称其增益更稳定地来自恢复隐藏意图，而不是猜对。
• 例外：WebShop 上 Belief Graph 的 Success 低于 No Ask，Inferred 为 35.51±1.36，高于同表其他方法，Earned 仅 5.33±0.28。τ2-Airline 上 Self-Evolving 的 PostShift 为 36.78±5.98，低于 Just Ask 的 40.84±6.95 和 ProductAgent 的 40.20±11.73。
• 跨 backbone：作者称 Figure 3 中澄清在每个 backbone 和每个环境都高于 No Ask，Self-Evolving 在 15 个格子中的 14 个领先。图注未给出五个 backbone 的名称，也未标出每个格子的成功率。

故障复杂度与漂移消融

• 故障数 k：Figure 4 在 k=4 处用色标给出 Self-Evolving 相对 No Ask 的 Success 差：WebShop +19.0、τ2-Retail +25.3、τ2-Airline +44.8；相对 Just Ask 的 Recovery 差：+19.3、+14.8、+18.8。作者称随着 k 增大，这两类差距变宽，复杂错位需要更好的澄清策略，而不只是更多交互。k=1 与 k=2 的端点数值正文未逐一写出。
• 关闭漂移：Figure 5 的连接线标注 Success 变化（漂移开启相对关闭）包括 WebShop −4.7、−7.7、−9.1，τ2-Retail −15.0、−19.3、−23.5，τ2-Airline −3.6、−7.2、−10.2；Earned 变化包括 WebShop −16.7、−18.2，τ2-Retail −32.8、−38.6，τ2-Airline −6.6、−5.0。正文未把每个差值逐一对应到方法名。作者称漂移降低 Success 与 Earned，更强澄清在无漂移时仍有优势，引入漂移后下降更小。

人格与 ProdAgent

• 人格：Figure 6 给出 Self-Evolving 在 WebShop 上五个人格的扇形概览：Success avg 53.40、max 57.98；Earned avg 17.21、max 28.85；Aim avg 33.69、max 42.06；Recovery avg 29.03、max 47.91；PostShift avg 48.73、max 53.25。识别与一致性条形高于作者给出的 20% 与 50% 随机基线；各人格的精确百分比正文未写出。作者称从用户消息即可区分人格，且同一人格跨任务保持连贯。
• ProdAgent：16,596 条、10 周。严格双评审一致下，23.7% 的会话有一定程度的意图错位。Figure 7 右侧：Parameter 59.3% 对 Relax 3.7%；Premise 22.4% 对 Pivot 11.5%；Intention 10.6% 对 Refine 36.3%；Expression 7.7% 对 Substitute 48.5%。左侧平均总分约从 Clean 的 4.3 到 Misaligned 的 3.4 一带，工具调用条形 Clean 高于约 100、Misaligned 更高；精确柱高正文未逐格给出。作者称错位覆盖四类故障和四种漂移关系，错位会话工具调用更多、人工评分更低。

其他消融与分析

• WebShop 默认条件 Patience：No Ask 4.49±0.06，Just Ask 2.35±0.11，SAGE 1.78±0.05，CTA 1.50±0.03（Table 2a）。
• WebShop Staleness：No Ask 9.69±0.34，Belief Graph 4.43±0.75，Self-Evolving 8.05±0.31（Table 2a）。
• WebShop Reaction：No Ask 4.23±0.33，SAGE 10.73±0.19，Self-Evolving 10.09±0.36（Table 2a）。作者称更大的 Reaction 可以对应漂移后多花轮次再提交，而不是立刻追过时目标。
• τ2-Retail 上 ProductAgent 的 Success 为 70.21±1.47，Aim 为 63.05±1.67，均为该环境对应列中正文所列表的高值（Table 2b）。
• 案例：Figure 22 为压缩的 WebShop 轨迹，一次提问触发静默细化，被拒购买扣 4 点耐心，随后日程漂移放松约束并被接受。Figure 23 为 τ2-Retail 上两次静默 Substitute。附录只说明轨迹形态，此处不复述用户原话。

作者指出的局限与后续方向

• 论文没有单独的 Limitations 或 Future Work 小节。 结论写：更强澄清带来提升，但仍有大的差距（large gaps remain），并把 Interactive Intent Alignment 放在智能体设计与评测仍有进展空间的位置（Introduction、Conclusion）。
• 作者称现有基准缺少把错位、有限耐心和交互中静默漂移放在一起的设定，并把 Drift-Bench++ 与 GRIP 说成供后续评测和推进的基础（Abstract、Conclusion）。这是对本文用途的陈述，不是列出未做的实验。
• 可复现性陈述写明将发布完整代码、构造、协议、GRIP、基线和配置；ProdAgent 的原始会话与分析产物因公司政策不能发布，只报告聚合结果（Reproducibility Statement）。作者计划发布代码，ProdAgent 明细不发布。
• 伦理陈述说明模拟基于决策风格而不是人口属性，不发布 ProdAgent 用户数据，不引入新的面向用户干预，也不采集新的人类受试数据。这是研究做法说明，不是作者列出的方法局限。

实验覆盖范围

• 环境：WebShop 与 τ2 的 Retail、Airline；构造标注 2543 个样本、395 个意图图、11 类故障、5 种人格（Figure 2、Section 4.1）。
• 方法与模型：1 个 No Ask、7 个澄清基线、3 个参考智能体；默认 backbone 为 DeepSeek-V4-Pro，另有五个 backbone 的成功率比较，Figure 3 图注未列出这五个模型的名称（Table 2、Figure 3）。
• 条件：默认是 Rational、单故障、漂移开启，三次种子。RQ2 改变人格、故障数 k 和是否漂移（Section 4.2、Figure 4–6）。
• 真实数据：ProdAgent 16,596 条多轮会话、10 周，报告严格双评审一致下的错位比例、四类故障和四种关系的分布，以及分数与工具调用的对比；原始会话不发布（Section 4.2、Figure 7、Reproducibility Statement）。
• GRIP：WebShop 报告九项；τ2 两域各报告五项。Role-realism 的识别与一致性只在 Figure 6 的 WebShop、Self-Evolving 设置中以高于 20% 和 50% 随机基线的方式呈现，未给出各人格精确百分比。论文未报告与人类逐条标注的一致性系数。

Drift-Bench++ 是面向 Interactive Intent Alignment 的可执行基准：智能体要在用户说错、目标会变、耐心有限时，持续跟上当前意图。

• 问题：作者认为多数基准假设用户始终准确传达固定意图。错位与漂移被分开研究，漂移又常被显式宣布，澄清也很少受交互预算约束。
• 做法：宿主任务经适配器变成意图图，错位查询要经过双 judge 一致、表面保真和执行效果三步验证。交互使用耐心预算、静默且可由提问或耐心阈值触发的漂移，以及五种 GDMS 人格。GRIP 分开报告任务是否靠引出意图而成功、模拟用户是否像指定人格、提问是否对准且省预算、漂移后是否还跟得上。
• 主结果：默认条件（DeepSeek-V4-Pro、Rational、单故障、漂移开启，三次种子）下，WebShop 上 Self-Evolving 的 Success 为 57.98±1.78、Earned 为 28.85±1.78，No Ask 的 Success 为 52.54±0.82。τ2-Retail 上 Mem.+Veri. 的 Success 为 71.59±0.85，Self-Evolving 的 Earned 为 36.50±4.77。τ2-Airline 上 Self-Evolving 的 Success 为 59.49±2.17、Earned 为 20.80±4.10。Belief Graph 在 WebShop 的 Success 为 45.60±0.89，低于 No Ask。
• 其他发现：作者称五个 backbone 上澄清都高于 No Ask，Self-Evolving 在 15 格中领先 14 格。k=4 时 Self-Evolving 与 No Ask 的 Success 差在 τ2-Airline 达到 +44.8。Figure 5 中开启漂移使 Success 与 Earned 下降。ProdAgent 16,596 条会话里，严格双评审一致下 23.7% 有错位，错位会话工具调用更多、人工分更低。
• 作者结论：更强交互持续有帮助，但仍远离 oracle 表现；所建模的沟通失败和意图动态在部署中常见且带来代价。作者把该基准当作诊断并推进这类对齐的基础，并计划发布代码；ProdAgent 原始数据不发布。