IntentFlux 基准测量 LLM Agent 的意图漂移并给出 StateForge 修复方案

核心问题是：用户在执行前改口时，已被取代或撤回的意图仍会影响智能体的最终答案或工具动作（intent drift）。

• 场景：作者称智能体常增量接收任务，用户会改参数、撤回约束再要求执行，模型必须判断哪些意图仍然有效。作者认为，要直接研究这一失败，需要已知最终意图，且误用过时信息会改变任务结果。
• 现有缺口：作者称分片指令评测显示信息逐步披露时模型会跟丢任务（Laban et al., 2025）；演化意图评测加入揭示、修订和任务切换并保留源验证器（Tack et al., 2026）。作者认为它们衡量最终是否跟上任务，但不区分失败是否来自过时意图。
• 基准：论文提出INTENTFLUX，把可验证源任务改成受控的增、删、替换对话，并保留原grader。VARIANT是稍后被最终值替换的替代值；DECOY是稍后撤回的约束，且只保留服从它会改变源grader判定的条目。
• 缓解：论文另提出STATEFORGE，在生成前显式维护活跃需求。作者称它只部分缩小差距：注入真实最终状态后仍低于单轮，作者认为状态估计误差只解释一部分缺口。

多轮意图与记忆更新

• 多轮完成：MT-Eval、MultiChallenge、MTRAG以及Laban et al.（2025）的多轮对话评测，研究指令保持和对话级任务完成（Kwan et al., 2024; Sirdeshmukh et al., 2025; Katsis et al., 2025）。
• 意图演化：EvolIF用增、删、改演化每话题约束（Jia et al., 2026）；InterruptBench研究长程网页导航中的修订与撤回（Zou et al., 2026）；Tack et al.（2026）把可验证任务转成揭示、修订、切换交互。
• 失效记忆：Uddin et al.（2026）惩罚使用已失效记忆；Patel（2026）训练智能体偏好当前值而非被取代值。

上下文管理与状态跟踪

• 历史压缩或检索：Liu et al.（2023）、LongLLMLingua（Jiang et al., 2023）、gist memory（Lee et al., 2024）和agentic context engineering（Zhang et al., 2025）。作者称这类方法不必显式判定先前意图哪一部分仍然有效。
• 实体与信念跟踪：Kim and Schuster（2023）、Zhu et al.（2024）。作者称STATEFORGE与之相关，但对象是开放式任务需求及其依赖，且放在可执行设定中。

学习中间推理

• 蒸馏与on-policy训练：逐步蒸馏和deliberative alignment教中间推理（Hsieh et al., 2023; Mukherjee et al., 2023; Guan et al., 2024）；on-policy distillation在学生自己的rollout上相对教师训练（Agarwal et al., 2023）。作者称把这些想法用于tracker子角色和完整智能体，并用可执行的过时意图失败监督状态维护。

基线与数据

• 基线：clean单轮、bare multi-turn、轮次匹配且无修订的对照、Deep Agents滚动摘要、OpenHarness两阶段压缩、真实终态oracle，以及gate-free注入、generic recap、neutral recap。
• 数据：General轨来自HumanEval、LiveCodeBench、GSM8K、Spider、ToTTo、SummHay、BFCL；交互轨为VitaBench。固定评测集是GENERAL-TEST与INTERACTIVE-TEST。

作者把INTENTFLUX定位为上述设定的补充：异构可执行任务、受控修订与撤回，且decoy只在服从它会改变源任务判定时保留。STATEFORGE则在作答前把编辑历史折成活跃需求状态，而不是只压缩或检索历史。

整体做法是用INTENTFLUX把可验证源任务变成意图会变的多轮对话，再用STATEFORGE在生成前维护显式活跃状态。智能体只看见对话；oracle按编辑计划得到最终意图，原grader评最终输出或动作（Figure 1）。

意图状态与过时信息

• 状态：任务是有限原子自然语言目标集合。样本含初始状态、编辑序列和最终活跃意图。编辑为ADD、DELETE、REPLACE。oracle执行编辑得到最终状态，源grader据此评分。
• 两种过时项：VARIANT是某一活跃项的合理替代值，稍后被目标值替换，例如另一种实现语言。DECOY是稍后撤回的合理约束；只保留服从它会改变源grader判定的decoy，因此误用是grader后果，而不只是字面不一致。
• 归因边界：作者称这样可以用任务成功检验过时状态是否被使用，但总失败若不检查轨迹和输出，不能归到某一个过时项。

源任务、集合与构造

• 来源：General轨覆盖代码、数学、SQL、data-to-text、摘要和工具调用，保留可执行或任务原生评分。交互轨用VitaBench，环境为delivery、in-store、OTA和cross-domain。General轨承担压力、配对、harness和训练实验；VitaBench只供交互迁移。
• 划分：校准池627个源任务，同一批任务在各难度层实例化，只用于难度响应。训练池502，与GENERAL-TEST不相交。GENERAL-TEST固定125例：LiveCodeBench 10、GSM8K 21、HumanEval 10、Spider 21、ToTTo 24、SummHay 18、BFCL 21。INTERACTIVE-TEST固定100个VitaBench任务。
• 编辑计划：多数任务族把有序原子分片直接映射为最终目标；分片在“改它就会改变所需输出或动作”时视为原子。VARIANT和DECOY不必对应源分片。采样受语义依赖约束。人工核对variant、decoy和依赖池。下游审计能恢复GENERAL-TEST中95%案例的标注最终意图。完整流程在附录。

负荷、模拟与指标

• 预算：校准用单调预算b∈{1, 3, 5}，对应easy、medium、hard。每个目标最多b个variant，最多b个合格decoy；源案例、目标意图、grader、采样和模拟器策略跨层共享。依赖和随机初始化会使实际数量低于预算。作者把它当作联合过时信息负荷，而不是variant、decoy或长度的因子分解。
• 不复述：最后一次编辑后，模拟器只加一条中性的要最终答案请求，不复述、不摘要最终意图。三档都没有显式终态复述。
• 模拟器：每个活跃目标一条队列，decoy另有队列。每轮选一个可行编辑，说成自然语言，只推进被选队列。同一目标的编辑顺序保留，不同目标可以交错。已报告实验里，DeepSeek-V4-Flash同时担任用户模拟器和需要LLM判定时的rubric judge；被测智能体与这两个角色分开。
• 指标：任务原生分数si归一化到[0, 1]，满分指示为si等于1。CAR是整集在当前真实意图下拿到满分的比例；IDG是配对的clean与drift之差，IDG = CAR(clean) − CAR(drift)。正的IDG表示同一最终任务从演化对话恢复时，满分完成率低于直接给出最终意图。作者称IDG是总损失，不隔离单一因果因素，因而另设轮次匹配、无修订对照。代码、数学、数据库、工具调用为二值；ToTTo与SummHay为连续分，CAR仍只在si=1计成功，无调阈值，且留在分母中。无可用输出记0，仍计入分母。另报case-micro均分，作者称它混合了不同任务指标，只用于固定任务构成下的集内比较。关键比较用案例配对bootstrap置信区间。

STATEFORGE与两条迁移

• 无训练harness：每轮用户发言后，tracker把已观察到的意图编辑折进当前活跃状态。删除或替换会移除该项，并作废由它推出的结论。状态区分直接陈述的意图和派生结论。更新后的状态插在可缓存对话历史与当前用户输入之间。另有format tracker维护输出约定；最终gate对照约定检查答案，并可触发重新生成（Figure 2）。
• 迁移：一条路径冻结基座、只训练较小tracker，使用on-policy distillation。另一条用thinking distillation，把显式状态更新放进教师推理，再让独立智能体在无外部harness时作答。训练池与GENERAL-TEST不相交。

实验设置

• 模型：Table 1为Claude Opus 4.7、DeepSeek V4 Pro、Gemini 3.5 Flash、GLM 5.2、GPT-5.4、HY3、Qwen3.6 Plus、Qwen3.5-122B。校准构造用gpt-4.1，被测为gemini-3.5-flash。单模型分析主干为本地vLLM上的Qwen3.5-122B-A10B-FP8。模拟器与rubric judge为DeepSeek-V4-Flash。
• 数据：校准池627；GENERAL-TEST每条件125，构成见第3.2节；INTERACTIVE-TEST 100；训练池502且与测试集不相交。同一GENERAL-TEST源案例用于各难度、对照和harness比较。
• 条件：easy/medium/hard的variant与decoy预算为1、3、5。clean直接给出最终意图。轮次匹配对照在首轮给出最终需求，其后为无变更确认。harness比较使用冻结的medium难度轨迹。
• 指标与判定：CAR、IDG、mean score定义见第4节。GENERAL-TEST的CAR分母始终是125，不是仅83个二值任务。ToTTo为sacreBLEU，SummHay为其LLM grader，BFCL为AST检查，VitaBench为领域evaluator。
• 区间：关键比较为案例配对bootstrap 95% CI。论文未在正文给出主结果的重复次数、temperature取值或seed。

主结果

据Table 1，GENERAL-TEST（n=125）的full-credit CAR与clean–hard IDG如下。

表格较宽，可左右滑动

模型	Clean CAR	Hard CAR	Hard IDG [95% CI]
Claude Opus 4.7	0.592	0.184	0.408 [0.304, 0.512]
DeepSeek V4 Pro	0.584	0.200	0.384 [0.296, 0.472]
Gemini 3.5 Flash	0.632	0.264	0.368 [0.280, 0.456]
GLM 5.2	0.576	0.232	0.344 [0.264, 0.432]
GPT-5.4	0.608	0.224	0.384 [0.304, 0.472]
HY3	0.592	0.200	0.392 [0.304, 0.480]
Qwen3.6 Plus	0.640	0.192	0.448 [0.360, 0.536]
Qwen3.5-122B	0.592	0.232	0.360 [0.280, 0.448]

• 作者称八个模型在主基准的每一难度层IDG都为正，损失大体随联合过时负荷增大。Table 6里唯一medium IDG低于easy的是DeepSeek V4 Pro（.208对.216）。Table 1中该模型medium CAR为0.376，高于easy的0.368，与“medium点估计低于easy”这句若按CAR读并不一致；按IDG读则与Table 6一致。
• 作者把IDG解释为从演化对话恢复最终意图的总损失，而不是单一因果因素，并要求与轮次匹配对照一起看。Table 1的hard IDG区间都不包含0。
• Table 8给出未折成满分指示的mean score/CAR，作者称总体同样变差。该表中Qwen3.5-122B三档的mean score与CAR相同，分别为.288/.288、.240/.240、.232/.232。

校准、任务族与轮次对照

• 校准：被测gemini-3.5-flash。Table 5的实现量与分数为：easy，variant 0.95、decoy 0.61、均分0.476、CAR 0.381；medium，1.71、1.67、0.419、0.327；hard，2.24、2.50、0.384、0.298。easy到hard，均分−0.092、CAR−0.083。作者称相对下降19.3%。实际数量低于预算。对话从easy平均13.2轮增至hard的37.1轮。作者称这是联合负荷的单调响应，不是分开的因果效应。
• 任务族：Table 7（校准池，均分）easy到hard：LiveCodeBench n=55，.582到.273（−.309）；GSM8K n=103，.592到.408（−.184）；HumanEval n=45，.689到.511（−.178）；Spider n=107，.430到.308（−.121）；ToTTo n=120，.367到.325（−.042）；SummHay n=92，.165到.163（−.003）；BFCL n=105，.657到.705（+.048）。作者称代码和数学下降最大，BFCL是例外且分数上升，SummHay停在低分附近。七族等权宏平均从.497到.433再到.385。Table 9（Gemini 3.5 Flash，GENERAL-TEST）中ToTTo（n=24）与SummHay（n=18）的IDG为0，作者称两种条件都未拿到满分；LiveCodeBench hard IDG为.900（n=10）。
• 轮次对照：Table 10，Qwen3.5-122B，GENERAL-TEST均分：单轮.778，轮次匹配无drift对照.734，对应drift .469，对照减drift为+.265。附录C称两边轮数相同，用户消息平均长度13.2k与14.6k字符。作者称轮数本身不能解释drift损失；该对照故意不复现被取代的竞争值。GSM8K对照与drift同为.667，低于单轮.952；作者称该族另有premature-commitment失败。

交互迁移与历史压缩

• VitaBench：Table 11，n=100，被测Qwen3.5-122B。clean均分.697、CAR .190；默认收尾（会复述终态）.720、.190；不复述收尾.594、.190；真实终态oracle .764、.310。clean减不复述为+.103 [+.026, +.180]。作者称不复述降低部分分，复述会掩盖该差；三个非oracle条件的CAR相同，所以证据针对交互协议中的部分满足。
• 压缩harness：第6节，冻结的medium难度GENERAL-TEST轨迹，被测Qwen3.5-122B。Table 2 Panel B：Deep Agents滚动摘要均分0.354、CAR 0.256；OpenHarness两阶段压缩0.392、0.296；bare multi-turn 0.367、0.264。作者称只压缩历史不能稳定找回损失：压缩结果仍可能同时留下被取代值和替换值。Deep Agents低于bare，OpenHarness高于bare。

状态折叠与两种迁移

• STATEFORGE：Table 2 Panel A，GENERAL-TEST：clean单轮均分0.778；bare 0.367、CAR 0.264；真实终态0.549；STATEFORGE 0.467、CAR 0.368。相对bare的均分差为+0.100，95% CI [0.030, 0.171]。作者给出真实终态到clean仍差0.229，并称该oracle在最后一步给精确终态、但保留全部对话，因此不等于clean单轮；状态估计误差是实质部分，但只解释一部分缺口。表题未写模型；第6–7.1节写明harness比较的被测模型为Qwen3.5-122B，且Panel B的STATEFORGE与Panel A同为0.467。
• 容量与OPD：作者称2B、4B tracker显著低于122B参照，9B与之统计上不可区分。Figure 3(b)在冻结122B智能体加2B tracker的设定中，冷启动0.266、OPD后0.445，图注为held-out full-episode score；正文称同协议下122B tracker为0.428，并写“在GENERAL-TEST上”。附录D称这些full-episode分数用的是tracker训练评测协议，不是GENERAL-TEST的task-score协议。
• 内化：Figure 3(c)与第7.2节：无外部tracker的35B智能体，GENERAL-TEST drift均分从0.296到0.461。附录D另报avg@3为.444。clean条件从基座.745到蒸馏后.718。作者称这不说明全部状态折叠操作已被学会，也不说明能泛化到每一种更新机制；并注明(b)与(c)配置和协议不同，只应比较同一面板的前后变化。

其他消融与分析

• Table 13（unified re-run，相对122B）：2B均分.156、Δ−.272 [−.351, −.196]；4B .312、−.117 [−.199, −.036]；9B .399、−.029 [−.101, +.042]；27B .366、−.062 [−.134, +.005]；35B .395、−.034 [−.109, +.038]；122B .428。后三个CI包含0。
• Table 12（n=125，另一套重跑，对照full harness .428/.344）：去gate .393，Δ−.035 [−.101, +.030]；generic recap .403，−.025 [−.100, +.048]；neutral recap .441，+.013 [−.060, +.087]。作者称当前实验不能确立相对匹配recap的表示优势。oracle .551，Δ+.123 [+.044, +.202]。
• 第8.1节轨迹检查无定量比例：含DELETE的drift案例里，智能体常在最终答案中省略被删目标；BFCL上常见REPLACE失败是把新值绑到错误的函数调用槽。
• 附录E：从DeepSeek-V4-Flash模拟器抽100条编辑阶段话语，保真度96%，连贯性97%。作者称残余不忠实主要是重复复述，而不是编造需求。
• 第3.2节：GENERAL-TEST下游审计恢复标注最终意图的比例为95%。
• Table 2的STATEFORGE均分0.467与Table 12的full harness .428不是同一协议，不能并成一次运行。

作者指出的局限与后续方向

• 表示范围：当前意图被表示成有限原子目标集合，因此面向具有可执行或可分解意图结构的任务（第8.3节）。
• 负荷不可拆：校准把variant与decoy预算绑在一起，支持的是联合过时负荷效应，而不是分开的边际效应（第8.3节）。
• 对照边界：轮次匹配对照排除了轮数本身，但消息顺序和编辑措辞仍是drift构造的属性（第8.3节）。
• 单模型：外部harness比较和INTERACTIVE-TEST各只用一个被测模型Qwen3.5-122B，前者用的是重放轨迹（第8.3节）。
• 消融未分离：组件匹配消融没有把显式状态表示分离成系统级增益的唯一来源（第8.3节）。
• 规模仍开放：两条迁移路径的规模行为仍开放（第8.3节）。

实验覆盖范围

• 交叉评测覆盖Table 1的八个模型；GENERAL-TEST每条件n=125，含clean与三档drift。校准是同一627个源任务在预算1、3、5下实例化，被测为gemini-3.5-flash（第5节、Table 5）。
• 历史管理比较为Deep Agents与OpenHarness，对象是冻结的medium难度GENERAL-TEST轨迹，被测Qwen3.5-122B（第6节）。INTERACTIVE-TEST为100个VitaBench任务，同一被测模型，并含复述、不复述和真实终态条件（Table 11）。
• 训练池502例且与GENERAL-TEST不相交。OPD报告一次迭代。35B thinking distillation报告了drift与clean，附录D另给avg@3。Figure 3注明(b)与(c)协议不同，只比较同面板前后。
• 已报告实验的用户模拟器与rubric judge均为DeepSeek-V4-Flash。100条编辑话语的保真度为96%、连贯性为97%（第8.2节、附录E）。GENERAL-TEST恢复标注最终意图的比例为95%（第3.2节）。
• 论文未在正文给出主比较的重复次数、temperature取值或seed。Table 12的组件重跑与Table 2不是同一协议。grader按任务族分别为测试、数值抽取、SQL执行、sacreBLEU、SummHay LLM grader、BFCL AST和VitaBench领域evaluator（Table 4）。

这篇工作把“用户改口后，过时意图仍影响答案或工具动作”做成可评分的多轮失败，并试验在生成前显式维护活跃状态。

• 问题：智能体要在增补、删除、替换之后只执行仍然有效的意图。作者认为已有多轮评测能看最终是否跟上任务，但不能把过时意图造成的失败和其他多轮错误分开。
• 做法：INTENTFLUX从可验证源任务构造对话。VARIANT稍后被目标值替换；DECOY只在服从它会改变原grader判定时保留。预算1、3、5联合增加过时项，结束时不复述最终意图。CAR是满分率，IDG是直接给出最终意图与从演化对话恢复之间的配对差。STATEFORGE用tracker折出活跃状态，并作废依赖过时项的结论；另试小tracker的on-policy distillation，以及把该行为蒸馏进独立35B智能体。
• 测量：627例校准中，gemini-3.5-flash的均分从0.476降到0.384。GENERAL-TEST上八个模型的hard IDG为0.344到0.448，配对区间不含0（Table 1）。Qwen3.5-122B的轮次匹配对照均分0.734，接近单轮0.778，对应drift为0.469（Table 10）。校准里BFCL分数随预算上升（Table 7）。
• 修复：同一GENERAL-TEST上，bare均分0.367，两种历史压缩为0.354与0.392，STATEFORGE为0.467；注入真实终态到0.549，仍低于单轮0.778（Table 2）。交互集上不复述终态相对clean低0.103，CAR不变（Table 11）。组件重跑里，匹配recap与完整harness的差值区间包含0（Table 12）。
• 作者结论：作者把意图漂移看成可测量的状态维护问题；模块化tracker和学习进基座的路径都只能部分缓解。精确终态仍留下与保留对话历史相关的残差，作者认为状态估计误差只解释一部分缺口。