IACM-RL：面向动态意图波动下复杂工具调用的意图感知上下文管理与强化学习

动态意图噪声下，长程工具调用会因过时约束稀释注意力而偏离目标，并陷入无限 API 循环。

• 场景：作者称真实交互里用户常改任务、插入无关闲聊或给出含糊约束，而现有训练多假设“完美静态指令”、查询线性演化（第 1 节）。
• 不足：长上下文微调、隐式推理链或上下文压缩仍要扫描冗长原始历史。作者称过时约束与打断会稀释 token 级注意力，使更新目标的 token 权重偏低，破坏多工具数据依赖，并造成意图偏离与无限 API 循环（第 1 节，Figure 6）。作者称上下文信念管理与外部信念引导只在简单工具场景有容错，面对长程、并行多工具任务会崩溃。
• 观察：该设定被写成 POMDP，潜在意图只能经含噪观察部分可见；模仿学习把状态跟踪与动作生成捆在对原始历史的策略里（第 4.1 节）。
• 做法：提出 IACM-RL。DynamicIntent 合成 13 类细粒度波动轨迹并配五维诊断指标；BeliefState 自生成上下文管理器用结构 stale flag 隔离被覆盖参数；分层意图奖励加三项辅助损失，把状态跟踪内化到参数（摘要、第 1 节）。

相关研究按第 2 节分成意图波动跟踪和长程状态管理；对比基线在第 5.1 节与附录 C.3。

意图波动与信念管理

• 漂移检测：Wang 等（2025）用时序转移量化偏离；Arike 等（2025）观察上下文信号累积时的目标发散；Dzeparoska 等（2024）抽取关键指标做漂移检测。
• 显式信念：Xu 等（2026）把动态跟踪扩到显式信念状态以捕捉证据变化；Saebo 等（2026）考察显式价值冲突如何触发不对称目标漂移。
• 内部表征：Kang 等（2026）、Luo 等（2026）、Sun 等（2026）讨论 LLM 缺少稳定内部表征，因而需要外部信念引导。引言称 Xu 等（2026）的上下文信念管理与 Luo 等（2026）一类探测工作只在简单工具场景有容错，面对长程、并行多工具任务会崩溃。

多轮不稳定与状态管理

• 失效模式：Chen 等（2026）、Laban 等（2025）、Liu 等（2024）、Shi 等（2023）讨论丢失证据、受噪声影响、上下文惯性与指令退化；Lin 等（2026）、Ma 等（2026）讨论跨步骤错误级联。
• 记忆与压缩：Zhou 等（2025）用强化学习联合优化记忆；Kang 等（2026）精炼提示词以过滤噪声；Chhikara 等（2025）用外部记忆层跨会话汇总要点。作者称与这些方法不同，IACM-RL 用自生成 BeliefState 把状态跟踪与动作生成解耦，并把状态管理内化进参数。

基线与基准

• 基线方法：同一 Qwen3-8B 经 DynamicIntent 监督微调后，比较 Base（仅 SFT）、PPO-noCM（完整历史的 PPO）、FIFO-k（k=5）、Prompt-Comp（静态摘要指令）、LLMLingua（用 Qwen3-1.7B 做 token 级压缩）、ACON（GPT-5.4 按失败分析迭代压缩指南）、MEM1（与智能体联合训练的压缩策略）、RL-STA（多轮 RL 中注入单轮锚点）。
• 基准：DynamicIntent（13 个场景，ID/OOD，工具池不相交）、BFCL-V3（Partial Overall）、τ2-Bench（airline 与 retail）。

作者把本文定位为：在信念跟踪与外部记忆之上，把自生成 BeliefState 直接放进 RL 优化回路，而不是只扫描、截断或外挂历史（第 2 节）。

IACM-RL 先自写 BeliefState 块再调用工具，用分层奖励和三项辅助损失把状态跟踪写进参数；数据侧由 DynamicIntent 提供 13 类波动轨迹和五维诊断。

问题设定

多轮工具调用写成 POMDP：潜在意图只通过中途修改、无关闲聊和含糊约束等含噪观察部分可见。常规策略直接条件于原始历史，把跟踪和动作捆在一起。作者称 Figure 6 的失败案例里，漂移轮次的过时约束和注入噪声摊薄 token 级注意力，更新目标与最新参数的关键 token 权重低。

数据构建

五阶段，无真实后端（Figure 2）。

• 抽象与依赖图：英文 ToolBench 与专有第三方、中控 API 经 UTAL 归一；每条轨迹自抽候选子集。多个 LLM 对“返回能否满足另一工具的参数”各投两票（仅 schema，再加输入样例），同账号两票一致且多数账号同意才留边。约束感知随机游走得到 Function Sequence Pattern。
• 增强与过滤：图级方法改 FSP，轨迹级方法改对话，对应 Modification、Interruption、Clarification、Accumulation、Chaining（Table 1）。打断类仅在工具名不相交、且两组工具无依赖边时拼接子轨迹（Algorithm 2）。过滤查 schema 一致性、任务闭环和提示长度；过长裁剪或拒绝，过短删除。
• 模拟与划分：LLM 模拟器生成用户话、工具调用、符合响应 schema 的 mock 返回和摘要；有真实响应则缓存。golden map 记录期望依赖与参数。多轮训练 5,639 条、单步 17,391 条（Table 2）。约 9.3% 多轮与 9.5% 单步混入纯语言澄清。ID 测试 1,272 段，OOD 1,278 段；OOD 工具池 244 个且与训练不相交（Table 20）。测试集 2,550 段；约 18.7% 就地修订，4.2% 丢弃（附录 D.2）。
• 指标：JGA 看名称、参数名和参数值是否与金标一致；SCRR 为修改回合复用已被覆盖值的比例；RIR 为跨回合重复调用比例；DTCR 按链完成比给 partial/high/full；ISSR 在 LLM 评审超过阈值 τ 时计成功转向。评测 JGA 是回合级严格匹配，训练 JGA 是调用级部分得分，二者故意分开（第 3.3、4.3 节）。

Context Manager

每回合先解码紧凑状态块，再条件于该块而不是原始历史生成动作。BeliefState 为 b_t=(C_slots, G_current, A_last, Q_pending, I_signal)，即已确认参数、当前目标、最近执行、待澄清信息和偏离类别（如 clarify、modify、interrupt）。参数被覆盖时旧值保留并标 stale flag。实现为九个 XML 子块（Figure 7）。单步在生成前渲染一次；多轮在每条用户消息和每次工具执行后更新，并把新块重新注入系统提示（第 4.2 节）。

分层奖励

总奖励为 R_total=α R_belief+β R_action+γ R_outcome+R_format。R_belief 监督 Cslots，R_action 监督 Alast 与 Qpending，R_outcome 监督 Gcurrent 与 Isignal。多轮权重 α=1.0、β=1.0、γ=0.5，总分截断到 [-4.0, 8.0]。ACR 与 ISSR 由 GPT-5.4 打分，分数在 -1 到 1；训练 ISSR 在分数大于 0.3 时给 +2.0×score。连续相同调用短路为 -2.0 并提前返回。单步奖励按是否调用工具和问题类型分四支，不做循环、链式或切换检测；Stage 1 关闭 SCRR（第 4.3 节、Table 3）。

优化

用 PPO 与 GAE，去掉交叉熵模仿损失。L_cal 用工具调用对错加权响应 token 的对数概率；L_ext 用脱离梯度的轨迹优势优化 CM 块 token；L_dist 以前向 KL 把带 CM 的教师蒸馏到不带 CM 的学生，教师分布 detach。权重为 0.02、0.01、0.01。Stage 1 在 17,391 条单轮切片上训练，600 步检查点播种 Stage 2；Stage 2 在最多 12 轮的 5,639 条轨迹上再训 100 到 300 步（附录 C）。推理为贪心、temperature 0、no-think。

实验设置

• 模型：主实验为在 DynamicIntent 上 SFT 的 Qwen3-8B；Table 12 用 1.7B Qwen 重复主实验，组件与两阶段训练相同。
• 基准与数据：DynamicIntent ID 1,272 段、OOD 1,278 段，13 个场景，OOD 工具池 244 个且不相交。BFCL-V3 为 Live、Non-Live、Multi-turn 准确率的未加权平均（Partial Overall）。τ2-Bench 报 airline 与 retail 的 Average Reward。训练混合 DynamicIntent、BFCL-V3、τ2-Bench 与纯语言查询；官方评测实例已排除，并在工具 schema 与任务实例层去重（附录 C.2、Table 17）。
• 基线：Base、PPO-noCM、FIFO-k（k=5）、Prompt-Comp、LLMLingua、ACON、MEM1、RL-STA；除 Base 外用同一 PPO 流程（第 5.1 节）。
• 指标：Cognitive=(JGA−SCRR)/2，Behavioral=100−RIR，Outcome=(ISSR+DTCR)/2。附录 B.1 写明 Avg 为 9 列未加权均值。对抗实验为工具调用准确率（Table 8）。
• 评审：ACR、ISSR 用 GPT-5.4，分数在 -1 到 1；训练 ISSR 阈值为 0.3。JGA、SCRR、RIR、DTCR 的评测为规则（第 3.3、4.3 节）。
• 解码：贪心、temperature 0、no-think。主结果表未写重复次数；附录 B.1 另对 IACM-RL 用 3 个随机种子。优化器与长度见附录 C.1。

主结果

据 Table 4（Qwen3-8B）。省略 ACON（Avg 61.6）。

表格较宽，可左右滑动

方法	ID Cog	OOD Cog	BFCL	τ2 Air	Avg
Base	34.8	33.0	63.1	28.0	61.2
PPO-noCM	34.8	32.4	62.2	32.0	61.5
FIFO-k	33.3	31.4	58.9	30.0	61.0
Prompt-Comp	32.2	34.0	61.6	30.0	60.6
LLMLingua	29.6	31.2	62.2	28.0	61.5
MEM1	36.4	34.7	61.9	38.0	62.6
RL-STA	36.4	33.8	63.2	28.0	62.0
IACM-RL	36.5	36.3	63.3	38.0	64.0

• 作者称 IACM-RL 总平均最高，并在 ID/OOD Cognitive 与 BFCL 上高于表中基线；τ2 airline 与 MEM1 并列。作者称压缩基线在 Cognitive 上落后，是因为历史截断丢掉了跟踪目标所需状态。
• 并非每列最高：OOD Outcome 为 81.2，低于 RL-STA 的 83.0 与 MEM1 的 82.7；τ2 retail 为 34.2，低于 LLMLingua 的 38.6 与 ACON 的 35.1（均 Table 4）。作者称 airline 领先、retail 保持竞争力。
• 摘要称减少无限循环和过时上下文错误。Table 4 的 Behavioral 落在 98.3 到 99.9；ID 上 Base 为 99.4，IACM-RL 为 99.9。作者称 OOD Cognitive 接近其 ID，而 Base、RL-STA 的 OOD Cognitive 分别降到 33.0、33.8。

长度、对抗与场景族

• 长度：Table 6 在 τ2-Bench 按对话 token 长度比较 IACM-RL 与 PPO-noCM，正文称数字为 reward。短对话（≤5k）从 45.8 到 56.0；长对话（11k–16k）从 8.6 到 23.5；超长（>16k）从 0.0 到 34.8。作者称紧凑 CM 块在原始历史扫描失效处仍能维持状态跟踪。
• 对抗：Table 8 在 500 条采样轨迹上插入干扰，指标为工具调用准确率。L0 为 81.8% 对 83.2%；L3（3 个假任务加 5 条闲聊）为 25.6% 对 36.8%，差 11.2 个百分点。作者称 CM 把 Gcurrent 和 Cslots 固化在系统提示里，从而挡住中段噪声。
• 场景族：Table 7 用各族主指标。OOD 上 Modification 的 JGA 从 75.0 到 79.7，Clarification 从 66.7 到 70.9。OOD Accumulation 的 DTCR 从 65.5 到 64.9，OOD Chaining 两边都是 66.1。作者称抗性在 Modification 与 Clarification 最强，并称这与 Cslots 的 stale flag 降低修改轮 SCRR 一致；该表的 Modification 主指标是 JGA，未给出 SCRR。

骨干规模与推理时 CM

• 1.7B：Table 12 中 IACM-RL 总平均 54.2，MEM1 为 53.0，FIFO-k 为 47.0。作者称其在 ID Behavioral、ID Outcome、BFCL 和 τ2 两域领先；airline 与 MEM1 同为 34.0。OOD Cognitive 为 25.8，低于 MEM1 的 27.9；OOD Outcome 为 74.3，低于 PPO-noCM 的 75.0。作者称显式上下文管理的潜力依赖一定推理容量。
• 无 RL 的推理时 CM：Table 13 在 τ2-Bench airline、Qwen3-8B、无 RL 上比较是否注入 CM。短对话（<5K 字符）从 0.615 到 0.667；长对话（15K–30K）从 0.086 到 0.397；超过 30K 时无 CM 为 0.000，有 CM 为 0.202。作者称增益随对话变长而增大。

其他消融与分析

• 去掉 L_ext：OOD Cognitive 从 36.3 到 32.7；去掉 L_dist 到 31.4；去掉全部辅助损失 Avg 从 64.0 到 61.5。去掉 L_ext 时 ID Cognitive 为 37.0，高于完整模型的 36.5（Table 5）。
• 去掉 R_belief：BFCL 从 63.3 到 47.5，Avg 从 64.0 到 57.4。只留格式惩罚时 BFCL 为 28.1，τ2 airline 为 65.0，高于完整模型的 38.0（Table 9）。
• CM 更新：Accumulate 的 Avg 64.0，Last-only 62.4，First-only 60.1；First-only 的 retail 为 8.8，ID Cognitive 为 38.7，高于 Accumulate 的 36.5（Table 10）。
• SFT、Qwen3-8B：LLM 模拟与真实 MCP 的 Avg 为 60.2 与 60.1。作者称 Cog、Beh 近乎相同；airline 上真实 MCP 为 20.0、模拟为 17.0，retail 上模拟为 18.4、真实 MCP 为 14.9（Table 11）。
• 三个种子的 Avg 为 64.0、63.5、63.3，均值 63.6±0.4；OOD Cognitive 为 34.3±2.0，retail 为 33.9±3.1。作者称方差小（Table 14）。辅助损失权重同时取 0.25×、0.5×、2.0× 时 Avg 为 62.1、62.7、62.6，默认 1.0× 为 64.0（Table 15）。

作者指出的局限与后续方向

• 实验使用的都是由 LLM 模拟的文本 API 工具；作者称观察到的增益能否迁移到多模态或非工具智能体设定，仍是开放问题（附录 F）。

论文的 Limitations 只写了这一条。结论未另列后续实验计划。

实验覆盖范围

• 主结果与消融在 Qwen3-8B 上完成；Table 12 用同一两阶段流程在 1.7B Qwen 上重复主实验。
• 评测包含 DynamicIntent 的 ID 与 OOD（OOD 为 244 个不相交工具）、BFCL-V3 的 Partial Overall，以及 τ2-Bench 的 airline 与 retail（第 5.1 节）。
• 基线为 Base 与七种上下文管理策略；另比较辅助损失、奖励层、CM 更新策略和损失权重。附录 B.1 对 IACM-RL 报告 3 个随机种子。主结果表未写各基线的重复次数。
• 主训练的工具返回为 LLM 模拟；Table 11 在 SFT、Qwen3-8B 上比较 LLM 模拟与真实 MCP。测试集每条由一人标注、另一人复核，分歧由裁定者解决；约 18.7% 就地修订、4.2% 丢弃（附录 D.2）。论文未报告标注者间一致性的数值。
• 主实验推理为贪心、temperature 0、no-think；Table 13 另在无 RL 的 Qwen3-8B 上比较是否注入 CM 块。

IACM-RL 是面向动态意图波动的工具调用训练框架，并附带 DynamicIntent 数据与五维诊断。

• 问题：用户会改参数、中途打断、含糊补充或追加并行任务。作者称过时约束留在历史里后会稀释对更新目标的注意力，使智能体偏离当前目标并重复调用 API。压缩或外挂记忆仍依赖对原始上下文的扫描或截断。
• 方法：依赖图抽样工具链，再注入 13 类波动，并做一致性、合理性与长度过滤；测试按工具来源分 ID/OOD。策略先自写 BeliefState 块，被覆盖槽位打 stale，再生成动作。两阶段 PPO 先学单步调用，再在多轮上用三层奖励（α=1.0、β=1.0、γ=0.5）和 L_cal、L_ext、L_dist 把跟踪蒸馏进可以不带显式块的策略。
• 结果：Qwen3-8B 上总平均 64.0，OOD Cognitive 36.3，接近 ID 的 36.5，BFCL 63.3，τ2 airline 38.0、retail 34.2（Table 4）。OOD Outcome 81.2，低于 RL-STA 的 83.0。超长 τ2 对话上，正文所称 reward 从 PPO-noCM 的 0.0 到 IACM-RL 的 34.8（Table 6）。L3 干扰下工具调用准确率为 36.8%，PPO-noCM 为 25.6%（Table 8，500 条）。1.7B 上总平均 54.2，但 OOD Cognitive 25.8 低于 MEM1 的 27.9（Table 12）。
• 作者结论：辅助损失与 CM 的增益不重叠，并给出一条在噪声、演化意图下维持长程工具调用的路线。多模态与非工具设定的迁移仍是开放问题（附录 F）。