跳到正文
原文

智能体式在线策略蒸馏隐式重塑 LLM 的 ReAct 模式

Agentic On-Policy Distillation Implicitly Reshapes LLMs' ReAct Patterns

Hugging Face Daily Papers· arXiv:2611.19244· Deyang Kong, Zhaoyi Li, Sijian Ren, Yuan Wei, Ying Wei, Defu Lian, Shikun Zhang, Wei Ye·本站收录· 2 天前· 原文发表AI 动态· 扫描记录里的位置 →
AI 导读

论文研究了在线策略蒸馏(OPD)如何跨数学、ALFWorld 和 τ²-bench 三个领域重塑语言模型智能体的 ReAct 交互模式,覆盖推理、动作和观察获取三方面。结果显示,通用推理监督使数学任务的工具调用比例从 70.4% 降至 14.4%,同时准确率从 16.7% 升至 38.0%;代码解释器监督改善了家庭动作和零售查询表现。而 ALFWorld 监督使 τ²-bench 准确率从 41.5% 跌至 6.6%,伴随频繁违反用户信息依赖的工具调用。作者提出仅用源域训练轨迹的选择性 OPD,依据领域特定 RL 前后教师偏好的变化保留前 95% 的位置,将 τ² 准确率从 11.5% 提升至 29.9%,代价是源域学习受损。

阅读原文huggingface.co