跳到正文
原文
Hugging Face Daily Papers· arXiv:2610.06496·本站收录 · 原文发表

论文提出 Intent-Eval 基准,揭示多轮对话中模型混淆已否决意图

You Changed Your Mind, The Model Didn't: Demystifying Intent in Multi-Turn Dialogue

AI 导读

论文发现大语言模型在多轮任务中会把用户已否决或已替换的提议当作仍然生效的需求,即使用户最终意图未变,任务执行也会被带偏。作者提出 Intent-Eval 受控基准,覆盖工具操作、代码、数据库和数学任务,模型在已否决提议和被替换需求上都表现脆弱,准确率下降会随交互持续而加深或延续。为此作者提出 Intent-OPSD,一种决策条件下的同策略自蒸馏框架,Teacher 与 Student 由同一模型初始化,冻结的 Teacher 依据与用户决策匹配的完整任务提供生效意图监督,训练 Student 在完整对话上遵循反映用户意图的生效需求。

阅读原文huggingface.co