AI 智能体在长期决策上品味不佳,新基准 Taste-Bench 证明这一点
AI agents have bad taste in long-term decisions and a new benchmark proves it
AI 导读
研究者发布 Taste-Bench 基准,用智能体轨迹分叉处的二选一衡量其长期决策判断力,14 个受测模型中最高的 GPT-5.6 Sol 平均准确率 59.7%,GPT-5.5 为 59.5%,其余模型明显更低。基准含 502 道题,纯猜测为 25%;当关键线索在先前步骤已可见时全模型平均准确率 62.3%,线索只在大量后续工作后才出现时降至 21%,提高推理预算几乎没有改善。研究者还把教师模型的判断蒸馏进 Qwen3.6-27B,未见任务上的准确率从 30% 升至 47.9%,在 41 个留出的 SWE-bench Pro 任务上把成功率从 14.6% 提高到 33.7%。基准与代码已公开。
推荐理由
Taste-Bench 用轨迹分叉处的二选一测出模型长期决策判断力,并显示蒸馏可把这种判断迁移到新任务。