跳到正文
原文

更努力思考并不能带来更好的选择:推理力度提高 LLM 购物智能体的置信度而非正确率

Thinking Harder Doesn't Lead to Better Choices: Reasoning Effort Increases the Confidence but Not the Correctness of LLM Shopping Agents

Hugging Face Daily Papers· arXiv:2611.22033· Adi Krishnamoorthy, X. Y. Han·本站收录· 15 小时前· 原文发表AI 动态· 扫描记录里的位置 →
AI 导读

研究者在基于 WebShop、Amazon 的 SQID 和 Wayfair 的 WANDS 平台构建的三个商品选择基准上测试了十个前沿模型,发现加大推理力度并未在统计意义上提升 LLM 购物智能体的选购质量,却以统计显著的方式抬高了其自报置信度,论文称额外的思考买到的是自信而非正确。这类智能体处理含视觉与文本的多模态商品信息,代表消费者推荐购买。论文还测量了模型校准程度,即自报置信度与真实正确率的匹配程度,发现多数模型在各推理力度水平上都校准不佳。错误在各模型间高度相关,一个模型在某任务出错时,其他几个模型也常在同一任务出错;在多个模型都出错的任务上,大量模型会选中同一件错误商品。

阅读原文huggingface.co