Visual Cipher Bench:评测 LLM 智能体的长程视觉推理
Visual Cipher Bench: Benchmarking LLM Agents on Long-Horizon Visual Reasoning
AI 导读
研究者推出 Visual Cipher Bench,用 40 个原创视觉谜题评测 LLM 智能体的长程视觉推理,谜题涵盖空间操作与模拟、逻辑约束与规划、规则归纳、基于知识的解码四类,每个只提供一至三张黑白线稿和简短提交说明,智能体须完全从图像中发现解题机制。在 8 个前沿模型的 29 种推理努力(reasoning effort)配置上,最强的 GPT-6 Astra (max) 准确率仅 26.7%,8 个模型中有 5 个低于 1%。在 10 个任务的子集上,一条不剧透的机制提示把准确率从 12.2% 提升到 51.1%。作者据此认为,当前智能体的主要瓶颈不在执行多步计划,而在从视觉证据自主发现规则。
相关热点
1 个事件 · 1 条新闻提到
提到这篇论文的新闻
Einsia AI发布长程视觉推理基准 最强模型仅26.7%
- 公众号 机器之心引用了论文编号或链接Einsia AI发布Visual Cipher Bench:最强GPT-6 Astra仅答对26.7%
论文题目:Visual Cipher Bench: Benchmarking LLM Agents on Long-Horizon Visual Reasoning
阅读原文