Einsia AI发布长程视觉推理基准 最强模型仅26.7%
先了解这件事
11月12日,研究者在arXiv发布Visual Cipher Bench,用40个原创视觉谜题评测LLM智能体的长程视觉推理,谜题涵盖空间操作与模拟、逻辑约束与规划、规则归纳、知识解码四类,智能体只能从一至三张黑白线稿中发现解题机制。在8个前沿模型的29种推理努力配置上,最强的GPT-6 Astra(max)准确率仅26.7%,8个模型中5个低于1%;在10道题的子集上,为三个GPT-6模型各补一句不剧透的核心规则提示后,准确率从12.2%升至51.1%,作者据此认为当前智能体的主要瓶颈不在执行多步计划,而在从视觉证据自主发现规则。11月17日机器之心报道称,该基准由Einsia AI旗下Navers Lab发布,8个模型共3480次尝试,29种配置无一超过30%,DeepSeek V4.1 Flash、Qwen 3.8 Max、Kimi K3.1 Pro一题未对,规则归纳一类870次尝试仅对5次。
AI 根据报道生成 · 1 天前更新
后续时间线
- 公众号 机器之心Einsia AI发布Visual Cipher Bench:最强GPT-6 Astra仅答对26.7%
Einsia AI 旗下 Navers Lab 发布智能体视觉推理基准 Visual Cipher Bench,8 个前沿模型共 3480 次尝试中,最强配置 GPT-6 Astra(max)只答对 26.7%。该基准含 40 道原创视觉谜题、67 张黑白线稿,线索只画在图里,分为空间操作与模拟、逻辑约束与规划、规则归纳、知识解码四类。29 种推理强度配置无一超过 30%,DeepSeek V4.1 Flash、Qwen 3.8 Max、Kimi K3.1 Pro 均一题未对;规则归纳一类 870 次尝试只对了 5 次。研究团队另取 10 道题,为三个 GPT-6 模型各补一句核心规则提示后,总体准确率从 12.2% 升至 51.1%。
- arXivVisual Cipher Bench:评测 LLM 智能体的长程视觉推理
研究者推出 Visual Cipher Bench,用 40 个原创视觉谜题评测 LLM 智能体的长程视觉推理,谜题涵盖空间操作与模拟、逻辑约束与规划、规则归纳、基于知识的解码四类,每个只提供一至三张黑白线稿和简短提交说明,智能体须完全从图像中发现解题机制。在 8 个前沿模型的 29 种推理努力(reasoning effort)配置上,最强的 GPT-6 Astra (max) 准确率仅 26.7%,8 个模型中有 5 个低于 1%。在 10 个任务的子集上,一条不剧透的机制提示把准确率从 12.2% 提升到 51.1%。作者据此认为,当前智能体的主要瓶颈不在执行多步计划,而在从视觉证据自主发现规则。
相关讨论
- X@AiwithZohaibGPT-6 Astra gets to 26.7% on Visual Cipher Bench at max effort, up from 5.0% at low, and that's the best anyone did, so…(新标签页打开原帖)
67 赞·11月18日 23:41采集
- X@RAVIKUMARSAHU78Visual Cipher Bench cranked GPT-6 Astra's effort up and it climbed from 5.0% to 26.7%, but Claude Opus 5.5 slid from 21…(新标签页打开原帖)
167 赞·11月18日 23:41采集
- X@Mr_Shahbaz_AiGPT-6 Astra on max effort gets 26.7% on Visual Cipher Bench and that's the best of the lot. Three other models didn't s…(新标签页打开原帖)
97 赞·11月18日 23:41采集
- X@EinsiaAICoding agents can now grind through long-horizon tasks, as long as they get a written spec and a test suite. What happ…(新标签页打开原帖)
124 赞·11月18日 23:41采集
- 网页机器之心最强GPT-6 Astra只对26.7%,Einsia AI发布的Visual Cipher Bench难住顶级AI(新标签页打开原帖)
关注度走势
每天新增来源
- 11月17日新增3个来源(1家媒体、2个账号)
- 11月18日新增2个来源(0家媒体、2个账号)
- 11月19日新增0个来源(0家媒体、0个账号)
- 11月20日新增0个来源(0家媒体、0个账号)