跳到正文
事件观察中

Einsia AI发布长程视觉推理基准 最强模型仅26.7%

2篇报道2个报道来源最近报道

先了解这件事

AI 综述

11月12日,研究者在arXiv发布Visual Cipher Bench,用40个原创视觉谜题评测LLM智能体的长程视觉推理,谜题涵盖空间操作与模拟、逻辑约束与规划、规则归纳、知识解码四类,智能体只能从一至三张黑白线稿中发现解题机制。在8个前沿模型的29种推理努力配置上,最强的GPT-6 Astra(max)准确率仅26.7%,8个模型中5个低于1%;在10道题的子集上,为三个GPT-6模型各补一句不剧透的核心规则提示后,准确率从12.2%升至51.1%,作者据此认为当前智能体的主要瓶颈不在执行多步计划,而在从视觉证据自主发现规则。11月17日机器之心报道称,该基准由Einsia AI旗下Navers Lab发布,8个模型共3480次尝试,29种配置无一超过30%,DeepSeek V4.1 Flash、Qwen 3.8 Max、Kimi K3.1 Pro一题未对,规则归纳一类870次尝试仅对5次。

AI 根据报道生成 · 1 天前更新

后续时间线

11月17日
  1. 公众号 机器之心
    Einsia AI发布Visual Cipher Bench:最强GPT-6 Astra仅答对26.7%

    Einsia AI 旗下 Navers Lab 发布智能体视觉推理基准 Visual Cipher Bench,8 个前沿模型共 3480 次尝试中,最强配置 GPT-6 Astra(max)只答对 26.7%。该基准含 40 道原创视觉谜题、67 张黑白线稿,线索只画在图里,分为空间操作与模拟、逻辑约束与规划、规则归纳、知识解码四类。29 种推理强度配置无一超过 30%,DeepSeek V4.1 Flash、Qwen 3.8 Max、Kimi K3.1 Pro 均一题未对;规则归纳一类 870 次尝试只对了 5 次。研究团队另取 10 道题,为三个 GPT-6 模型各补一句核心规则提示后,总体准确率从 12.2% 升至 51.1%。

11月12日
  1. arXiv
    Visual Cipher Bench:评测 LLM 智能体的长程视觉推理

    研究者推出 Visual Cipher Bench,用 40 个原创视觉谜题评测 LLM 智能体的长程视觉推理,谜题涵盖空间操作与模拟、逻辑约束与规划、规则归纳、基于知识的解码四类,每个只提供一至三张黑白线稿和简短提交说明,智能体须完全从图像中发现解题机制。在 8 个前沿模型的 29 种推理努力(reasoning effort)配置上,最强的 GPT-6 Astra (max) 准确率仅 26.7%,8 个模型中有 5 个低于 1%。在 10 个任务的子集上,一条不剧透的机制提示把准确率从 12.2% 提升到 51.1%。作者据此认为,当前智能体的主要瓶颈不在执行多步计划,而在从视觉证据自主发现规则。

相关讨论

共5条

关注度走势

每天新增来源

4天共5个·最多3(11月17日)·今天0

  • 11月17日新增3个来源(1家媒体、2个账号)
  • 11月18日新增2个来源(0家媒体、2个账号)
  • 11月19日新增0个来源(0家媒体、0个账号)
  • 11月20日新增0个来源(0家媒体、0个账号)

每小时关注度

暂无可比走势