事件历史事件
ARC Prize 发布 ARC-AGI-2 推理基准
先了解这件事
AI 综述
2026年10月3日，ARC Prize Foundation 发布 ARC-AGI-2，即抽象与推理语料库（ARC）的第二代版本。该基准延续网格输入输出示例的题型，要求系统推断变换规则并应用到新测试输入，每个测试用例允许两次尝试（pass@2）。基准共 1,360 道题，其中训练题 1,000 道、评测题 360 道，评测题在公开、半公开和私有三个集合中各 120 道。相比初代，ARC-AGI-2 移除了容易被暴力程序搜索破解的题目，新增题目针对符号解释、组合等方向。报道称纯 LLM 在该基准上的得分为 0%。
AI 根据报道生成 · 10 天前更新
后续时间线
10月4日
- RedditReddit r/MachineLearning· 讨论Top ARC-ΑGI-3 scores on Kaggle just went from 7% to 56% [N]（新标签页打开原帖）
日期未标
- 日期未标epoch.aiARC Prize Foundation 发布 ARC-AGI-2 基准，纯 LLM 得分为 0%
ARC Prize Foundation 推出 ARC-AGI-2，这是抽象与推理语料库（ARC）的第二代版本，延续网格输入输出示例的题型，要求系统推断变换规则并应用到新测试输入，每个测试用例允许两次尝试（pass@2）。该基准共 1,360 道题，其中 1,000 道训练题、360 道评测题，评测题在公开、半公开和私有三个集合中各 120 道。相比初代，ARC-AGI-2 移除了容易被暴力程序搜索破解的题目，新增题目针对符号解释、组合推理和上下文规则应用等薄弱环节。超过 400 人参与的人类对照测试显示，每道评测题都至少有两人能在两次尝试内解出，人类平均得分 60%。发布时纯 LLM 得分为 0%，前沿推理系统仅有个位数百分比。
相关讨论
共1条
- 72 小时以前 · 不计入 72 小时的数字
- RedditReddit r/MachineLearningTop ARC-ΑGI-3 scores on Kaggle just went from 7% to 56% [N]（新标签页打开原帖）
关注度走势
每天新增来源
- 10月3日新增1个来源（1家媒体、0个账号）
- 10月4日新增1个来源（0家媒体、1个账号）
- 10月5日新增0个来源（0家媒体、0个账号）
- 10月6日新增0个来源（0家媒体、0个账号）
- 10月7日新增0个来源（0家媒体、0个账号）
- 10月8日新增0个来源（0家媒体、0个账号）
- 10月9日新增0个来源（0家媒体、0个账号）
- 10月10日新增0个来源（0家媒体、0个账号）
- 10月11日新增0个来源（0家媒体、0个账号）
- 10月12日新增0个来源（0家媒体、0个账号）
- 10月13日新增0个来源（0家媒体、0个账号）
- 10月14日新增0个来源（0家媒体、0个账号）