EventPast event
ARC Prize 发布 ARC-AGI-2 推理基准
Start here
AI overview
2026年10月3日，ARC Prize Foundation 发布 ARC-AGI-2，即抽象与推理语料库（ARC）的第二代版本。该基准延续网格输入输出示例的题型，要求系统推断变换规则并应用到新测试输入，每个测试用例允许两次尝试（pass@2）。基准共 1,360 道题，其中训练题 1,000 道、评测题 360 道，评测题在公开、半公开和私有三个集合中各 120 道。相比初代，ARC-AGI-2 移除了容易被暴力程序搜索破解的题目，新增题目针对符号解释、组合等方向。报道称纯 LLM 在该基准上的得分为 0%。
Generated by AI from reports · Updated 10 days ago
Progress timeline
Oct 4
- RedditReddit r/MachineLearning· DiscussionTop ARC-ΑGI-3 scores on Kaggle just went from 7% to 56% [N](opens the original post in a new tab)
Date not provided
- Date not givenepoch.aiARC Prize Foundation 发布 ARC-AGI-2 基准，纯 LLM 得分为 0%
ARC Prize Foundation 推出 ARC-AGI-2，这是抽象与推理语料库（ARC）的第二代版本，延续网格输入输出示例的题型，要求系统推断变换规则并应用到新测试输入，每个测试用例允许两次尝试（pass@2）。该基准共 1,360 道题，其中 1,000 道训练题、360 道评测题，评测题在公开、半公开和私有三个集合中各 120 道。相比初代，ARC-AGI-2 移除了容易被暴力程序搜索破解的题目，新增题目针对符号解释、组合推理和上下文规则应用等薄弱环节。超过 400 人参与的人类对照测试显示，每道评测题都至少有两人能在两次尝试内解出，人类平均得分 60%。发布时纯 LLM 得分为 0%，前沿推理系统仅有个位数百分比。
Related discussion
Total 1 items
- Older than 72 hours · Not included in the 72-hour figures
- RedditReddit r/MachineLearningTop ARC-ΑGI-3 scores on Kaggle just went from 7% to 56% [N](opens the original post in a new tab)
Attention trend
New sources per day
- Oct 3: 1 new sources (1 outlets, 0 accounts)
- Oct 4: 1 new sources (0 outlets, 1 accounts)
- Oct 5: 0 new sources (0 outlets, 0 accounts)
- Oct 6: 0 new sources (0 outlets, 0 accounts)
- Oct 7: 0 new sources (0 outlets, 0 accounts)
- Oct 8: 0 new sources (0 outlets, 0 accounts)
- Oct 9: 0 new sources (0 outlets, 0 accounts)
- Oct 10: 0 new sources (0 outlets, 0 accounts)
- Oct 11: 0 new sources (0 outlets, 0 accounts)
- Oct 12: 0 new sources (0 outlets, 0 accounts)
- Oct 13: 0 new sources (0 outlets, 0 accounts)
- Oct 14: 0 new sources (0 outlets, 0 accounts)