ARC Prize Foundation 发布 ARC-AGI-2 基准，纯 LLM 得分为 0%

ARC Prize Foundation 推出 ARC-AGI-2，这是抽象与推理语料库（ARC）的第二代版本，延续网格输入输出示例的题型，要求系统推断变换规则并应用到新测试输入，每个测试用例允许两次尝试（pass@2）。该基准共 1,360 道题，其中 1,000 道训练题、360 道评测题，评测题在公开、半公开和私有三个集合中各 120 道。相比初代，ARC-AGI-2 移除了容易被暴力程序搜索破解的题目，新增题目针对符号解释、组合推理和上下文规则应用等薄弱环节。超过 400 人参与的人类对照测试显示，每道评测题都至少有两人能在两次尝试内解出，人类平均得分 60%。发布时纯 LLM 得分为 0%，前沿推理系统仅有个位数百分比。