DominoBench:从静态图像评估多步物理推理
DominoBench: Evaluating Multi-Step Physical Reasoning from Still Images
AI 导读
研究者发布 DominoBench 基准,测试显示当前视觉语言和多模态模型在无辅助时无法从静态图像可靠预测物理结果。该基准用物理模拟器判定 2D 刚体场景静态图像的结果,含 854 个条目、427 组最小对,每组仅一个数量变动一到三格就决定一个人的生死,每个条目配有以确切计算收尾的四级提示阶梯,共测试 10 个模型族的 30 个模型。Anthropic、Google 和 OpenAI 的前沿模型在无辅助时对命运翻转的那个人物判断正确率至多 72%,同时答对一组内两题的至多 34%;指出决定性步骤或以文本给出精确几何帮助都很小。一旦写出决定性计算及所需数量(包括静态图像无法显示的速度),同一批模型在该项上达到 82-92%,小型开源权重模型仍接近随机。