SocialGrid：具身多智能体系统中的规划与社会推理基准
SocialGrid: A Benchmark for Planning and Social Reasoning in Embodied Multi-Agent Systems
AI 导读
论文提出 SocialGrid，一个受《Among Us》启发的具身多智能体环境，用于评估 LLM 智能体的规划、任务执行与社会推理能力。测试中，最强的开源模型 GPT-OSS-120B 在任务完成和规划上的准确率低于 60%，智能体会陷入重复行为或无法通过基本障碍。SocialGrid 提供可选的 Planning Oracle，将社会推理与规划缺陷分开评估；即使规划辅助提升任务完成率，社会推理仍是瓶颈，各规模智能体对欺骗的识别接近随机水平，依赖浅层启发式而非积累行为证据。环境还给出自动失败分析和细粒度指标，并用对抗联赛的 Elo 评分建立排行榜。