跳到正文
原文
Hugging Face Daily Papers· arXiv:2610.31066·本站收录· 原文发表

Dual Exam:多模态智能体与世界模型的受控评测

Dual Exam: Controlled Evaluation of Multimodal Agents and World Models

AI 导读

研究者提出 Dual Exam 基准,将多模态智能体与世界模型分开做受控评测,一项 150 例的耦合配对试点未取得任何任务成功。智能体赛道在固定环境响应机制下比较 10 种配置在 1,088 个条目上的表现,覆盖 15 个报告类别;世界模型赛道包含 8 个场景的 400 个案例,15 种配置全覆盖、1 种覆盖 6 个场景,横跨物理、数字、社会和科学领域。GPT 6 Astra 以 31.3 领先按案例加权的智能体指数,GPT-Image-2 以 21.7 领先全覆盖世界模型总榜,两套分数因任务和指标不同不可直接比较。结果显示任务表现不均衡,并存在未能保留任务相关状态的失败,其对耦合成功或持续相互学习的预测价值尚待确立。

阅读原文huggingface.co