BEAKER：面向自驱动化学实验室具身大脑的专家标注基准

研究者提出 BEAKER 基准，用于评估自驱动化学实验室中作为具身大脑的多模态大语言模型，包含1000个专家标注问答样本，覆盖11种图像和视频任务类型。样本由化学与具身 AI 专家人工创建和审核，不借助 AI 生成或标注，任务涵盖可供性定位、轨迹规划、设备与状态识别、安全识别、装置搭建、操作与步骤推理以及时序流程推理。研究在离线单轮设置下评测了28个通用、科学、化学专用和具身 MLLM，结果显示这些模型能跟随视频中的粗略实验流程，但在把动作落到可操作区域与可行轨迹、识别细粒度实验室设备状态和安全规范、以及为中等长度流程排序步骤上仍有困难。