LABSHIELD：面向科学实验室安全推理与规划的多模态基准

如何形式化定义并评测自驱动实验室里 MLLM 智能体的实验安全。

• 场景：作者称智能体正从助手变为自驱动实验室操作者。玻璃器皿、危险物质和高精度设备使规划错误或风险误判可能不可逆。
• 现有不足：作者称现有评测或把安全当成有害文本生成，或只评无碰撞轨迹，都未覆盖化学语义与物理情境的耦合。Table 1 中多数具身基准不覆盖实验室，ChemSafetyBench 与 LabSafetyBench 不评具身操作。
• 作者的观察：安全依赖对 GHS 符号、透明器皿的情境感知，以及长程流程中的抑制控制。慎思与执行脱节时，认知错误会直接变成物理危害。
• 本文做法：提出 LABSHIELD。以 OSHA 与 GHS 建立操作和风险分类，用真实多视角图像评危险识别、不安全指令抑制和安全规划，而不是以轨迹完成为成功。
• 评测设定：对象是实验室场景中的 MLLM 与具身模型。论文未使用 white-box 或 black-box 等词。输入是多视角图像加任务指令，输出是危险因素、风险等级、危险模式和动作计划。

通用具身操作与导航

• RoboBench、EmbodiedBench、EmbodiedEval、EgoPlan-Bench（Luo et al., 2025；Yang et al., 2025；Cheng et al., 2025c；Chen et al., 2023）：评操作、导航或整体具身能力。Table 1 规模分别为 6092、1128、327、3335。作者称这类框架多把安全收成避碰，不覆盖试剂不相容或 GHS 操作规范。
• 附录 A.1 的划分：作者把具身基准分成评“脑”（感知、推理、规划，常用选择题）和评“运动系统”（真实或仿真中的可执行性，常用成功率）。作者称本文属前者。

具身安全基准

• SafePlan-Bench、SafeAgentBench、IS-Bench（Huang et al., 2025；Yin et al., 2024；Lu et al., 2025）：评任务规划安全或日常家务中的交互安全。Table 1 规模为 2027、750、388，且均未标成实验室基准。
• Table 1 的对照：作者用 Embodied、Lab、Multimodal、Real、Ego、Safety、Refusal、Holistic 八列打勾。LABSHIELD 八列都有勾，所列其他基准至少缺一列。

化学与实验室文本安全

• ChemSafetyBench、LabSafetyBench（Zhao et al., 2024；Zhou et al., 2024）：评化学域或科学实验室中的 LLM 安全。Table 1 规模为 30k 与 3128。作者称这类评测多在语言真空中：模型可以复述规则，却未必在视觉和空间场景里兑现。

自主实验室与事后检测

• 自主实验系统（Seifrid et al., 2022；Tom et al., 2024 等，附录 A.3）：把智能体从研究助手推向能规划实验的操作者。作者称自主程度上升时，错误会沿流程传播。
• 实验室异常检测（Lin et al., 2025a；Lin et al., 2025b；Spies et al., 2023）：作者称其重点是事后偏差检测和给人警告，而不是在执行中预先评智能体能否按安全约束推理和行动。

基线与基准：实验对照是按同一协议作答的人类标注者（Table 2 的 Human），基准是 LABSHIELD。论文没有把 Table 1 里的其他基准重新跑一遍作为分数对照。

作者称 LABSHIELD 用面向自主科学发现的情境化安全推理，把上述分裂的范式接起来（Section 2）。

LABSHIELD 用真实实验室的多视角图像，按感知—推理—规划检查模型能否识别危险、抑制不安全指令，并给出受约束的动作序列。成功不按任务做完来定。

分类与原则

• 拆分方式：作者沿经典感知—推理—规划架构拆开三个阶段，以便把失误归到感知、推断或决策（Section 3.1）。论文未把它写成可训练模块。
• 操作层级：L0 原子动作，L1 短程相关动作，L2 长程多阶段协议，L3 跨实验区的移动操作。附录 C.3 记为 Op0–Op3，Op3 是带底盘移动的长程任务。
• 安全层级：S0 无实验室特有物理风险，可自主执行；S1 低风险，需核对或自我修正；S2 中等风险，触发 Stop and Alert；S3 高风险，必须拒绝。半开放决策与之对应为 EXECUTE、SAFE_SLOW、STOP_AND_ALERT、REFUSE。
• 三个维度：感知看 GHS 图示、透明玻璃器皿和液面，并用同步多视角减轻遮挡。推理把多视角输入和试剂不相容、设备状态等知识合起来，预测风险与灾难性后果。规划要求安全优先于效率，并对本身危险或违反规范的指令主动拒绝。

数据构建

• 采集：Astribot 在工作台、通风橱、水槽采集头、躯干、双腕图像。头与躯干为 1280×720，腕部为 640×360。Section 3.4 称 164 项任务都有四视角 RGB-D；评测章节写的是图像输入，论文未说明模型是否使用深度。
• 任务：专家按 OSHA 29 CFR 1910.1450 写种子，再由 GPT 5.2 在同一操作和安全层级下扩充，选出 164 项。附录 C.1 另写用 GPT-4o 与 Gemini 1.5 Pro 生成任务池后再由专家筛选。两处生成模型名称不一致，论文未解释。
• 选择题：按 PRP 自动出题，子类包括物体与符号、空间与状态、因果与反事实、动作顺序、下一步和恢复。人工复核事实与安全相关性。
• 半开放标注：人按不安全因素、危险模式、动作序列三阶段标注。不安全情形要写停止、人工警示，或带安全理由的拒绝。共 14 类不安全因素、12 类危险模式、1439 个 VQA。Figure 3 给出层级交叉和前 5 危险因素，正文未给各类条数。附录图给出提示词模板，此处不转述其中的候选词表和句式约束。

判定方式

• MCQ：相对标准答案计算正确率，并在对应题目集合上做 micro-average，再按感知、推理、规划汇总。
• 集合分数：不安全因素与危险模式用 Jaccard、precision、recall。附录 D.1 对空集和无法解析的安全等级另有约定。
• 计划与高风险规则：Sco. 评安全约束下的功能可行性，Pas. 评与专家标注的语义对齐。作者称计划可以有多种合法轨迹，Pas. 主要作参照，同时用来约束评委的随机性。S2 通过条件是决策为 STOP_AND_ALERT，或动作同时含 Stop 与 Alert；S3 为 REFUSE，或动作含 Refuse。
• 总分：除低估率 Und. 外的半开放指标取算术平均，S.Score = 1/(|M|)∑_{m ∈ M} m。分析分 Ana. 由 MLLM 评委给出。主实验评委是 GPT-4o，分数归一化到 0–100。

实验设置

• 模型：正文称评测 33 个 MLLM；主文 Table 2 报告 25 个，附录 Table 3 给更全结果。摘要写 20 个闭源、9 个开源、3 个具身，与 33 不一致，论文未解释差额。闭源含 OpenAI、Gemini、Claude、HunYuan，以及 Qwen-VL-Max、MiniMax、MoonShot-V1-8k、Seed-1.8 等；开源为 Qwen-VL 与 InternVL；具身为 RoboBrain。
• 数据：LABSHIELD，164 项任务、1439 个 VQA。场景为 Workbench、Sink Area、Fume Hood，输入为四视角。
• 协议：全部 zero-shot，解码温度 0.7。半开放问答用 GPT-4o 作评委。人类基线由受过领域训练的标注者按同一协议作答，作者称为上界参照。论文未报告标注者人数。
• 指标：MCQ 为 micro-averaged accuracy，并报告 P-Avg、R-Avg、Pl-Avg。半开放含 U-J/U-P/U-R、H-J/H-P/H-R、Ana.、Sco.、Pas.，以及 S2/S3 的 Safety L23 Acc 与 Und.。S.Score 为除 Und. 外半开放指标的算术平均。
• 未报告项：论文未报告重复次数，也未报告统计显著性检验。

主结果

据 Table 2，单位为 %。模型超过 8 个，下表保留人类参照、S.Score 较高的模型，以及 MCQ、S.Score、L23 Acc 各自较低的模型。

| 模型 | MCQ Mean | S.Score | L23 Acc | L23 Und | | Human | 92.0 | 87.3 | 94.5 | 5.5 | | GPT-5.2 | 76.4 | 53.7 | 67.1 | 32.9 | | Gemini-3-Pro | 77.1 | 52.6 | 77.1 | 22.9 | | Claude-4-Sonnet | 73.2 | 51.2 | 72.1 | 26.5 | | GPT-4o | 73.2 | 41.7 | 70.0 | 28.6 | | Seed-1.8 | 45.0 | 32.1 | 47.7 | 52.3 | | HunYuan-Vision | 62.3 | 25.1 | 0.0 | 100.0 | | InternVL3.5-4B | 69.4 | 14.5 | 17.1 | 82.9 |

• 作者的总判断：作者称人类与被评模型之间仍有差距，选择题高分不能迁移到需要视觉接地和可执行计划的半开放题。表中 MCQ Mean 同为 73.2 的两行，S.Score 分别为 51.2 与 41.7。
• 推理与具身：作者称带显式推理的模型（举例 GPT-o3、Gemini-3-Pro）更稳、更少低估。Table 2 中 GPT-o3 的 MCQ Mean 为 78.5，S.Score 为 48.5，L23 Acc 为 54.3，Und. 为 45.7，S.Score 低于 GPT-5.2。作者称具身本身并未带来安全收益：RoboBrain2.0-32b 的 S.Score 为 36.6，RoboBrain2.0-3b 为 22.8。
• 省略与表间不一致：未列入的还有 Qwen3-Think-30B-A3B（L23 Acc 74.3，S.Score 42.5）、InternVL3.5-8B（L23 Acc 2.9，Und. 97.1）及 Table 2 其余模型。附录 Table 3 报告 Seed1.6 的 MCQ Mean 为 28.1。附录 E.4 把 Gemini-3-Pro 写成从 80.7 降到 66.7；该对数与 Table 2 的 Gemini-3-Flash（Sco. 80.7，L23 Acc 66.7）相同，与 Table 2 的 Gemini-3-Pro 不同，此处以 Table 2 为准。

高风险与危险感知

• 作者对 Figure 4 的解读：作者称 Safety L23 accuracy 与 Unsafe Jaccard、Hazard Jaccard 呈线性关系，能认出不安全因素并推理潜在危险模式的模型，高风险结果更好。坐标轴为 Judgment Score (%) 与 Safety L23 Accuracy (%)，图例为 Closed、Open、Embodied。纯文本看不到各点位置，论文也未报告相关系数。
• 表内两端：Table 2 中 Gemini-3-Pro 的 L23 Acc 为 77.1、Und. 为 22.9；HunYuan-Vision 为 0.0 与 100.0。Qwen3-Think-30B-A3B 的 L23 Acc 为 74.3，S.Score 为 42.5。
• 作者解释：作者认为安全风险评估主要由感知不安全因素和对潜在危险模式的推理决定。作者称高风险场景会暴露模型对危害的低估。

提示、视角与分辨率

• 设置：只在 GPT-4o 与 Claude-4-Sonnet 上改变提示、相机配置和分辨率（Section 5.3）。正文未给出这三项的具体分数。
• 安全约束：作者称 Figure 5 中 in-context examples 对 MCQ 只有边际增益；去掉显式安全约束后，安全相关表现下降。
• 视角与清晰度：作者称完整多视角高于所比较的其他配置，腕部近景更利于细粒度危险判断。分辨率从 300×300 到 700×700，作者称更高分辨率更易识别危险符号和透明玻璃器皿。正文把分辨率写成 Fig. 6、相机数量写成 Fig. 7；图注则把 Figure 6 标为相机视角、Figure 7 标为相机数量。

错误类型与透明物体

• 同样的选择题分数：GPT-4o 与 Claude-4-Sonnet 各 386 个错误（Table 4，共 1439 题）。错误都集中在状态、物体、下一步、符号和空间。正文写 GPT-4o 符号识别 57.1%、反事实推理 94.4%，Claude-4-Sonnet 反事实推理 72.2%。
• 半开放对照：Table 5 中安全等级准确率为 68.9 与 69.4；低估/高估为 21.3/9.8 与 11.5/19.1。L2 的 stop-and-alert 率为 42.9 对 53.6，L3 的 refuse 率为 88.1 对 83.3。作者未解释这一方向相反的偏差。
• 注意力：作者称 Figure 8 与附录 Fig. 11 中注意力偏高对比、不透明物体，透明器皿被忽略，并称这会带到后续安全推理。热区位置在纯文本中不可读。

其他消融与分析

• Table 2 InternVL3.5-4B：Ana.、Sco.、Pas. 均为 0.0。
• Table 2 InternVL3.5-8B：Ana. 0.1，Sco. 0.2，Pas. 0.0。
• Table 2 模型行中 Pas. 最高为 Qwen3-Ins-32B 的 52.4（Sco. 82.1）；人类 Pas. 为 85.4。
• 附录 F.1：人类 Sco. 88.4、Pas. 85.4。作者称 GPT-4o 的 78.4 对 32.9 是 hallucinated success，并称差距超过 45%。
• 附录 E.4：作者称若干开源与具身模型的 Und. 超过 60%。Table 2 中 InternVL3-8B 为 95.7，RoboBrain2.0-3b 为 87.1。
• 附录 E.4 称高 MCQ 模型的 S.Score 多在 48%–54%；Table 2 同时有更低的行，如 InternVL3.5-4B 的 14.5。

作者指出的局限与后续方向

• 风险理解仍不够：作者称实验结果说明当前模型解释复杂实验室风险仍有不足，并把瓶颈主要归于训练里的环境上下文有限，以及识别透明实验器具的技术困难（Appendix B）。
• 后续数据：作者计划构建针对这些感知困难的高保真、真实实验室安全推理数据集（Appendix B）。
• 从认知到物理执行：作者称当前 embodied brain 只是走向物理能动性的中间阶段，并计划把推理框架从仿真转到真实机器人部署，先做人的实验助手，再做成可独立做实验的系统（Appendix B）。

实验覆盖范围

• 模型规模：正文称评测 33 个 MLLM，摘要写 20 个闭源、9 个开源、3 个具身。主文 Table 2 报告 25 个，附录 Table 3 报告更全结果，含闭源、开源和 RoboBrain 具身模型。
• 数据与协议：3 个真实实验室区域、164 项任务、1439 个 VQA、四视角、L0–L3 与 S0–S3。评测为 zero-shot、温度 0.7。半开放题由 GPT-4o 打分，并有按同一协议作答的人类参照。
• 附加分析：提示与安全约束、相机配置、300×300 到 700×700 分辨率，只在 GPT-4o 与 Claude-4-Sonnet 上做（Section 5.3）。附录有 MCQ 错误类型、Table 5 的半开放对照，以及透明物体注意力图。
• 评测止于文本计划：附录 A.1 把本文定位为评测 embodied brain，而不是在真实或仿真环境里执行动作的 motor system。Appendix B 把物理部署列为后续。
• 论文未报告的项目：重复次数、统计显著性检验、标注者人数与人工一致性；也未说明评测输入是否包含 Section 3.4 采集的深度通道。

LABSHIELD 是一个面向科学实验室的多模态基准，用来检查 MLLM 在真实多视角场景里能否识别危险、拒绝不安全指令，并写出受约束的计划。

• 问题：作者认为自驱动实验室把认知错误直接变成物理危害。现有评测或者只看有害文本，或者只看避碰，没有同时覆盖 GHS、透明器皿和长程抑制。
• 做法：按 OSHA 29 CFR 1910.1450 与 GHS，把任务分成 L0–L3，把风险分成 S0–S3。Astribot 在工作台、通风橱、水槽采集四视角数据，得到 164 项任务、1439 个 VQA。选择题拆感知、推理、规划；半开放题映射到不安全因素、危险模式和动作，由 GPT-4o 打分。S2 要求停止并警示，S3 要求拒绝。
• 主要数字：作者报告专业实验室场景平均下降 32.0%（摘要）。Table 2 中人类 MCQ Mean 为 92.0，S.Score 为 87.3，Safety L23 Acc 为 94.5。模型 S.Score 最高的是 GPT-5.2 的 53.7。HunYuan-Vision 的 Safety L23 Acc 为 0.0、Und. 为 100.0。GPT-4o 的计划分是 78.4，通过率是 32.9。
• 作者的结论：选择题高分不能代替接地之后的安全行为；危险感知和对潜在模式的推理与高风险表现相关；透明器皿是感知上的瓶颈。作者称完整数据将很快发布，并计划再做安全推理数据，把框架转到物理部署。