SAFIRE：面向多模态大语言模型细粒度火焰与烟雾理解的安全关键基准
SAFIRE: Safety-Critical Benchmark for Fine-grained Fire and Smoke Understanding in Multimodal LLMs
AI 导读
研究者提出面向多模态大语言模型（MLLM）的大规模火焰与烟雾理解基准 SAFIRE，对 10 个开源 MLLM（8B-38B）的评测得到平均 61.9% 的准确率，暴露出安全关键推理方面的明显差距。基准包含来自 20 个场景的 83K 张带标注图像，并从 9.7K 张图像子集生成 193K 道多选题视觉问答（MCVQA），覆盖从基础感知到高阶推理的 10 个评测维度，标注质量由 GPT-5.4 辅助的多阶段校验流程结合 MLLM 多数投票保证。实验还显示，仅用 7% 的领域特定数据适配视觉编码器，就能把火灾场景分类准确率从 20.1% 提升到 64.5%。数据集、模型和代码发布在 https://risys-lab.github.io/SAFIRE/。