视觉语言模型能否评判动作质量？一项实证评估
[Daily Paper] Can Vision Language Models Judge Action Quality? An Empirical Evaluation
AI summary
一项针对视觉语言模型的实证评估发现，Gemini 3.1 Pro Preview、Qwen3-VL-235B-A22B 与 InternVL3.5-241B-A28B 在动作质量评估（AQA）任务上仅略高于随机水平。评测覆盖 LLM-FMS、EgoExo-Fitness、Fitness-AQA、FineFS 和 MTL-AQA 五个数据集，分类任务的平衡准确率略高于随机，回归任务的 Spearman 秩相关偏弱且不稳定，其中 Gemini 3.1 Pro Preview 在静态图像的 LLM-FMS 上表现相对更好。作者称模型出现模态崩塌，语言先验压过视觉证据，倾向于预设动作执行正确；仅调换提示词极性即可让整体判断翻转，只提供骨架渲染还会导致性能崩溃。对推理轨迹的分析显示模型用常识替代对画面的观察，作者据此认为这类模型目前不适合安全攸关的 AQA 部署。