多样性感知红队测试揭示视觉-语言-动作模型的语言脆弱性
[Daily Paper] Uncovering Linguistic Fragility in Vision-Language-Action Models via Diversity-Aware Red Teaming
AI 导读
研究者提出多样性感知具身红队测试（DAERT）框架，用随机策略估值（ROVER）缓解标准 RL 红队的模式坍缩，生成语义等价但句法多样的对抗指令。在 LIBERO 基准上，π0 的任务成功率从 93.33% 降至 5.85%，OpenVLA 从 76.50% 降至 6.25%。针对 π0 优化的指令还能零样本迁移到 3D-Diffuser 和 OpenVLA-7B，作者称这暴露了 VLA 在几何推理与物体可供性上的基础性缺陷。空间类任务比物体类任务更易失败。
相关论文