Diversity-aware red teaming reveals language vulnerabilities in vision-language-action models
[Daily Paper] Uncovering Linguistic Fragility in Vision-Language-Action Models via Diversity-Aware Red Teaming
AI summary
研究者提出多样性感知具身红队测试(DAERT)框架,用随机策略估值(ROVER)缓解标准 RL 红队的模式坍缩,生成语义等价但句法多样的对抗指令。在 LIBERO 基准上,π0 的任务成功率从 93.33% 降至 5.85%,OpenVLA 从 76.50% 降至 6.25%。针对 π0 优化的指令还能零样本迁移到 3D-Diffuser 和 OpenVLA-7B,作者称这暴露了 VLA 在几何推理与物体可供性上的基础性缺陷。空间类任务比物体类任务更易失败。
Related papers