VLA 模型综述:概念、进展、应用与挑战
[Daily Paper] Vision-Language-Action Models: Concepts, Progress, Applications and Challenges
AI 导读
Sapkota 等人的 VLA 模型综述梳理了 VLA 的架构、训练策略与应用,认为安全风险集中在跨模态对齐的脆弱性上。跨模态注意力既是 VLA 将语言指令落到视觉观察的机制,也是对抗补丁攻击的利用点:扰动像素改变注意力分布,可令模型基于错误视觉前提执行危险动作。LIBERO、MetaWorld、RLBench 等基准仅在接近理想条件下测任务成功率,长时程安全几乎不被测量,分布外检测被当作次要问题。