超越标准基准：系统审计视觉语言模型跨多样任务对自然语义变化的鲁棒性
Beyond Standard Benchmarks: A Systematic Audit of Vision-Language Model's Robustness to Natural Semantic Variation Across Diverse Tasks
AI 导读
一项研究系统审计 CLIP、robust CLIP、BLIP2 和 SigLIP2 的自然对抗鲁棒性，发现 robust CLIP 可能放大自然对抗脆弱性。评估使用排版攻击、ImageNet-A 和自然语言诱导对抗样本，覆盖零样本图像分类、语义分割和视觉问答。CLIP 模型在自然语言诱导对抗样本上性能显著下降；可解释分析用于定位失败模式。