Shift-Reliance Alignment：按视觉语言模型信任的线索为其排序

研究者提出 Shift-Reliance Alignment（SRA）方法，通过测量视觉语言模型对场景上下文、图中文字等线索的依赖，无需在目标域试跑候选模型即可预测哪个模型误差最低，校准检测器需 650 至 1,200 条有标注目标样本。方法编辑 100 张有标注源图使线索指向错误答案来量化依赖，在九个未参与设计该指标的模型上，依赖程度对物理贴纸攻击误导的预测达到 Spearman 0.93，也能预测模型在未编辑 COCO 照片上的幻觉。在误导性问题占多数的新图像预注册测试中，SRA 选出的模型在 Objects365 和 OpenImages 上将误差从按源域误差选型的 30.4% 降到 18.8%，但在 COCO 上未如预测奏效。研究者同时发布 CueDial 基准，在叠加文字否认可见物体时，按模型置信度选型落后最佳模型超过 40 个百分点，SRA 保持在 3 个百分点以内。