潜在表征探针让 VLM 在 OCR 不确定时弃答
Reading Between the Lines: Abstaining from VLM-Generated OCR Errors via Latent Representation Probes
AI 导读
研究者提出 Latent Representation Probing（LRP），在 VLM 隐藏状态或注意力模式上训练轻量探针，使其在 OCR 不确定时弃答。三种探针设计在覆盖图像与视频模态的四个基准上，把弃答准确率较最佳基线提升 7.6%。探针可跨不确定来源与数据集泛化，最优信号来自中间层而非最后一层。