研究用因果审计揭示多模态模型视觉工具调用的假象
The Illusion of Visual Tool-Use: A Causal Audit of Thinking with Images
AI 导读
研究者对多模态大语言模型的“thinking-with-images”范式做因果审计，发现视觉工具调用带来的准确率提升并非普遍来自返回的视觉证据。作者把视觉工具使用建模为因果图，区分观察中介路径与动作引发的捷径，并在策略、轨迹、步骤三个层面做干预，其中步骤层面的 Visual Evidence Gain 用于分离单次返回观察的贡献。在六个代表性模型和五个细粒度感知基准上，审计发现两类失败模式：Calling Without Looking 中返回的观察对答案没有因果影响，Looking Without Planning 中观察有信息但调用时序不连贯。轨迹层面的诊断显示，策略层面的准确率增益集中在少数校准良好的样本上，作者将这种总体增益与因果无效并存的现象称为视觉工具使用的假象。代码已公开，论文被 EMNLP 2026 Findings 收录。