研究用因果审计揭示多模态模型视觉工具调用的假象

返回的视觉观察是否因果地改变最终答案，还是聚合准确率增益造成了工具被有效使用的印象。

• 出现场景： thinking-with-images让多模态大模型把推理与crop-and-zoom交错进行，以收集单次全图之外的细粒度证据。作者称实践中相对直接推理往往只有边际甚至负向的准确率变化，token成本却高得多；工具轨迹还可能在直接预测已经答对的题上反复裁到无关区域，并得到无效或错误答案（Fig. 1）。
• 既有不足： 作者称增益常被归因于更高分辨率证据。Wei et al. (2026)、Ma et al. (2026)、Hou et al. (2025)、Xu et al. (2025) 等质疑仍停在策略或行为层，没有在步骤上把观察内容的作用和“发出了调用”本身分开。
• 路径区分： 除(I, Q)→Y的直接路径外，工具轨迹还有观察介导路径（动作选出区域，返回的crop影响答案），以及只经动作轨迹T影响答案的动作诱发捷径（调用本身即可改变答案，与观察内容无关）。
• 提出的审计： 将视觉工具使用写成因果图，用策略、轨迹、步骤三级干预审计；步骤级估计量Visual Evidence Gain隔离单次返回观察的贡献。作者把策略与观察效用脱节称为policy miscalibration，并区分Calling Without Looking与Looking Without Planning。四组诊断把策略级准确率增益分解到各组。作者将“聚合有增益、但大范围轨迹上观察并未因果生效”称为illusion of visual tool-use。

引言和§2把相关工作分成视觉工具使用，以及推理中间产物是否因果相关于最终答案。

带图像思考与视觉工具

• 主动视觉操作： OpenAI (2025b)、Su et al. (2025)、Zhang et al. (2025b)、Zheng et al. (2025)、Wang et al. (2025b)、Lai et al. (2025)、Bai et al. (2025)、Zhang et al. (2026) 为多模态模型配备crop-and-zoom等操作。论文称增益通常被归因于更高分辨率证据。
• 对增益来源的质疑： Wei et al. (2026) 报告边际改进悖论；Ma et al. (2026) 把大部分改进归因于内在学习而非工具掌握；Hou et al. (2025) 与Xu et al. (2025) 指出不忠实的工具使用。论文称这些分析停在策略或行为层。
• 另一种错觉： Wang et al. (2025a) 描述thinking with images的错觉：视觉动作可以看起来像理由，却只是弱接地，并提出过程感知训练。论文称过程监督能提高调用质量，但不决定是否需要调用；ViRL平均每例仍约一次视觉动作，而许多例子直接推理已经可解。

因果分析与推理忠实性

• 中间产物是否进入答案： Turpin et al. (2023)、Lanham et al. (2023)、Karimi et al. (2023)、Chen et al. (2024a,b)、Bentham et al. (2024)、Chen et al. (2025)、Han et al. (2025) 考察推理中间产物是因果关联最终答案，还是事后合理化。
• 所用因果量： 框架采用Pearl (2009) 的do-干预。步骤级估计量对应Pearl (2001)、Robins and Greenland (1992)、Avin et al. (2005) 的自然间接效应，用来分离经由中介的那一部分。

基线与基准

• 基线方法： 工具策略πtool对照直接策略πdirect（无工具系统提示，权重与解码相同）。基准为V*、HR-Bench（4K/8K）、VisualProbe、MME-RealWorld-Lite。

作者的定位是：把诊断推到步骤级因果视角，并定量分解改进来自哪些轨迹。其illusion of visual tool-use是诊断性主张：聚合增益可以造成视觉工具使用普遍有效的印象，但许多使用工具的轨迹上，返回观察并未中介答案。

把一次视觉工具rollout写成结构因果模型，用三级干预把观察介导路径从动作诱发捷径里分开，再用四组诊断分解策略级准确率增益。

因果图

变量为图像I、问题Q、各步动作T、返回观察O和最终答案Y（Fig. 2）。同一策略π既产生工具动作也产生答案；视觉引擎按动作从I裁出观察。

• 三条路径： 无工具的直接路径；意图中的观察介导路径T→O→Y；不希望出现的动作诱发捷径，即调用痕迹本身改变答案，与O的内容无关。文中例子是一次zoom调用提高对已有假设的置信，而不依赖crop内容。
• 工具形式： 研究的操作是CROP-AND-ZOOM。DeepEyes、Pixel Reasoner、Mini-o3、Qwen3-VL-4B/8B用固定动作模式（界面式）；Thyme由模型生成Python，在沙箱中做同类裁剪（代码式，App. A.1）。

策略级与轨迹级干预

• 策略级： 比较do(π=πtool)与do(π=πdirect)（Fig. 3(a)）。πdirect换用无工具系统提示并关闭工具通道，权重与解码不变。估计量是准确率上的平均处理效应，Y*为标准答案。作者称这一ATE把观察介导路径和动作捷径混在一起。
• 轨迹级： 推理时把每次工具输出换成破坏后的观察（Fig. 3(b)）。后续动作依赖先前观察，动作轨迹和停止决定也可能改变，因此ATE是破坏的总效应，包含证据移除以及修复循环、预算耗尽。作者采用在线破坏：重放原始思考会把干净观察的信息泄漏到后续决定；只重放坐标又不能让策略适应被破坏的观察（App. A.3）。
• 破坏与上限： 主设置RANDOM-CROP从I的另一位置采相同形状的crop，以保留模态、源图和裁剪外观。NOISE与BLANK放在附录。另报Hit-MaxT，即干预轨迹触及调用上限的比例。各模型Tmax均为12（Table 7）。

步骤级Visual Evidence Gain

在固定前缀上替换单次观察，不另跑自由生成。检查点保留到当前思考块，接上字面字符串<answer>，读下一token的logits，再在候选标签上做受限softmax。

概率差为g(C)=P̃(Y^⋆∣ C)−P̃(y_err∣ C)，即正确选项与最强干扰项之差，取值在−1到1。调用前记为g_{i−1}；同一动作配真实观察或反事实观察后，分别得到两个间隙。边际增益是调用前后的差。反事实观察是I上另一位置的同形crop（Fig. 3(c)）。

视觉证据增益为VEG_i=Δ M_i^real−Δ M_i^cf。前缀、动作和<answer>标记在两支中相同，动作诱发捷径相减抵消，VEG是返回视觉内容沿T→O→Y的局部自然间接效应估计。每个值对3个独立反事实crop取平均（App. A.3）。

• 饱和与过度延伸： 若g_{i−1}>τsat，后续改进空间小。主文τsat=0.95，因为超过该值后留给后续调用的改进余地小。另报全调用、按是否饱和、按轨迹最终对错拆开的VEG，以及|VEG|<0.01与|VEG|>0.1的比例。POER是在首次调用前未饱和且k≥2时，调用前已超过τsat仍继续调用的比例。
• 覆盖哪些模型： 主文步骤级报告DeepEyes、Mini-o3、Qwen3-VL-8B，用以覆盖前两级干预看到的不同策略行为。开放式对应读出在附录D，用长度归一化的标准答案对数似然，不另跑自由回答；该量与选择题VEG的尺度不同。

四组诊断与增益分解

诊断不是学习得到的分类器，也不用结果标签拟合边界。特征来自原始rollout：调用次数n、首次调用前间隙g0（n=0时为+∞）、轨迹内最大VEG、是否触及上限、POER。ε=0.01，因为低于一个概率点的变化被当作近零视觉贡献。

1. n=0为No-call。
2. g0>τsat或最大VEG<ε为Mode 1（CWL）：调用前已接近天花板，或整条轨迹没有观察带有超出捷径的视觉证据。
3. 否则若POER或触及上限为1，为Mode 2（LWP）：观察有信息，但停止或规划失败。
4. 其余为Calibrated。

策略级ATE写成各组比例乘该组上工具与直接推理的平均准确率差之和。§5提出一个假设：只看结果的强化学习会同时填满两种失败组，因为奖励调用行为会强化T→Y捷径，而对冗余或有害中间步没有惩罚会奖励Mode 2。作者称该机制未被训练实验确立。

实验设置

• 模型： 六个公开检查点，无额外微调：DeepEyes、Pixel Reasoner、Mini-o3（骨干均为Qwen2.5-VL-7B，界面式）、Qwen3-VL-8B、Qwen3-VL-4B（界面式）、Thyme（Qwen2.5-VL-7B，代码式）。解码按各官方配置（Table 7）：DeepEyes与Thyme为贪心，其余为随机；调用上限均为12。
• 基准： V*（选择题，191）、HR-Bench-4K/8K（选择题，各800）、VisualProbe（开放式，Easy/Medium/Hard为141/268/106，正文合并为一列）、MME-RealWorld-Lite（选择题，1919）（Table 8）。
• 对照与指标： 同一权重下的πtool与πdirect。主指标是准确率及策略级、轨迹级ATE（百分点）；轨迹级另报Hit-MaxT。步骤级报边际增益、VEG、饱和率、POER和组贡献。
• 判定： 选择题规范化后精确匹配。开放式先抽最终答案做精确匹配，失败则由Qwen3-30B-A3B-Instruct-2507贪心、关闭思考模式，输出对/错；任一阶段判对即算对。论文未报告该评审与人工的一致性。
• 步骤级范围： 主文为DeepEyes、Mini-o3、Qwen3-VL-8B；V*上的四组分解还包含Qwen3-VL-4B。每个VEG对3个反事实crop平均。

主结果

策略级ATE（pp）为πtool相对πdirect。Table 1同时给出二者准确率，下表只列ATE。

Swipe horizontally to read the table

模型	V*	HR-4K	HR-8K	VisualProbe	MME-Lite
DeepEyes	0.0	−1.4	−0.6	+0.0	−0.2
Pixel Reasoner	+3.6	−0.4	+4.2	+7.6	+10.0
Mini-o3	+5.5	+4.8	+5.8	+21.3	+11.9
Qwen3-VL-8B	+6.9	+5.0	+3.8	+11.7	−3.7
Qwen3-VL-4B	+4.4	0.0	−1.6	+6.8	−1.3
Thyme	+3.0	+3.6	+4.8	+2.6	+6.3

• 作者解读： ATE随模型变化大：DeepEyes基本为零；Pixel Reasoner、Qwen3-VL-4B、Thyme较小；Mini-o3与Qwen3-VL-8B较大，例子是VisualProbe上的Mini-o3。表中也有负格，包括两个Qwen3-VL在MME-RealWorld-Lite，以及Qwen3-VL-4B在HR-Bench-8K。
• 作者称 改进有限且不均衡。该ATE混有观察介导路径和动作诱发捷径，不能据此认定增益来自视觉证据。
• Fig. 1： 转换后的坐标文字不可读，不转写柱上数字。图注称尽管token多得多，工具策略相对直接推理只有边际或没有改进。Fig. 1(b)是Mini-o3在一条V*实例上的定性失败：直接预测正确，工具推理反复裁剪无关区域，得到无效或错误答案。

轨迹级观察破坏

• 设置与结果： 六模型、五基准，主破坏为RANDOM-CROP（Table 2）。DeepEyes、Thyme各基准净效应接近零，V*上Hit-MaxT为0%。Pixel Reasoner在V*与两个HR-Bench、VisualProbe上为−2.1至−3.6 pp，MME-RealWorld-Lite为−15.1 pp，Hit-MaxT为0%。Mini-o3五个基准为−64.2至−50.4 pp，V*上Hit-MaxT为84.8%。Qwen3-VL-8B/4B在V*上为−60.7/−48.2 pp，Hit-MaxT为59.2%/50.3%。
• 作者解读： 后三个模型的推理常指出返回观察与请求不一致，然后继续调用并经常耗尽预算。
• 强制作答： App. B.4在V*的RANDOM-CROP上，于上限处强制作答，以分开“没有答案”和“证据丢失”。Qwen3-VL-8B/4B从30.4%/38.2%到73.0%/69.6%，Mini-o3从23.6%到36.6%；相对干净工具使用仍低18.1、16.8、51.2 pp。作者称截断只解释一部分下降；残余与有用视觉证据丢失一致，其他策略反应也可能有贡献。

步骤级VEG与增益分解

• V*调用级（Table 3）： 反事实crop的平均边际增益仍为正（DeepEyes 0.359、Mini-o3 0.051、Qwen3-VL-8B 0.001）。作者称即便无关crop也会因调用本身把答案推向标准答案，所以要用VEG取残差。DeepEyes各列VEG接近0，|VEG|<0.01占81%，mean Vmax为+0.05。Mini-o3汇总均值为0.063，mean Vmax为+0.19，饱和与否接近。Qwen3-VL-8B汇总0.198，非饱和0.55、饱和约0，正确/错误为+0.28/−0.20，饱和率64%。
• 作者归纳三种行为： DeepEyes结构上不活跃，最好的一次调用也几乎不贡献；Mini-o3能产生有用调用，但多数调用仍无效，有用性几乎不依赖调用前置信度；Qwen3-VL-8B的有用性取决于是否饱和。Fig. 4是V*上调用前间隙对VEG的散点，颜色为轨迹最终对错，虚线为τsat=0.95；转换文本看不到点的位置。Fig. 5(a)中全部调用与非饱和子集的均值曲线接近，作者称随调用位置下降并非因为后续调用已饱和。DeepEyes几乎都是单次调用，POER无定义。Fig. 5(b)标有N/A（n=0）、12.4%（n=249）、17.8%（n=45）；转换后的文字对不齐具体模型。
• 分组（Table 4–5，V*）： DeepEyes的Mode 1为72.8%，Calibrated为7.9%，Mode 2为0。Mini-o3是唯一以Calibrated为主的模型（45.0%），Mode 2为9.9%。Qwen3-VL-4B/8B的Mode 1为58.6%/70.7%，Calibrated为24.1%/20.9%。Calibrated是四模型中唯一全为正的贡献列；Qwen3-VL-8B上该列+7.6 pp，总ATE +6.9 pp。作者称非零的正策略级增益主要由这一少数携带；Mode 2与No-call大约在±1 pp以内。Mode 1的非零项，是因为g0读自工具rollout，直接答案来自独立的无工具rollout。

其他消融与分析

• 破坏类型（Table 9，V*）： Qwen3-VL-8B在BLANK下为61.8%（Δ −29.3 pp，Hit-MaxT 26.2%），RANDOM-CROP为30.4%（Δ −60.7 pp）。作者称策略能发现破坏，但会被统计上像真图的crop迷惑。
• 调用次数（Table 10，V*）： Mini-o3从2.1增至RANDOM-CROP的9.1、NOISE的10.1；Thyme在各条件下为0.1；DeepEyes保持1.0。
• 重复运行： 轨迹级另两次种子下，Mini-o3破坏后准确率为22.5%、24.6%（原23.6%），Qwen3-VL-8B为36.1%、28.8%（原30.4%）（App. B.5）。步骤级四种子：Mini-o3工具准确率85.1%±1.8 pp、平均VEG 0.0629±0.0041；Qwen3-VL-8B为90.6%±0.6 pp、0.1944±0.0183（App. C.1，均值±样本标准差）。
• 阈值（App. E.1，V*）： 作者称改变ε或τsat后，模型排序以及正ATE集中于Calibrated的结论不变；Mini-o3在τsat=0.80时Calibrated贡献仍为+2.0 pp。
• HR-Bench-4K（Table 19–20）： DeepEyes的Mode 1为85.6%、Calibrated为4.9%；Mini-o3的Calibrated为42.8%。Calibrated贡献为DeepEyes +0.6、Mini-o3 +3.4、Qwen3-VL-8B +4.4 pp，对应总ATE −1.4、+4.8、+5.0。
• 行为核对与开放式： 在DeepEyes、Qwen3-VL-8B、Mini-o3的V*上，Mode 1调用前思考已承诺最终答案的比例约58%，Calibrated约28%；论文未给出分母（§4.2）。Mini-o3的8×191条V* rollout中，准确率在3次调用时为78.2%，在上限12次时为0%；触及上限的20条全部答错且未提交答案（App. E.3）。VisualProbe上开放式VEG中位数：DeepEyes +0.001、Mini-o3 −0.027、Qwen3-VL-8B +0.000 nats/token（Table 14）。作者称绝对值不宜与选择题VEG比较，也未把四组分类器迁到该基准。

作者指出的局限与后续方向

• 模型访问（Limitations）： 实验都在开源thinking-with-images模型上。策略级和轨迹级只需运行模型并控制返回观察，可作用于有可观察工具接口的黑盒模型；步骤级VEG需要token级分数，因而要白盒。作者称OpenAI o3/o4-mini一类闭源模型既不暴露token级概率，也不能干预中间观察，同样结论能否延伸是未解决的开放问题。
• 工具集合（Limitations）： 只研究CROP-AND-ZOOM。作者称分割、OCR、视频选帧、基于代码的图像操作或外部搜索可能表现出不同的校准行为；框架可通过构造工具特定的反事实观察迁移，但不声称crop-and-zoom上的模式必然适用于这些工具。
• RL假设（§5与Limitations）： 把两种失败归因于只看结果的强化学习，是与观察一致的假设，不是训练实验确立的因果主张。作者称要确立机制，需要只改变奖励信号、rollout策略或信用分配、并固定数据与骨干的匹配训练；他们把这留作未来工作，并称超出本文诊断范围。两种失败模式和增益集中于Calibrated，并不依赖于该假设是否被证实。

实验覆盖范围

• 模型与基准： 策略级和轨迹级覆盖上述6个开源模型，以及V*、HR-Bench-4K/8K、VisualProbe、MME-RealWorld-Lite；VisualProbe三档在正文合并报告，规模见Table 8。
• 步骤级： 主文VEG为DeepEyes、Mini-o3、Qwen3-VL-8B；V*上的四组诊断还包括Qwen3-VL-4B。论文未报告Pixel Reasoner与Thyme的VEG或分组。
• 干预与重复： 主破坏为RANDOM-CROP；NOISE、BLANK和force-answer在附录，force-answer只报告V*上Mini-o3与两个Qwen3-VL。轨迹级重复种子报告这三个模型的V*；步骤级四种子只报告Mini-o3与Qwen3-VL-8B。
• 判定： 开放式第二阶段评审为Qwen3-30B-A3B-Instruct-2507。论文未报告与人工的一致性。诊断阈值固定为τsat=0.95、ε=0.01，敏感性在附录E.1。作者在附录D称，未单独校准前，不把选择题的饱和阈值、近零截断和四组分类器迁到VisualProbe。
• 跨基准分组： 同一诊断规则在HR-Bench-4K上用于DeepEyes、Mini-o3、Qwen3-VL-8B，各800条（App. E.4）。

对六个thinking-with-images模型做因果审计，检查crop-and-zoom返回的观察是否中介最终答案。

• 要分开的效应： 相对直接推理，工具轨迹常只有边际或负向准确率变化，token更多，有时还会答坏直接推理已经答对的题。作者要区分观察内容的作用，和“发出调用”本身带来的捷径。
• 审计设计： 因果图包含直接路径、观察介导路径和动作诱发捷径。策略级开关工具；轨迹级在线把观察换成RANDOM-CROP；步骤级在固定前缀下估计Visual Evidence Gain。轨迹分为No-call、Calling Without Looking、Looking Without Planning、Calibrated。
• 策略级： DeepEyes在五个基准上的ATE为−1.4至0.0 pp；Mini-o3在VisualProbe上为+21.3 pp；Qwen3-VL-8B在V*上为+6.9 pp，在MME-RealWorld-Lite上为−3.7 pp（Table 1）。
• 观察是否起作用： V*上RANDOM-CROP使Mini-o3从87.8%降到23.6%，Hit-MaxT为84.8%；DeepEyes与Thyme的轨迹级净效应近零（Table 2）。DeepEyes的VEG接近0；Qwen3-VL-8B非饱和调用的平均VEG为0.55，饱和调用约0（Table 3）。
• 增益位置： V*上DeepEyes有72.8%为Mode 1，Calibrated仅7.9%（Table 4）。Qwen3-VL-8B的+6.9 pp中，Calibrated贡献+7.6 pp（Table 5）。作者称聚合改进主要由这一少数携带，因而称为视觉工具使用的错觉。
• 作者的结论： 拥有工具不等于用对了工具。比“是否调用了视觉工具”更要紧的是模型是否在用图像思考。进展不应只看最终准确率或调用频率，还要看是否在需要时调用、是否使用返回证据、证据是否变成更好的答案。把失调归因于只看结果的强化学习，作者明确写为假设。