VLM 如何规划下一步
How VLMs Plan What's Next
作者用因果修补在 Qwen3-VL 上刻画 VLM 逐条列举图像内容的规划机制:绑定、中继、游标、选择、凝视与语言头分工,作者称各步可分离可编辑。
- VLM 描述图像时逐个说出对象且很少重复,但二维图像本身没有一维顺序,模型内部如何规划"接下来看哪里"尚不清楚;自回归结构也无法跨答案保存运行状态。
- 作者设计可控的合成视觉检索任务(面板条带,每格一个形状一个字母),用成对源/目标运行的激活修补逐一检验各组件:绑定头解析指针、中继头搬运、逗号 token 形成游标、选择下一步、凝视头读取、语言头与末端 MLP 翻译。
- 在 Qwen3-VL-8B 上,16 个绑定头输出修补移动指针 85.9%,32 个凝视头查询修补 74.0%;进度是"做到第几格"的游标(第 20 层 98.4%);机制在 2B–32B、其他模型家族、无面板画布、六张独立图像和 COCO 自然图像上大多成立。
- 作者指出未在自然图像上测试重复或提前停止(App. E.2),从右到左列表可靠性下降的原因留作开放问题(App. G.3.5),文本模型是否已有该机制未定论(App. G.3.7);主实验集中在一个合成任务与 Qwen3-VL 家族。
- 被测模型
- Qwen3-VL-8B-InstructQwen3-VL-32BQwen3-VL-2B
- 基准
- synthetic visual retrieval task(single-answer 与 list 两种)colored-shape taskobject taskCOCO val2014
- 指标
- 修补后目标答案为预期字母的百分比published Gaze Heads 落在预期面板的百分比(Gaze)线性探针准确率余弦相似度
论文刻画了视觉语言模型(VLM)在描述图像时决定下一步看哪里的内部机制,并将其分为四部分:绑定头(binding heads)把问题中的相关文本 token 与图像匹配、解析为指向对应图像区域的指针,同时把已写出的答案绑定到其来源区域,形成标记已写位置的光标式进度信号;选择步骤挑选光标之后最近的未写区域或停止;注视头(gaze heads)执行所选指针并返回该处内容的概念,再由语言头和后期 MLP 转成以问题语言表达的词。作者在 Qwen3-VL 模型上通过合成视觉检索任务和因果修补验证了各部分,并与替代假设对比;该机制跨输入格式、自然照片和语言成立,绑定、中继(relay)和注视头在 2B 到 32B 各规模模型中均出现,项目页面见 https://plan.baulab.info/。
深度解读
这篇论文试图解决什么问题?
VLM 逐条描述图像时如何规划"下一步看哪里":作者用可控任务和因果修补刻画这一规划机制。
核心问题:VLM 把二维图像转成一维答案序列时,内部如何决定接下来描述哪个区域、并记住已经说过什么。
- 问题场景:VLM 描述图像时逐个说出对象且很少重复,但图像内容没有固有顺序,模型内部必须存在一个"计划";作者认为这一计划如何形成并不清楚。
- 现有工作不足:已有机制研究(绑定、Gaze Heads 等)解释了模型如何找到回答问题的单个区域,但作者指出,多答案任务要求跟踪已描述的区域,这一点仍不清楚;自回归 transformer 无法把进度作为跨答案更新的运行状态保存(层数会用完),模型必须在每个 token 处用已生成的 token 重新计算进度。
- 核心观察/假设:开放式描述难以做因果研究,作者转而设计合成视觉检索任务(面板条带,每格一个形状和一个字母),每个步骤可单独控制、可用因果修补检验。
- 论文提出了什么:一个四部分的规划机制——绑定头(binding heads)解析指向图像区域的指针、同一批绑定头把已写答案绑定回其来源面板并由逗号 token 形成"游标"(cursor)、选择步骤取游标后最近的未写面板或停止、凝视头(gaze heads)执行指针取回概念,再由语言头和末端 MLP 译成问题的语言;作者称在 Qwen3-VL 上用因果修补逐步验证,并检验了跨输入格式、自然照片和语言的泛化。
有哪些相关研究?
相关工作分四组:绑定与指针、进度跟踪、图像读取头、概念与输出语言;本文把它们连成单一计划。
绑定与指针
- Feng & Steinhardt (2024)、Prakash et al. (2026; 2024)、Dai et al. (2024)——语言模型给实体打上与提及顺序绑定的抽象位置码,之后按码检索实体。
- Sen Sharma et al. (2026)——LLM 中的 filter heads 在查询向量里携带筛选规则,选中列表中匹配的项。
- Assouel et al. (2026)、Cui et al. (2026) 等——VLM 处理提示词时为匹配的图像区域建立空间索引;Cui et al. (2026) 称 VLM 经两条路线绑定对象与空间关系。论文指出本文发现类似的绑定机制,并扩展到"如何跟踪已答内容、如何在多个匹配区域中选下一个"。
进度跟踪
- Pal et al. (2023)、Lindsey et al. (2025)、Hanna & Ameisen (2026)——语言模型的规划超出下一个 token。
- Gurnee et al. (2025)、Hasani et al. (2026)、Yan & Jia (2025)、Merullo et al. (2024)——模型保存自身输出的运行状态:字符计数、分隔符处的列表项计数、抑制已给答案。
- Budny et al. (2025)、Yue et al. (2024)、Assouel et al. (2026)、Haputhanthri et al. (2026)——VLM 似乎只通过生成的文本串行工作、通过比较文本与图像判断停止、按光栅顺序列举网格对象、训练后指向的 VLM 内部记录已数对象。论文指出本文在只写字母的通用 VLM 中找到的记录既不是计数也不是已写字母集合,而是图像中的一个位置。
图像读取头
- Kang et al. (2025)、Gandikota & Bau (2026) 按注意力位置选头;Golovanevsky et al. (2025)、Schaumlöffel et al. (2026)、Liu et al. (2026b) 按因果效应排头;Baek et al. (2025) 的 OCR heads 读图中文字;Feucht et al. (2026) 发现 OCR 所需的头也能读出无文字区域的语义。论文指出本文发现按因果效应选出的头比按注意力选出的头更能读指针、因果上更充分。
概念与输出语言
- Wendler et al. (2024)、Schut et al. (2025)、Wu et al. (2025)——多语模型中间层以接近主导语言(常为英语)的形式保存概念。
- Dumas et al. (2025)、Zhang et al. (2025a)、Lasnier et al. (2026)、Liu et al. (2026a)——概念与输出语言可被分开修补,涉及一小组注意力头。论文指出本文发现概念来自图像时,读图的头返回与问题语言无关的概念,由另外的头和末端 MLP 翻译。
定位:作者称本文把此前在不同模型和任务上发现的多个机制连接成单一计划,并显示同样的组件能解决比它们被发现时更复杂的任务。
论文如何解决这个问题?
合成检索任务 + 成对源/目标运行的激活修补,逐组件验证"绑定—中继—游标/选择—凝视—翻译"机制。
整体思路:设计一个每步都可控的合成视觉检索任务,用激活修补(activation patching)把源运行的内部状态逐一复制进目标运行,由目标答案的变化推断被修补状态携带的信息,从而逐层逐 token 地刻画规划机制。
任务与模型设定
- 模型:主要研究 Qwen3-VL-8B-Instruct 的语言骨干(36 层、每层 32 个注意力头);视觉编码器只编码一次并缓存,不做干预;其他尺寸与模型家族在附录 G.1、G.2 检验。
- 单答案任务:图像是 4 格面板条带,每格一个形状和一个字母;问"What is the letter inside the {shape}?",预填"Answer:"使下一 token 即答案;按形状而非面板编号提问,以把绑定信号与面板编号知识分开。
- 列表任务:6 格面板、所问形状出现在 4 格,问"What is the letter inside each {shape}?",模型从左到右列出字母,用于研究进度与选择。
修补协议与五种结果
- 成对设计:源与目标在图像和问题上都不同;每个补丁只替换目标运行在某一 token、某一层的单个激活,其余不变。
- 五种可区分结果:T(无效果)、D(浅复制源答案)、K(搬来源解析出的指针)、P(搬来源的请求)、R(搬来源的布局);K、P、R 情形下指针仍在目标图像上执行。作者以此让每种可搬运的信息导向不同答案。
- 修补层级:整层残差、MLP 输出、注意力头输出;对注意力头还分别修补查询、键、值。
- 头的选择:先对全部 1,152 个头逐个修补(200 对发现集),按对预期字母 logit 的提升排名;再在 100 对验证集上扫 top-K(K 取 1 到 128,凝视头到 256),按预设规则取最小达标 K;最终在 500 对留出集上报告,并以同层随机头作对照。
机制的四个部分
- 绑定(Section 4):在形状 token 处,少数绑定头(16 个,第 15–21 层)把请求的形状与图像匹配,解析出指向每个匹配区域的指针;查询携带请求、图像键携带布局;中继头(16 个,多在第 19–23 层)把指针从形状 token 搬到冒号 token。
- 进度与游标(Section 5):同一批绑定头把每个已写答案绑定到其来源面板,逗号 token 在第 20–21 层把它变成游标——"列表已写到图像中的哪个位置"。
- 选择(Section 5.4):在逗号 token 的第 20–25 层,模型取游标之后最近的未写面板,右侧没有时回退,或在没有剩余匹配时停止;作者称该选择分散在多个头上,没有小组头能单独完成。
- 执行与翻译(Section 6):凝视头(32 个,第 19–34 层)的查询携带指针、图像键按位置匹配、值带回字母;语言头(16 个,第 19–35 层)加入问题的语言,末端 MLP(第 33–35 层为主)把概念与语言合成词。
成功判定
- 每个实验预先写明被检验假设所预测的答案字母(Table 1–3 逐实验列出 token、修补内容、预测答案与结果);百分比以留出集计,部分带 95% 区间(自助重采样 2,000 次)。
论文做了哪些实验?
因果修补逐步验证机制四部分,另做跨尺寸、跨家族、跨图像/提示词与自然图像泛化及错误分析。
实验设置
- 被测模型:主实验为 Qwen3-VL-8B-Instruct(revision 0c351dd0,32 位浮点、贪心解码);附录 G.1 测 Qwen3-VL 2B/4B/32B;附录 G.2 测 LLaVA-OneVision-7B、InternVL3-8B、Gemma-3-12B、Pixtral-12B、Idefics3-8B;附录 G.3.7 另测文本模型 Qwen3-8B。
- 数据集:合成单答案任务(4 格面板)与列表任务(6 格面板、4 个匹配);彩色形状任务与物体任务(英/德/法/中四语);COCO val2014 自然图像列表问题。
- 样本与划分:200 对发现集排名头、100 对验证集定 K、500 对留出集报告全部结果;每补丁配同层随机头对照。
- 指标:修补后目标答案为预期字母的百分比;部分实验报告 published Gaze Heads 是否看向预期面板(Gaze);探针准确率与余弦相似度。
- 无修补基线:8B 单答案任务正确率 98.9 ± 0.2%(App. A.7);列表任务目标第二字母正确率 97.4 ± 1.0%(App. A.3)。
主结果
据 Table 1–3(Qwen3-VL-8B,500 对留出集,括号内为同层随机头对照):
表格较宽,可左右滑动
实验(token) 修补内容 预期 结果 绑定头(形状 token) 16 个头输出,第 15–21 层 K 85.9%(≤0.1%) 查询/键头(形状 token) top 8 查询 / top 8 读源图像键 P / R 81.0% / 83.1% 中继头(冒号 token) 16 个头读取的值 K 87.5% 逗号残差→冒号(第 20/21 层) 源逗号残差 跳过已写面板 91.0% / 70.0% 计数/集合/位置(第 20/21 层) 同上,三假设区分 位置 98.4% / 97.6%(集合 ≤1.2%) 游标设置(最后答案 token) 16 绑定头读源图像键 跳过被移面板 84.2%(0.0%) 凝视头(冒号 token) 32 个头查询,第 19–34 层 K 74.0%(0.0%) 语言头(最后 token) 16 个头输出,第 19–35 层 语言改变 95.3%(0.0%) - 作者称指针在形状 token 处由绑定头解析、经中继头传到冒号 token 执行;进度是图像中的序数位置(游标)而非计数或面板集合。
- 作者称凝视头返回的是概念而非词:其 LogitLens 分布对同一图像两种语言的余弦为 0.95、对两图像同一语言为 0.50(Table 3)。
- 作者称选择步骤分散在第 20–25 层的多个头上:三次搜索均未找到达标的小组头(App. E.7)。
与已发表 Gaze Heads 的对比
- 测了什么:本文按因果修补选出的 32 个凝视头,对比 Gandikota & Bau (2026) 按注意力选出的 top 100(Table 13、Figure 4b)。
- 结果:查询修补移动答案 74.0% 对 64.2%;读源图像值给出源字母 93.7% 对 50.0%;本文 32 头中 23 个在已发表 top 100 内。
- 作者解读:作者称按因果效应选的头比按注意力选的头更能读指针;已发表集合更大是因为其任务(漫画描述)涉及更多视觉内容类型。
跨模型泛化
- 尺寸(Table 18–22):绑定、中继、凝视头在 2B/4B/32B 各自重新搜索后均存在;32B 上游标在第 48/64 层达 100%,而 2B/4B 的"已访问面板本身"与计数信号与位置信号相当(如 2B 已访问面板 41%、游标最高 22%);作者称 8B 和 32B 干净地持有"做到这里"状态。
- 家族(Table 23):六个模型都在早期层于形状 token 处移动请求(92.5–100%);四个能做列表任务的模型(Qwen3-VL-8B、InternVL3-8B、Gemma-3-12B、Pixtral-12B)都出现游标(86–99%);Gemma-3-12B 与 Idefics3-8B 的单 token 残差补丁只移动指针 30.5–38.5%;LLaVA-OneVision-7B 与 Idefics3-8B 列表任务正确率仅 18.5% 与 3.5%,未测列表各行。
跨图像与提示词泛化
- 无面板画布(App. G.3.2):头集合不变,绑定输出移动指针 97.5%、中继 95.5%、凝视查询 90.0%;作者称"位置"不是面板编号。
- 六张独立图像(App. G.3.3):游标实验给出与条带相同的层级剖面(第 20 层 83.0%)。
- COCO 自然图像(Table 28):逗号 token 无法注意已写对象 A 时,模型在 79.6% 有效列表中再次命名 A(对照 98.0% 不变);凝视头对下一对象的每 token 注意力高于刚命名对象的比例为 83.6%。
- 例外:Prompt B(形状 token 后接两句问句)下各补丁降至 48–62%(Table 24);作者进一步显示绑定分散到后续 token 后恢复(Table 25,87.0%)。
其他消融与分析
- 中继头被阻断与文本的注意时答案仅 7.8% 保留(随机头 99.8%,Table 1)。
- 阻断逗号对最后答案 token 的注意,67.8% 重复已写字母(Table 2)。
- 停止决策:64 个头输出修补使已完成列表继续 100.0%、使继续中列表停止 96.8%(Table 2)。
- 游标是逗号残差中的五维子空间(App. D.5)。
- 从右到左指令由第 18–23 层 16 个头读取,阻断后 98.4% 回到从左到右(Table 27)。
- 错误分析:10 面板长列表上 3.2% 的答案为跳格,跳格时绑定与游标完好、选择出错(App. E.2)。
有什么可以进一步探索的点?
作者明示的后续方向很少;实验覆盖以合成任务、Qwen3-VL 家族为主,泛化测试多为定性阈值判定。
作者指出的局限与后续方向
- 未在自然图像上测试重复或提前停止,作者写明留待未来工作(App. E.2)。
- 从右到左列表时模型可靠性下降(77.0% 对 87.9%),作者提出"请求的顺序增加了一个步骤"的假设,并写明留作开放问题(App. G.3.5)。
- 文本模型 Qwen3-8B 在该提示下仅 32% 正确,作者称该机制是否先于视觉微调存在"在此未定论"(App. G.3.7)。
- 六张独立图像实验中,游标计数的是图像还是 token 序列中的位置未被分离(App. G.3.3)。
- 自然图像上大小与类别、前景、可识别性等共变因素未分离,且未使用显著性模型(App. G.3.6)。
实验覆盖范围
- 主实验被测模型为 Qwen3-VL-8B-Instruct 一个模型;尺寸覆盖 2B/4B/8B/32B 共四个,家族覆盖另五个开源 VLM(Table 23)。
- 跨家族测试只跑无需重新搜头的实验,机制是否"存在"以 40% 效应阈值判定(App. G.2.1)。
- 语言任务覆盖英、德、法、中四种语言;32B 未运行语言任务(App. G.1.1)。
- 头的搜索样本为 200 对发现集、100 对验证集、500 对留出集;区间用 2,000 次自助重采样(App. A.4)。
- 论文未报告各实验的墙钟耗时或计算成本。
总结一下论文的主要内容
作者称在 Qwen3-VL 中刻画出 VLM 逐条描述图像的模块化规划机制,逐步因果验证并显示其可泛化、可编辑。
一篇机制可解释性论文,回答 VLM 如何把无序的图像内容规划成有序的答案序列。
- 问题:图像没有固有顺序,自回归模型又无法跨答案保存运行状态;作者要找出模型在每个 token 处重建的"计划"。
- 方法:合成视觉检索任务(面板+形状+字母)配合成对源/目标运行的激活修补,五种可区分答案让每类被搬运的信息可被读出;500 对留出集报告、同层随机头对照。
- 机制:绑定头(16 个,第 15–21 层)在形状 token 处解析指针;中继头(16 个)搬到冒号 token;同一批绑定头把已写答案绑回其面板,逗号 token 在第 20–21 层形成游标;第 20–25 层分散地完成选择;凝视头(32 个)执行指针取回概念;语言头(16 个)与末端 MLP 译成问题语言。
- 关键结果:8B 上绑定头输出修补移动指针 85.9%;游标假设在第 20 层以 98.4% 击败计数与集合假设;凝视头查询修补 74.0%;语言头修补改变语言 95.3%;阻断逗号对已写答案的注意导致 67.8% 重复。
- 泛化:机制在 2B–32B、四个其他模型家族、无面板画布、六张独立图像、其他提示词与 COCO 自然图像上大多成立;例外包括 2B/4B 的游标不干净、Gemma-3 与 Idefics3 的单 token 指针弱、两个模型无法做列表任务。
- 作者结论:作者称该计划结构化、模块化,每步可分离可编辑,可作为解释、审计和调试模型输出的工具,并为研究模型如何在长程多步任务中跟踪进度开辟道路。