FLIP：面向视觉语言模型的末层推理时探针

内部干预后的行为变化机制含糊：它可能来自更好使用视觉证据、一般输出不稳定，或直接退化。

• 场景：开源权重视觉语言模型在推理时暴露末层隐藏状态，但单点干预分不清上述三种来源。作者认为，把效应归到电路或用于steering之前，应先看候选位点有没有群体层面、与任务相连、对控制敏感的签名。
• 现有缺口：因果抽象、因果中介、activation patching、自动电路发现和circuit tracing能做更强的机制后续，但论文写其结论可依赖所选行为、指标、样本和消融设计。主任务变好本身不被当作自明的机制证据。
• 观察：对送入输出头的后归一化隐藏状态做非针对性逐元素flooring，并扫描强度ϑ。检测/计数探针上出现三段：可忽略变化、有界内部区间（R50上升且容忍计数误差下降）、过度抑制。
• 协议：四准则probe-and-sweep，并用FLIP在Final-site上实例化。权重、提示词、解码和KV cache不变。作者称它是干预式机制可解释性的验证步骤，不是steering方法，也不声称已经找到电路。

论文把相关工作分成干预式机制分析，以及VLM上的视觉处理、可解释特征和隐状态steering。

干预式可解释性

• 因果检验：Geiger et al.（2021）用interchange intervention检验对齐的因果变量；Vig et al.（2020）用因果中介分析问哪些内部成分参与行为。
• 电路定位：Zhang and Nanda（2024）讨论activation patching的指标与做法；Conmy et al.（2023）做自动电路发现；Ameisen et al.（2025）用circuit tracing恢复提示词级计算图。论文写这类结论可依赖行为、指标、样本和消融设计，并引用Miller et al.（2024）。

VLM中的视觉与steering

• 视觉标记与特征：Neo et al.（2024）分析VLM的视觉信息处理；Pach et al.（2025）用稀疏自编码器学习单义特征；Yang et al.（2026）在VLM中做circuit tracing。论文只把它们并列为同类工作，没有逐篇对照。
• 隐状态干预：Liu et al.（2025）、Su et al.（2025）、Li et al.（2025）通过潜空间或隐藏状态steering改善grounding或降低幻觉；Juanico et al.（2025）也列在这一组。论文没有逐篇给出与FLIP的性能对比。

实验对照与数据

• 基线：原始解码层输出（含归一化前的最后一块），以及Layer 8、16、32的percentile-matched扫描；同位点的symmetric clipping与additive shift；特征维部分置换。性能负对照是singleton-pair左右判断的准确率；室内/室外只测相对基线的回答切换率。
• 基准：主探测用MS COCO val2017的图像中心聚类子集，7,056个image–prompt对。MMStar、MindCube、NaturalBench经LMMS-Eval作干预探针，不是优化目标。

作者把FLIP放在电路归属和steering之前：先问候选位点是否有群体层面、与任务相连、对控制敏感的签名，再决定是否做patching、circuit tracing或因果抽象。

FLIP在推理时钳制后归一化末状态，再用整条ϑ扫描和独立约束判断效应是否结构化。

位点与不变项

• Final site：后归一化、送入输出头的隐藏状态。论文把它和原始解码层输出分开，包括归一化前的最后一块。
• 作用步：生成调用t的张量记为z(t)，维数为n_t×d。第一次next-token的n_t是提示/图像prefill长度，缓存解码步n_t=1。每次next-token的logit计算都替换。
• 不改什么：权重、提示词、分词、解码规则和KV cache不变。FLIP不训练、不以任务为条件、也不优化。作者写，有用效应只能来自诱导位移与输出头里已有任务方向的对齐。

算子与输出头基线

• 定义：逐元素flooring为z̃^(t)=max(z^(t),ϑ)。低于ϑ的分量被抬到ϑ，其余不变。
• 单调性：命题5.1写，位移的任意p范数对ϑ非降。A(ϑ)是被碰到的坐标比例，M(ϑ)是平均钳制幅度。作者写，几何上会经过接近不活动、有界中间区和大范围钳制，但这不定解码后的任务指标。
• 输出头：紧挨线性读出时，logit变化为ℓ̃_t−ℓ_t=W^⊤Δ_ϑ,t。一阶log-sum-exp间隔的变化，取决于该位移在任务token集与对照token集的softmax加权输出方向之差上的投影。
• 非针对性：钳制不编码物体类别、框坐标或计数目标。作者写，在一般扰动账户下，稳定的内部增益是意外的。Appendix C写，论文不声称解码后的R50或Ecount对ϑ连续或单调。

四准则与代理关联

• 四准则：区间结构；grounding-proxy对齐；特征相干性依赖；在基于性能的负对照上不能复现同一正向区间。贡献陈述另把logit面向的位点特异性与这些约束并列。Appendix A把一般扰动定义为不由任务相关中间量系统中介的行为变化。
• 区间怎么定：看整条扫描，以及主∆R50峰附近的FWHM窗口，再拿其余准则核对。跨ϑ的点态检验只作描述性筛查。作者写，没有任何主张依赖把某一个扫到的ϑ单独当成确认性发现。
• 代理量：定位和计数用分开的提示、独立的输出。∆R50被当作未观测、对干预敏感的grounding状态的可观察代理，不是同一次前向里的字面中介。
• 估计：高斯GLM给出FLIP对∆R50的系数a，标准误按图像簇聚类；泊松GLM在严格计数回答上给出∆R50与log E[Ecount]的系数b。IRRindirect等于exp(a×b)。作者将低于1读成召回改善与容忍计数误差下降相关联。

读出与对照

• 检测：每个出现的物体类别一条查询，输出解析到统一像素坐标。R50等于IoU 0.50下一对一匹配得到的TP50除以真值个数。预测框归一化面积只用于匹配平局。
• 计数：要求只回答整数。Ecount为解析计数与真值之差的绝对值减去1后再与0取大。
• 特征相干：λ随机置换一部分特征维，flooring后不做逆置换。图中λ为0、0.10、0.20、0.25、0.33。曲线相对同一条未置换、无干预基线中心化，不相对各自的置换基线相减。
• 其他算子与负对照：同位点还有对称截断和按平均钳制量做的加性平移。性能负对照是单实例物体对的左右判断，记相对基线的准确率变化。室内/室外只记录回答相对基线是否切换。

实验设置

• 模型：锚点是Qwen3-VL-4B-Instruct。跨架构复现为Qwen3-VL-8B和Kimi-VL-A3B。论文写Kimi的视觉编码器、跨模态融合和训练配方与Qwen族不同。
• 主数据：MS COCO val2017的图像中心聚类子集，7,056个image–prompt对，每个出现的物体类别一条查询。95%区间按图像簇、大样本近似计算，不假设单条误差正态。
• 对照：原始解码层；Layer 8、16、32的percentile-matched扫描；同位点对称截断与加性平移；特征置换；左右准确率负对照。室内/室外只作切换率诊断。
• 指标：R50与∆R50为检测侧，Ecount为计数侧容忍误差，IRRindirect为代理乘积的指数。左右任务用∆Acc。RMR只在附录作重分配诊断。
• 判定：框按IoU 0.50一对一匹配；计数解析整数。论文未使用LLM评审，也未报告人工一致性。
• 重复：核心扫描用预先指定的ϑ网格和固定随机种子。只有服务栈的非确定性无法控制时才报告重复离散度。LMMS-Eval在Qwen3-VL-8B上用多次独立vLLM初始化，误差棒为这些运行的标准差。

主结果

下表只列Table 1的部分ϑ，模型为Qwen3-VL-4B。a是FLIP对∆R50的系数，b来自泊松GLM，IRRindirect=exp(a×b)。

表格较宽，可左右滑动

ϑ	a	a×b	IRRindirect	p
−50.0	0.00208	−0.00430	0.9957	0.0002
−0.5	0.05283	−0.10647	0.8990	<0.0001
0.0	0.05900	−0.12236	0.8848	<0.0001
0.5	0.02638	−0.05674	0.9448	<0.0001
1.0	−0.531480	1.09974	3.0034	<0.0001

• 三段：作者称Figure 3的检测响应分可忽略变化、有界内部增益和崩溃；内部区间不由扫描中的单点最大值划定。
• 代理对齐：作者称中间强度提高∆R50并降低Ecount，过强抑制则方向反过来。因为两次前向分开，这被读成共享grounding代理，而不是一个输出直接造成另一个。
• 读法：作者将IRRindirect低于1读成召回改善与容忍计数误差下降相关联；表中最强flooring一行方向相反。

位点特异性

• 测了什么：Figure 4把flooring用到选定原始解码层，并与后归一化Final site比较；Layer 8、16、32另有percentile-matched扫描。Figure 8同时看主任务、左右∆Acc和置换下的IRRindirect。
• 结果：图注称Final site有有界内部区间；原始层接近基线、崩溃，或只有部分移动。百分位匹配后的Layer 8/16/32没有恢复该剂量反应，而是减弱或变差。Table 4在ϑ=0时，Layer 8的A与Final同为0.500，M为0.091对0.968；Layer 16的M为0.102对0.963；Layer 32的M为0.639对0.821。
• 作者解读：图注写这不是简单的原始阈值校准。作者称完整协议落在后归一化、面向logit的状态。Limitations同时写，这不表示更早层没有任务相关信息。

跨模型与负对照

• 测了什么：Figure 6比较三个模型相对ϑ为负无穷基线的∆R50，以及左右∆Acc。Table 2、Table 3复现Kimi-VL-A3B和Qwen3-VL-8B的乘积摘要。
• 数字：图上标注4B峰值约0.059、Kimi约0.042、8B约0.008。Table 2中Kimi在ϑ=−0.2的a为0.05015、IRRindirect为0.8736；Table 3中8B在ϑ=−2.5的a为0.00800，在ϑ=0的a为−0.01799、IRRindirect为1.0425。论文未说明图注约0.042与Table 2的a为何不同。
• 例外：作者称三相形态在三个模型上都出现，8B幅度更低；左右对照没有可复现的有界内部最优点。Table 2里ϑ=−2.5的p为0.9376，ϑ=−3.0为0.4342，不是每个强度都报告很小的p值。

同位点算子与基准曲线

• 算子：Figure 11、12在同一Final site比较flooring、对称截断和加性平移。作者称三者都有有界正向主任务区间；flooring内部峰最大，对称截断最早崩溃，加性平移正值范围更宽、崩溃更晚。图注未给出这三条曲线的峰值数字。作者称曲线形状本身不是特异证据。
• 置换：Figure 5中，相对λ=0，非零λ更早失去正向窗口并更早崩溃；非零λ之间的顺序不是严格单调。作者称特征相干性对内部区间的稳定是必要的，且损失不是因为减掉了已经变差的置换基线。
• 基准：Figure 10在Qwen3-VL-8B上画MMStar、MindCube、NaturalBench相对基线的准确率变化。作者称MindCube的三相最清楚，MMStar有较宽平台，NaturalBench在内部区间见峰后变差。正文没有各点准确率；作者称这是区间一致性，不是Section 6的因果兼容证据。

其他消融与分析

• 分层：Table 5，Qwen3-VL-4B，ϑ=0时pooled系数0.0590，小计数（≤3）0.0606，大计数（>3）0.0500；ϑ=0.5时大计数−0.0068，p=0.247；ϑ=1.0时pooled −0.5315。
• 子样本：Figure 13按图像簇抽10%至100%，每个比例五次重抽；ϑ=−0.5与剂量曲线仍呈同一区间形态。100%是全数据单次估计，无误差棒。
• RMR：Figure 9为Qwen3-VL-8B。作者称内部区间RMR+与∆R50同向，崩溃侧RMR−上升，RMRobj晚期尖峰更像抑制主导的对比增强。正文无坐标读数。
• 室内/室外：Figure 7是回答切换率，不是准确率。作者称只用来检查一般输出不稳定。
• 活跃集：Table 4，ϑ=1.0时Layer 8的A为0.999、M为1.001，Final的A为0.662、M为1.453。作者称早期失败不是因为被钳制的维太少。
• 实例数：Appendix K写，小计数与大计数都先有内部改善、再在强干预下反向；作者认为少物体场景增益更强、更持久，多物体场景更早变弱。

作者指出的局限与后续方向

• 不识别电路：FLIP验证干预效应，不识别产生这些效应的电路，也没有填上从群体分诊到因果机制的空档（Limitations）。
• 代理范围：grounding-proxy分析限于检测/计数；∆R50可观察，但不是同一次前向内的字面中介（Limitations）。Appendix D另写，该分析不排除其他未观测中介，也不确立因果充分性。
• raw-layer读法：这些检查在所实现的阈值扫描下进行，不能替代跨位点的percentile-或norm-matched干预；最好读成该扫描下的读出空间对比，而不是更早层没有任务相关信息（Limitations）。
• 后续机制工作：用matched sweeps、patching、因果抽象或circuit tracing把FLIP阳性位点接到电路，仍是未来工作（Limitations）。
• 异质性：目前只沿实例数看了异质性；更广的分布异质性分析仍是未来方向（Appendix K）。

实验覆盖范围

• 锚点为Qwen3-VL-4B-Instruct；Figure 6与Appendix F另报告Qwen3-VL-8B和Kimi-VL-A3B。
• 主探测为7,056个COCO image–prompt对；定位与计数分开提示、分开打分，标准误按图像簇聚类（Section 7.1）。
• 已报告的对照包括λ置换、左右准确率、同位点三种算子、原始解码层、Layer 8/16/32的percentile-matched扫描，以及图像簇子抽样（Figure 4、5、8、11、13）。
• MMStar、MindCube、NaturalBench在Qwen3-VL-8B上经LMMS-Eval报告；作者称这些基准不隔离检测中介（Appendix I）。
• 论文写核心扫描使用固定随机种子和预先指定的ϑ网格，但未给出网格取值的总个数；未报告LLM评审或人工一致性。Limitations仍写raw-layer检查不能替代跨位点的percentile-或norm-matched干预。

FLIP是开源VLM上的推理时末层探针，用来检验干预效应是否结构化、与任务相连，而不是用来转向模型。

• 问题：单点内部干预后的输出变化，可能是用上了视觉证据、一般不稳定，或退化。作者要的是筛选位点的协议，不是电路鉴定。
• 做法：在后归一化、送入输出头的状态上做逐元素flooring，沿ϑ扫描。接受一个效应，需要区间结构、grounding-proxy对齐、特征相干性依赖、性能负对照失败，以及logit面向的位点特异性。权重、提示词和解码不变。
• 主探测：Qwen3-VL-4B-Instruct，7,056对COCO定位/计数。Table 1在ϑ=0时a为0.05900、IRRindirect为0.8848；ϑ=1.0时a为−0.531480、IRRindirect为3.0034。作者称中间窗口召回升、容忍计数误差降，过强则反转。
• 对照：Figure 4中原始解码层和百分位匹配扫描没有恢复Final-site剂量反应。Figure 6标注4B、Kimi、8B的∆R50峰值约0.059、0.042、0.008；左右任务没有可复现的正向内部区间。同位点截断和加性平移也走出区间形主任务曲线，作者称形状本身不是特异证据。
• 作者结论：Final-site内部区间被提名给后续patching、circuit tracing或因果抽象。作者称FLIP不是部署安全证书、优化方法、电路鉴定结果，或对模型理解的证明。