视觉-语言-动作模型中的神经几何现象学

线性可读只认定控制变量存在于激活中，不描述其取值轨迹的形状。

• 场景：作者认为操作发生在三维空间和带约束的运动学结构中，物体与任务自带对称、约束和交互阶段；VLA已成为构建这类策略的主要范式，但其能力如何落在表示里仍是起步中的问题。
• 现有不足：作者认为探针只保证变量可解码；SAE继承线性表示假设，把每个概念预先写成单一方向，从而在读出之前固定了结构。
• 假设：作者指出，VLA继承的视觉模型已把颜色、阴影和位置实现为多维特征，表示也会继承训练数据的对称；位姿、距离、接触和任务阶段在进入网络之前就是几何对象。
• 本文：区分concept realization（给定读出类下能否抽出概念）与realized geometry（概念变化时激活画出的结构）。在MolmoBot上为七个控制概念建立分类，并在π0.5与MolmoAct2的真实机器人数据上复查。作者认为形状决定取值如何排列、以及能否被操纵。

VLA策略与骨干

• 操作策略：Brohan等（2023）的RT-2、Kim等（2024）的OpenVLA、Octo（2024）、Black等（2025）的π0、Physical Intelligence等（2025b）的π0.5、Lee等（2025）的MolmoAct、Fang等（2026）的MolmoAct2、Deshpande等（2026）的MolmoBot，被作者列为当前构建通用操作策略的主要范式。
• 预训练来源：作者称这些策略继承互联网规模数据上的视觉编码器、语言模型和视觉语言模型先验，并提到数据规模与多样性上升后，泛化沿类似幂律的趋势改善（Lin等，2025）。
• 部署背景：作者列举若干已在真实世界部署或宣布部署的系统，用作能力上升的背景，没有把它们当作本文实验对象。

VLA可解释性的两条线

• 探针：Joseph等（2026）、Buurmeijer等（2026）、Bhardwaj等（2026）、Lu等（2025）、Molinari等（2025）、Grant等（2026）、Yang与Mokalla（2026）检验感兴趣的量能否从激活读出。作者认为这条线只证明变量存在，不描述模型如何实现它。
• SAE：Swann等（2026）、Khan等（2025）、Grant等（2026）用稀疏自编码器无监督发现概念；Joseph等（2025）还用发现的特征做转向。作者认为SAE继承线性表示假设（Park等，2024；Costa等，2025），把概念预先写成单一方向。

语言与视觉中的神经几何

• 超出单方向：作者把Modell等（2025）、Engels等（2025）、Fel等（2026a,b）、Feucht等（2026）等语言和视觉工作，以及Geiger等（2026）所汇集的Neural Geometry，描述为从单一方向走向多维特征和弯曲几何。
• 对VLA的提示：Fel等（2026a,b）、Pach等（2026）、Uselis等（2026）报告视觉模型把颜色、阴影、位置实现为多维特征；Karkada等（2026）讨论表示继承训练数据的对称。作者用这两点说明VLA可能也有丰富几何，而不是批评这些工作。

对照与本文位置

• 实验内对照：DROID上打乱变量后的Procrustes null；接触的多数类基线；相位的phase-timer与gripper-closure基线（Fig. 16）；距离的单方向合成激活；曲率对照为随机三维投影。这些是本文实验里的对照，不是另一套已发表的几何分析方法。
• 定位：作者把本文放在Neural Geometry之下，针对VLA的控制变量区分“能否读出”和“实现成什么形状”，并认为形状与可读性同样重要。

在MolmoBot上估计realized geometry：仿真允许时只移动一个概念并固定其余；不允许时用传送或自然rollout；再用激活干预看策略是否使用找到的几何。

实现与几何的定义

• 数据过程：潜状态z收集m个概念，观察x=g(z)，固定层激活a=f(x)。每个概念是带值域的结构化域，可以是二元夹爪、正标量距离、R3中的位置，或S1上的腕角。
• 实现：概念i相对读出类V和容差ε被实现，若inf_{γ∈ V}E[d_i(γ(a),z_i)]≤ε。主情形是仿射读出；作者把这种情况称为线性可读。该定义不要求激活与概念域同构，也不表示策略因果使用该信息。
• 实现几何：只改变概念i、其余概念固定为上下文c时，激活条件期望的像就是该概念的实现几何，φ_i(v;c)=E[a∣ z_i=v, z_[m]∖{i}=c]。作者指出线性探针只看少数方向，轨迹在其他方向上弯曲可以不改变探针精度；附录A用一个可线性读出、轨迹却是螺旋的例子说明二者可分离。

模型、概念与数据

• 双流：VLM与action expert各36层。VLM读语言和两路相机（固定外视、随末端移动的腕部相机），不读本体感觉；首次查询只有当前帧，之后还有八步前的帧。action expert读本体感觉和噪声动作token，用10步flow matching生成动作块，每层单向交叉注意同深度VLM。
• 七个概念：空间几何为末端位置、目标物体位置、到目标距离；任务结构为接触和任务相位；动作几何为腕朝向和夹爪开度。探针为5折，按房屋留出。
• 四套仿真数据：自然pick为1,008个episode、196个房屋；物体传送为906个场景；手臂与物体交叉传送为945个场景；pick-and-place为530个episode、181个房屋，成功率63%，用于相位。

空间变量的读出

• 位置：在机器人前方盒子里用逆运动学传送手臂，物体在支撑面上取样；只保留夹爪到位且不与场景相交的目标，并丢掉夹爪距物体12 cm以内的配对。对传送后的(x,y,z)做ridge。末端用指令前的非图像token、layer 20；目标用指令token、layer 21。秩曲线和读出奇异值用来数维度；世界位移到激活位移的一般线性映射与正交均匀缩放映射用来看度量；直线世界路径在子空间内的转角用来看曲率，并与随机三维投影比较。
• 距离：近于15 cm与15–70 cm分开拟合，再迭代擦除另一探针的方向，新方向与已删方向正交，最多32次。米尺把低于15 cm的目标截成15 cm，厘米尺做镜像截断。方向余弦对照同一探针在房屋对半上的余弦，以及只沿一条随机方向编码距离的合成激活。
• 方向：同一物体传送数据上，把末端指向物体的单位方位作三元ridge，用来对照距离是否必须分程。残差探针用来检查模型是不是只从两个位置重算方位。

接触、相位与写入

• 接触：用仿真中夹爪与物体的非零接触力标注，对VLM layer 24的文本token均值做LDA。提前接触是在夹爪张开时把物体按1 cm步进传送进夹爪；诱发滑移是在抓取中把物体传送出去直到接触断开。探针不在干预状态上训练，且测试房屋不在训练折中。
• 相位：标签来自夹爪指令、物体高度和物体是否停在容器上，分为reach、grasp、transport、place。在成功的pick-and-place轨迹上，对action expert layer 24做多类LDA。冻结是把当前帧给策略两次，使世界看起来停止，并与相隔八步的正常双帧比较。
• 腕：roll关节范围为±172.8°。扫描时固定其余关节并重渲染相机。因开弧上前进方向随位置变化，作者不用一条固定向量，而训练768–512–256–32的MLP自编码器，把激活映到圆上；三个旋转轴各占一对约束在圆上的编码维，其余26维不约束。编辑是绕竖直轴旋转后的解码减去未旋转解码，加在layer 9的动作token上，不直接命令运动。
• 夹爪：对rollout状态用pullback求加性δ，加在action expert layer 32的全部动作token上，从动作输出反传，直到解码出的夹爪指令翻转而手臂关节保持。损失含翻转夹爪、按住手臂、动作块平滑和δ范数，权重为(1, 300, 3000, 10^{-4})，Adam学习率0.1，最多1,000步，保留损失最低的编辑。测量用解码块，不执行该编辑。

belief与action

• belief：作者称一些结构编码对当前状态或与场景关系的估计。编辑改变的是感知，策略会去弥合感知与目标的差距，行为会逆着编辑移动，即补偿。
• action：另一些结构直接表示被命令的行为。编辑直接改变该输出，其他关节可以保持不动。腕编辑按表示构造，被当作belief；夹爪编辑从动作侧反推，用来对照。

实验设置

• 模型：主实验是MolmoBot。Section 4在同一批DROID查询上复查MolmoBot、π0.5和MolmoAct2。论文未使用LLM评审。
• 仿真环境与任务：MolmoSpaces中的ProcTHOR房屋。除相位用pick-and-place外，其余用pick。位置、距离、方向、接触读VLM残差流；相位、腕、夹爪读action expert，默认对最终flow step的16个动作token取均值。
• 规模与验证：自然pick 1,008 episodes（196 houses）；物体传送在70 cm内保留67,778个状态（905 scenes，其中11,534个低于15 cm）；交叉传送945 scenes；pick-and-place 530 episodes（181 houses，成功率63%）。探针为5折，仿真按房屋留出，真实数据按episode留出。论文未给出统一的重复次数。
• 真实数据：DROID。Fig. 8、29、33用前100个episode、每八步一查询，共3,321次查询；夹爪地标每模型379个。Fig. 31的距离为1,998个pick-and-place episode、26,675个时间步。距离标签是夹爪到最终抓取位置的距离，不是仿真中的物体真值距离。
• 指标：留出R²、准确率、balanced accuracy、AUC、角误差、探针权重余弦、Procrustes相似度。接触对照包括65%多数类；相位对照包括phase-timer与gripper-closure（Fig. 16）。

主结果

下表只列MolmoBot仿真中、正文或附录写明条件的读出。真实数据的区间不并进此表。

表格较宽，可左右滑动

概念	位置	指标	数值	出处
EE position	VLM layer 20	held-out R²	0.92	Fig. 2
target position	VLM layer 21	held-out R²	0.75	Fig. 2
distance	VLM layer 21	米尺 / 厘米尺各自量程R²	0.81 / 0.70	Fig. 3
contact	VLM layer 24	accuracy	91.3%	Fig. 4
phase	AE layer 24	balanced accuracy	0.92	App. C.7
wrist	AE layer 9	单次编辑，每写入度的反向旋转	0.33±0.08	Fig. 6c
gripper	AE layer 32	转向向量第一主成分方差	∼70%	Fig. 7

• 位置：作者称两个位置都是三维必要且充分，逐轴误差在夹爪宽度以内，直线世界路径在各自子空间内近乎保持直线，正交映射能拟合世界位移。作者把这当作分类基线：从像素把欧氏量重编码到原生维度，并近似保持度量。
• 距离：作者称一个标量拆成近正交的粗、细两尺。擦除32个远距方向后，远距R²从0.84降到接近0，近距R²保持0.71；反过来亦然（Fig. 3a）。未擦除时误差约为1.3 cm（近）和3.6 cm（远）。
• 任务与动作：作者称接触在无监督PCA中两类分开，且离日程传送后仍高于机会水平。相位在自然轨迹上按reach、grasp、transport、place分开，但暂停不可靠。腕的几何匹配编辑产生补偿；夹爪从动作梯度得到的编辑能翻转指令，但不是完全隔离。

激活干预

• 接触与相位：提前接触和诱发滑移后，同一LDA仍被作者称为高于机会水平（Fig. 4b）；附录写明自然rollout上准确率91.3%，对65%多数类，AUC 0.954。冻结使reach的闭爪指令步数占比升43个百分点，place降68个百分点，transport不变（Fig. 5d）。Fig. 5c标注冻结后最常见解码：reach为50%与50%，grasp 65%，transport 89%，place 73%且其次为transport 24%。
• 腕：扫描范围−172.8°到+172.8°，轨迹为开弧；物理上只差14°的两端在激活中相距远（Fig. 6a）。单次±20°或±40°编辑后，解码动作以每写入度0.33±0.08反向旋转。每步保持编辑时，校正累积，腕向相反方向转过写入角的1.0–1.3倍（Fig. 6d）。越过关节限位转满圈后图像与起点相同，action expert激活不回到起点，VLM回到起点（Fig. 22）。
• 夹爪：成功的转向向量从本状态云指向另一状态云（Fig. 7c）。第一主成分约占方差70%，并足以解码指令开度；沿该方向转向会漏到手臂关节，更多成分才能压低这部分泄漏（Fig. 7d）。VLM中，到layer 28翻转率落到对照编辑的水平，尽管开度可读性在layer 20升到0.86（Fig. 27）。

真实数据上的复查

• 四个可测变量：夹爪、腕角、EE位置、以最终抓取位置代理的距离，在三个模型上都被恢复。跨模型Procrustes相似度高于打乱null；null为夹爪和距离0.00–0.02，腕和EE位置0.11–0.18（Fig. 8）。作者称夹爪最一致，腕角跨模型一致性最低。
• 读出区间：三模型EE位置R²为0.78–0.92，腕角为0.52–0.69（Section 4）；论文未给出该区间的逐模型拆分。夹爪转向向量的第一主成分占方差31–59%。Fig. 33进一步写明π0.5为59%（stable rank 1.69），MolmoAct2为31%（stable rank 3.21）；一个成分在两模型上翻转94–96%的尝试，但手臂泄漏为完整δ最优值的2.4–4.3倍。
• 距离与例外：作者称远点沿米尺展开、近点分到厘米尺，且该结构在π0.5和MolmoAct2上比MolmoBot更清楚；作者认为这与MolmoBot在模拟训练分布之外的真实数据上评测相一致。真实腕扫描在两模型的两路流中都画出开的半圆弧；对π0.5的action expert，只在固定噪声种子和中间flow step上可见，若每查询换种子并取最终step则看不到弧（Fig. 30，App. C.10）。附录称四个相位沿真实episode可解码，图注未给准确率。

其他消融与分析

• 去掉场景均值后，EE的within-scene R²仍为0.92，目标降到0.57；两变量的真实x、y互测R²≤0.02（App. C.3）。
• 近、远距离探针余弦为0.04，对半上限约0.23；单方向合成激活上，15 cm边界的clipped余弦为0.95、分程拟合为0.92（Fig. 3c）。
• 方向中位角误差11.7°，训练均值下限33.1°；分程探针在近距最多差3°，远距最多改善1.1°（Fig. 14）。
• action expert layer 12的EE位置R²=0.998、误差1.1 cm；一般线性映射误差0.04，正交均匀缩放为0.29（Fig. 9）。layer 35复现两子空间距离码，厘米尺R² 0.43、米尺0.73（Fig. 13）。
• 同一数据上VLM腕角R²为0.31（layer 20），action expert为0.87（Fig. 21）。VLM相位balanced accuracy为0.86（视觉token，layer 31）和0.87（非图像token，layer 29）（App. C.7）。
• 诱发滑移中强制张开的条件只有24个位姿；作者称数量太少，不能与自然滑移比较（App. C.6）。

作者指出的局限与后续方向

论文没有单独的Limitations、Discussion或Future Work节。Conclusion里与后续工作直接对应的表述有两条。

• 有监督分类法：作者写分类法是supervised的，但可为无监督方法提供ground truth，并点名block-sparse featurizers可以据此验证（Conclusion）。
• 后续方向：作者认为VLA的几何对可解释性和更好的策略都是有前景的方向（Conclusion）。

实验覆盖范围

• 仿真主实验：对象是MolmoBot，环境是MolmoSpaces中的ProcTHOR房屋；七个概念分空间、任务结构、动作三组（Section 3）。
• 数据与验证：自然pick为1,008 episodes、196 houses；物体传送906 scenes；交叉传送945 scenes；pick-and-place 530 episodes、181 houses，成功率63%（App. C.2）。探针为5折，按房屋或episode留出。
• 真实数据：Section 4在MolmoBot、π0.5、MolmoAct2上使用DROID。作者写明真实数据没有物体真值位姿和中途干预，正文因此测量夹爪、腕角、EE位置，以及以最终抓取位置代理的距离。附录C.10还报告相位和一次真实腕部扫描。
• 干预：包括提前接触、诱发滑移、冻结手臂、腕部圆上编辑和夹爪pullback（Section 3.2–3.3，App. C.6–C.9）。
• 未报告项：论文未报告统计检验；Section 4给出的EE位置R² 0.78–0.92和腕角R² 0.52–0.69没有逐模型拆分。

这篇工作描述VLA策略里控制变量的实现几何：变量能否线性读出，以及取值在激活空间中画出什么形状。

作者认为操作要处理关节限位、物体几何和任务阶段，而探针与单方向SAE只回答存在性。他们在MolmoBot的仿真中对七个pick与pick-and-place变量做扫描、留出探针和激活写入，再把能测量的变量放到DROID的真实轨迹上，与π0.5、MolmoAct2比较。

读出相对仿射类定义；几何则是只移动一个概念时激活的条件期望轨迹。弯曲量不用一条全局方向去转，而是用与轨迹匹配的编辑。编辑再分成改变感知的belief和直接改指令的action。

• 位置：VLM layer 20的末端位置留出R²为0.92，layer 21的目标位置为0.75。作者称二者占近欧氏三维子空间。
• 距离：layer 21的米尺与厘米尺在各自量程上R²为0.81和0.70，方向余弦0.04。擦除32个远距方向后，远距R²从0.84降到接近0，近距保持0.71。
• 接触与相位：接触LDA准确率91.3%。冻结使reach的闭爪步数占比升43个百分点，place降68个百分点，transport不变。
• 腕与夹爪：关节限位下腕轨迹是开弧；单次几何编辑使解码动作以每写入度0.33±0.08反向补偿。夹爪pullback的第一主成分约占转向向量方差的70%，但会漏到手臂。
• 真实数据：三模型的EE位置R²为0.78–0.92，腕角为0.52–0.69。作者称两尺度距离码再次出现，不专属于一个模型或仿真。

作者的结论是，可读性只是起点：转向要同时匹配概念的形状和它在控制中是belief还是action。关节角如何编码、关节限位是什么，都会进入表示。分类法本身是有监督的，作者认为它可以给无监督特征器提供对照。