机器人的记忆只是一个时钟吗？记忆增强 VLA 策略中的时间捷径

核心问题：按时间填充记忆的VLA策略能否区分"等待"与"干活"——作者的回答是不能，机器人会把空转时间当作任务进度。

• 场景与重要性：许多操作任务（如"拿起放下方块K次再按按钮"）仅靠当前观测无法求解，记忆增强VLA策略把每个动作条件于episode记忆。一种简单且被广泛使用的做法（作者说法）是按时间填充：均匀采样过去帧并打上时间步戳，RoboMME上最强的已发布策略正是这一设计。
• 现有方法的不足：真实机器人常因规划器慢、被操作员暂停或安全监控而等待，也会犹豫或空抓（作者称此类区间为null event）。按时间填充的记忆会给这种区间分配采样帧和时间戳，无法像"记录发生了什么"的记忆那样跳过它。
• 核心观察：演示以稳定节奏进行，因此已流逝时间本身就能预测进度——在PickXtimes和SwingXtimes演示上分别达到89%和80%的预测准确率（Fig. 3）。模仿学习从不惩罚"从时间读进度"的策略，作者由此提出temporal shortcut假设。
• 论文提出了什么：一套诊断协议（可见/隐藏空事件对照+时间戳缩放）判断记忆策略追踪的是事件还是时间；对失效机理的因果分析（时间戳与槽位占用两条路径）；以及两种由诊断推出的修法对比（暂停数据增强 vs 测试时事件索引）。

机器人策略中的记忆

• 多数VLA只基于当前观测或短窗口；记忆方向包括history-aware transformer、感知记忆库、keyframe/事件选择、循环与test-time-training记忆、视频-语言混合记忆。RoboMME [11] 标准化了评测并发布本文研究的MME-VLA家族，MIKASA-Robo [8] 和MemoryBench [13] 是相关套件。
• 少量工作追问记忆实际在做什么：历史被编码却几乎不被使用 [24]，长而未筛选的历史引入伪相关 [30, 47, 52]。论文指出这些工作把问题当作历史分布偏移、靠选帧解决，而本文识别出"已流逝时间"这一具体相关量并用干预验证。
• 与本文最接近的：AGM [16] 显示把尝试动作记为进度会让失败抓取变成持续错误；RoboMME-Interference [39] 显示无关会话挤占帧采样记忆；并发的EventVLA [53] 与KEMO [57] 报告按事件选帧优于均匀采样。

捷径、时间与位置

• 捷径学习 [17] 在模仿学习中已有因果混淆 [12] 与copycat行为 [10, 50] 的记录；时间在有时限任务中是合法状态 [34]，许多控制器由相位变量驱动 [20, 35]，GVL [29] 因此打乱帧序。
• 序列模型中位置编码影响计数与长度泛化 [1, 21, 37, 40]；视频moment检索模型可凭时刻的时间位置而非内容作答 [33, 55]。

视频记忆中的事件与冗余

• 视频模型通过合并冗余帧/token压缩长输入 [5, 19, 43]，事件分割把帧分组为有意义单元 [15, 42, 56]；论文指出这些方法按外观判断冗余，而空事件未必看起来冗余（抖动的手腕每帧都变）。本文事件索引改用"世界是否回到先前状态"，类似SLAM的回环检测 [7]。

机器人策略的鲁棒性

• 已有基准扰动物体、纹理、光照、相机、语言和初始状态 [14, 38, 49, 59]；时间方面只研究过推理延迟 [4, 26]。作者称据其所知，没有先前工作向记忆增强策略的rollout注入测试时空事件。

定位：作者把本文定位为对"记忆实际在做什么"的因果剖析，事件索引是检验该解释的极简干预而非新架构。

整体思路：在计数任务上注入空事件（null event），用可见/隐藏对照把"物理中断"与"记忆内容"分离，再用时间戳缩放、无时间编码模型和跨设计对比定位失效机理，最后检验诊断预测的两种修法。

任务、策略与空事件

• 任务：RoboMME的两个计数任务——PickXtimes（拿起放下方块K∈{1..5}次后按按钮）和SwingXtimes（往返搬运K次），记忆用于判断何时停止。
• 被测策略：已发布的MME-VLA（基于π0.5），其FrameSamp记忆保留32帧按时间均匀采样、每帧带绝对时间步的正弦编码，三个变体（Modul/Expert/Context）经不同路径读取；TokenDrop按像素变化选token。除非说明，结果用最强的FrameSamp-Modul。
• 三类空事件：在策略步48和160后的action-chunk边界注入——暂停（保持不动100环境步=5秒，剂量研究用30和300步）、手腕抖动（绕目标±0.3 rad滚动100步）、空气抓取（规划器在静止物体上方执行抓取后回到原姿态）。评估器记录无物体移动超过1 cm。
• 可见vs隐藏：可见时空事件帧正常进入记忆、时间戳照常前进；隐藏时物理事件完全相同，但帧不写入记忆、时间戳不前进。隐藏条件是"对空事件无差别的记忆"的参照。

协议与统计

• 每格50个测试episode，所有比较配对相同episode（环境种子与策略噪声），用精确双边McNemar检验；失败分类为early（未完成K次就按按钮/提交）或extra（做了超过K次）。
• 评测不完全确定：同一条件两次运行相差8/50（Sec. E），因此约10 episode以内的差异谨慎解读。

机理分析的四步

1. 时间预测进度（Sec. 5.1）：在演示每一步仅凭已流逝时间预测已完成重复次数（10步分箱、5折交叉验证），对照"总猜最常见次数"基线。
2. 缩放时间戳（Sec. 5.2）：不注入空事件、帧不变，仅把所有记忆帧时间戳乘以因子s；若策略从时间读进度，快钟应致提前停止、慢钟应致重复。
3. 去掉时间编码（Sec. 5.3）：从π0.5基座按发布配方训练30k步的Clock（保留时间编码）与NoClock（去除），仅差use_pos_emb一行；配合null swap（空帧替换为暂停前最后一帧）、duplicate fill（用真实帧副本填槽）、null block（无暂停插入相同帧块）三个控制。
4. 跨设计对比（Sec. 5.4）：对RoboMME全部已发布记忆设计（含MemER式keyframe、文本子目标、TTT、无记忆π0.5）及两个独立策略SimpleMemVLA、LTM-π施加同样空事件，不重训。

两种修法

• 改数据：在80%训练样本的记忆时间线注入1–3段20–600步的合成暂停（重复一帧、时间戳照常前进），另设更弱剂量（30%样本、至多2段20–100步）。
• 改索引（事件索引）：测试时不重训，若世界回到先前状态（机器人构型回到某保留帧容差内、场景外部不变、期间无接触变化）则该段折叠为一帧，长时间静止同样折叠，时间位置按保留帧重算；检测器读取机器人剪影、夹爪宽度和臂上外力，容差在全部16个RoboMME任务上固定（Sec. I）。作者说明该实验检验"把空帧移出索引是否足够"，而非提供可部署检测器。

实验设置

• 被测模型：已发布的FrameSamp-Modul/Expert/Context、TokenDrop（三个变体）、MemER式keyframe、文本子目标、TTT、无记忆π0.5；独立策略SimpleMemVLA、LTM-π；从头训练的Clock与NoClock（π0.5基座、30k步）。
• 基准：RoboMME的PickXtimes与SwingXtimes（主分析），全部16个任务用于泛化（Table 9）；MIKASA-Robo的BlinkCount/TimedTransfer为探索性研究。
• 指标：成功率（50个配对episode的成功数）；失败分类early/extra；精确双边McNemar检验，42个比较族做Holm校正（Sec. L）。
• 协议：每格50 episode、逐episode配对；held-out确认用每任务50个验证episode；关键检验预注册（Sec. K）。
• 重复与种子：Clock/NoClock训练了seed 42与43两个种子；其余模型（含各增强剂量）一个种子；Clock同种子重训在PickXtimes无事件格相差至多12 episode（Table 4）。

主结果

据Fig. 2b与Table 1（FrameSamp-Modul，两次5秒事件，50个配对episode）：

表格较宽，可左右滑动

任务	无事件	暂停(可见)	抖动(可见)	空气抓取	暂停(隐藏)
PickXtimes	47	16	16	未用于主文	45
SwingXtimes	44	10	10	23	47

• 失效形态：暂停与抖动下几乎所有失败都是提前停止（PickXtimes 34/34、SwingXtimes 36/40，Sec. B）；K=1的episode几乎全部存活，K≥2在暂停/抖动下无一成功（Table 1）。
• 因果归于记忆：隐藏条件保持物理事件不变、仅不写入记忆，每格成功率都回到无事件水平（Fig. 2b）；作者据此称破坏来自策略所记忆的内容。
• 剂量与时机：损害在每次暂停0.5–1.5秒间出现、5秒饱和（Table 6）；单个暂停只伤害其后仍需做停止决策的episode。

时间戳缩放（Sec. 5.2）

• 测了什么：无空事件、帧不变，仅将记忆帧时间戳×s（Fig. 4，FrameSamp-Modul，PickXtimes）。
• 结果：s=1.5时成功从47降至18，失败全为提前按按钮；s=0.5时降至24，失败转为额外重复（23 extra/3 early）；×0.5保持在训练分布内。FrameSamp-Expert同向翻转（Table 13）。
• 作者解读：失败方向跟随时钟方向，空事件相当于时钟的局部加速；15秒长暂停下Clock的34/36次提前按压发生在至多1次重复后、held-out上29/29（Fig. 5），作者称策略读出了空事件的时长。

去掉时间编码与跨设计对比（Sec. 5.3–5.4）

• NoClock仍失败：无时间编码的NoClock不受×1.5影响（44 vs 42）且计数相当，但两次5秒暂停仍使其降至21（PickXtimes）和14（SwingXtimes），隐藏后恢复（Fig. 6a）；null swap（空帧换成暂停前最后一帧）损害不变，duplicate fill（真实帧副本填槽）不损害。
• 空槽剂量：无暂停时插入相同帧块，12个空槽使NoClock从42降至24（PickXtimes）、47降至23（SwingXtimes）（Fig. 6c/Table 23）。
• 跨设计（Table 2，两次空事件）：三个FrameSamp变体全部崩溃（如Modul 47→16）；TokenDrop按像素变化选token，暂停损害较小（39→30）但抖动损害更大（39→21）；子目标索引的MemER式（38→39）与文本子目标（46→48）在PickXtimes上不受两种事件影响；每步都写入的SimpleMemVLA在PickXtimes暂停下几乎无损（50→47）而LTM-π崩溃（50→7）。

两种修法（Sec. 6）

• 暂停增强失败：在第二台机器上训练并与同机重训对照（Fig. 8a/Table 28）：PickXtimes上暂停不再造成损害只是因为无事件成功率已从32（重训）降至24；SwingXtimes上与无增强重训表现相当（10 vs 11）；held-out上K≥2从35降至7/40。更弱剂量保住了SwingXtimes计数但暂停下无改善。
• 事件索引有效：同一Clock检查点测试时启用（Fig. 8b/Table 30）：三种空事件下成功至少翻倍，空气抓取下SwingXtimes从13升至43；held-out与已发布策略上复现（Table 34，7个探针中6个p<.05）。
• 边界：PickXtimes无事件时事件索引有代价（已发布策略held-out 139→120/150，预注册确认）；对不返回原状态的单程空气抓取和随机微停恢复有限（Table 38：20→27、17→24，不显著）；时间本身是任务的TimedTransfer上折叠暂停在构造上就是错的。

其他消融与分析

• 16任务泛化（Table 9）：视频条件任务经另一机制受损——空帧把演示视频挤出32个槽位，RouteStick从33降至7，饥饿/保护对照复现并恢复。
• 演示中时间预测进度（Table 10）：PickXtimes 0.890、SwingXtimes 0.802；真实遥操作三周期数据0.922–0.933，与仿真相当。
• 线性探针（Table 22）：NoClock记忆token中时间仍线性可读（held-out R² 0.92/0.89），但暂停膨胀判据只在PickXtimes达成，作者按预注册规则不下结论。
• MIKASA-Robo探索（Sec. J）：BlinkCount基础成功仅24/50、预注册门槛未过；固定cue时长为50步后成功降至6且集中于K=5（5/9），作者称与"从cue时长读K"一致，证据为探索性。
• 负面结果：PickXtimes空气抓取因返回的夹爪常重新夹住方块而非空事件，被排除出主文（Sec. B）；SimpleMemVLA暂停损害预测未达成（47 vs 50，Sec. K）。

作者指出的局限与后续方向

• 覆盖范围有限（Sec. 7 Limitations）：因果分析只覆盖一族记忆策略（MME-VLA）及用其架构重训的模型，两个独立策略只做了探针式测试而未剖析。
• 全部在仿真（Sec. 7）：所有实验在仿真中、每个空事件都是脚本注入，未测量部署中未预告空事件的发生频率；事件检测器也使用仿真信号。
• 种子与训练方差（Sec. 7）：Clock与NoClock有第二个种子且满足全部预定规则，但其余模型（含每个增强剂量）只有一个种子；Clock重训在PickXtimes无事件格相差至多12 episode，因此只在差距更大时才比较分开训练的模型。
• 未解问题（Sec. 7）：没有时间戳时，策略从被占用槽位读取的是哪个特征仍未知。
• 后续方向（Sec. 7 Discussion）：从真实传感器检测世界变化比在仿真中难，作者视其为"追踪发生了什么的记忆"的主要开放问题；空事件、时钟缩放和固定时长cue是任何记忆基准都可加入的廉价探针。

实验覆盖范围

• 被测模型共14个：MME-VLA的FrameSamp三变体与TokenDrop三变体、MemER式keyframe、文本子目标、TTT、π0.5、独立的SimpleMemVLA与LTM-π、从头训练的Clock与NoClock（Sec. 3, Sec. G）。
• 任务覆盖RoboMME全部16个任务（Table 9，其中2个处于地板未运行、4个因无事件成功不足15只报告不解读），另加MIKASA-Robo的BlinkCount与TimedTransfer（探索性，Sec. J）。
• 每格50个配对测试episode，held-out确认为每任务50个验证episode；评测非完全确定，同一条件两次运行相差8/50（Sec. 3, Sec. E）。
• 因果证据全部来自仿真；真实遥操作数据（austin_sailor、stanford_hydra、FMB、LIBERO-10）仅用于"时间预测进度"的相关性统计，作者明确称这不表明真实数据训练的策略会用该捷径（Sec. D）。
• 事件检测器使用仿真分割与无噪声渲染，夹爪宽度与外力是仿真替身，5像素场景容差需在真实相机上重定（Sec. I.2, Sec. I.5）。

一篇针对记忆增强VLA策略的因果分析论文，提出并剖析phantom progress失效：按时间填充记忆的机器人会把空转时间当作任务进度。

• 问题：RoboMME计数任务上，两次5秒暂停或手腕抖动使已发布FrameSamp-Modul在PickXtimes从47/50降至16/50、SwingXtimes从44/50降至10/50，失败几乎全是提前按按钮；隐藏事件帧（物理事件不变、不写入记忆）后成功率恢复，作者据此称原因在记忆而非中断本身。
• 机理：演示节奏稳定，仅凭已流逝时间即可预测进度（PickXtimes 89%、真实遥操作数据超92%），模仿学习因此学到temporal shortcut。仅缩放时间戳（无空事件）即可按方向制造提前或重复；但去掉时间编码的NoClock仍失败（21和14/50），因为空事件帧仍占据按时间采样的记忆槽位——捷径在于索引方式，时间戳只是载体之一。
• 跨设计：作者称脆弱性跟随索引方式——按时间索引的记忆全部崩溃，按像素变化选择的TokenDrop受抖动影响大于暂停，按子目标索引的记忆在PickXtimes上不受两种空事件影响（Table 2）。
• 修法：暂停数据增强未消除失效且损害无事件时的计数；测试时事件索引（世界回到先前状态的区段折叠为一帧）不重训即在三种空事件下至少翻倍成功，空气抓取下SwingXtimes从13升至43/50，但在真实重复也构成回环的PickXtimes上有代价，对微停和单程事件恢复有限。
• 作者结论：旨在记录"发生了什么"的记忆应随事件而非时钟前进；时间只在时长本身是任务时作为策略输入保留。作者认为该捷径不太可能为RoboMME所特有，并建议记忆基准加入空事件与时钟缩放探针。