SOUL：用稀疏特征策略遗忘缓解 VLA 模型的状态幻觉

VLA会把尚未达成的机器人-物体状态当成已达成，并据此继续生成动作。

• 场景：作者称VLA能把高层指令转为连续控制，但部署仍受不稳定或过早动作、长时程漂移、无法从执行错误恢复、不可行动作等限制；物理执行中错误动作直接影响机器人和环境。
• 现有做法：作者称中间推理、失败检测与恢复、测试时采样或验证主要改进部署时的输出，而不是直接修改与反复失败相关的策略知识；推理时的表示干预也需要反复进行。
• 观察：作者称状态幻觉伴随对夹爪和目标物体等任务相关区域的注意力减弱、对背景的注意力增加；SAE分析中，与幻觉相关的稀疏特征在这类失败发生时被激活。
• 方法：作者提出SOUL（Sparse feature pOlicy UnLearning），把幻觉失败与成功行为对应的稀疏特征分别作为遗忘和保留目标，抑制前者、增强后者，把修正写入策略参数。
• 行为界定：
  • 抓取幻觉：夹爪在空中闭合且未接触目标；接触后的定位不准或滑脱不算。
  • 搬运幻觉：抓取失败或抓取幻觉后，夹爪仍闭合移向目的地，物体未被抓住。
  • 放置幻觉：未持有目标时在目的地张开夹爪。
  • 标注：仿真用真值机器人-物体状态，真实世界用可观察交互状态。rollout分为clean success（CS）、hallucination failure（HF）和non-hallucination failure（NF）。

视觉-语言-动作模型

• RT-2、OpenVLA、π0.5、Open X-Embodiment、GR00T N1、Gemini Robotics等（论文引用[1]–[6]、[15]–[18]）用预训练视觉-语言表示、异构机器人数据和动作生成架构，提升跨任务、物体、环境和本体的泛化。
• 部署侧工作用中间推理、失败检测与恢复、测试时采样或验证改进策略输出（[12]、[19]–[23]）。作者称这些方法主要改部署时输出，而不是直接修改与反复失败相关的策略知识。
• 同期机制可解释性工作在推理时干预前馈激活方向或稀疏特征，以分析和引导VLA（Häon等，CoRL 2025；Khan等，NeurIPS 2025 workshop）。作者称这类干预要在推理时反复进行。

机器unlearning

• Cao与Yang（2015）及后续分类工作旨在不从头训练就去掉选定数据的影响（Golatkar等，2020；Thudi等，2022；Nguyen等的综述，2025）。语言任务中则抑制事实知识或不良回答（Yao与Xu，2024；Maini等的TOFU，2024）。
• 作者称核心困难是去掉目标知识同时保留有用能力；对机器人策略，改一种行为可能连带破坏多个紧耦合技能。
• 作者据此提出特征级选择性策略unlearning，显式指定遗忘特征与保留特征。

稀疏自编码器

• SAE把稠密激活分解为稀疏潜变量，使单个特征对应更局部的行为模式（Huben等，ICLR 2024；Gao等，ICLR 2025）。Top-k SAE只保留最大的k个潜激活。
• 作者称VLA中SAE特征近期被用于解释并在测试时反复引导策略（Khan等，2025）；本文则把与不可靠行为相关的重复内部模式转成遗忘目标，用于策略unlearning。

基线与基准

• 基线方法为gradient ascent：在幻觉失败样本上最大化动作预测损失，改编自语言unlearning中的优化式遗忘（论文引用[30]、[31]）。作者称据他们所知，此前没有针对机器人策略的unlearning基线。
• 基准为LIBERO-Plus、RoboCasa，以及7-DoF Franka Research 3真实机器人。

作者把不良策略行为的选择性修改表述为策略unlearning：去掉与反复幻觉相关的知识，保留支持成功执行的表示，并避免推理时反复干预。

SOUL把状态幻觉的缓解写成选择性策略unlearning：用SAE标出与幻觉失败和干净成功相关的稀疏特征，再更新策略以抑制前者、增强后者。Fig. 4给出流程。

状态幻觉与rollout标签

• 定义：策略按尚未实际达成的机器人-物体状态继续生成动作，可发生在抓取、搬运或放置阶段。
• 三类事件：抓取幻觉是夹爪在空中闭合且未接触目标，接触后的定位不准或滑脱除外。搬运幻觉是抓取失败或抓取幻觉后夹爪仍闭合移向目的地、物体未被抓住。放置幻觉是未持有目标时在目的地张开夹爪。
• 标签：至少一次状态幻觉且任务失败为HF；无状态幻觉的成功为CS，无状态幻觉的失败为NF。仿真跟踪真值状态，真实世界用可观察交互状态。

注意力与稀疏特征

• 注意力：每个rollout步聚合动作token对视觉token的注意力并投到输入图像。作者称Fig. 2中，事件前CS的注意力集中在目标物体和夹爪，HF对这两处更弱、对背景更强。
• SAE：从transformer层残差流收集视觉token激活，每个视觉token为一个训练样本。编码器保留k个最大正激活，解码器重建原激活，并用top-kaux非活跃特征的辅助重建损失。训练后冻结SAE，只用编码器抽特征。
• 区域统计：仿真区域来自基准掩码，真实观察手工标注。区域r上特征j的激活是该区域视觉token激活的平均；rollout内取时间最大值，再在CS、NF、HF内平均。
• 关联分：幻觉关联分是HF激活减去CS与NF激活的平均，成功关联分对调HF与CS。分数更大表示更偏向对应结果。作者据此区分hallucination features与success features。Fig. 3的时间曲线和箱线显示，幻觉特征在幻觉事件附近升高、在CS中较弱，成功特征相反。

幻觉关联分写为 s^hall_r,j=m̄_HF,r,j−1/2(m̄_CS,r,j+m̄_NF,r,j)，即该区域-特征在HF上的平均最大激活，减去它在CS与NF上的平均。

遗忘集与保留集

• 遗忘：优先与HF强相关、能与NF分开、与CS弱相关的特征。分离分是HF减NF；聚合分用分离分减去成功关联分；最终遗忘分是幻觉关联分加聚合分。取排序靠前的区域-特征对组成遗忘集F。
• 保留：保留集R取成功关联分高的特征。实验中遗忘和保留各取前五个区域-特征对。

特征引导的参数更新

• 损失：遗忘项在HF样本上惩罚F中特征激活的平方，并按集合大小平均。保留项在CS样本上对R中特征激活取负号，从而鼓励这些特征激活。
• 联合目标：L_unlearn=L_forget+λ_r L_retain。λr控制保留项强度，论文未给出取值。
• 优化：SAE编码器冻结。策略从公开预训练权重初始化，原权重冻结，只优化LoRA。每个rollout最多均匀采样20个时间步，作者称这是为降低对长轨迹的偏向。
• 设定：SAE潜变量维度4096，k=100，kaux=512。OpenVLA用语言骨干层0、8、16、24、31；π0.5用PaliGemma骨干层0、5、11、17。

评测任务范围

• 作者为减少任务与运动规划的混杂，评测集中在抓取-搬运-放置序列。LIBERO-Plus含多严重度视觉扰动，RoboCasa含多种厨房环境。所用任务及光照、背景变体列在Section V脚注，任务指令原文不复述。

实验设置

• 模型：自回归OpenVLA与flow-matching的π0.5。仿真中前者配LIBERO-Plus，后者配RoboCasa；真实世界两者都在7-DoF Franka Research 3上评测。
• 数据：LIBERO-Plus的指定pick-and-place及其光照、背景变体；RoboCasa的六个PickPlace任务及对应评测配置。真实世界两模型合计50次rollout，视觉条件多样。论文未报告仿真每个条件的rollout次数。
• 基线：原预训练策略；gradient ascent，在HF样本上最大化动作预测损失。作者称据他们所知此前没有机器人策略unlearning基线，故改编该优化式方法。
• 指标：Hallucination为至少含一次状态幻觉的rollout比例；Hallucination failure为既含幻觉又任务失败的比例。Overall success为完成任务的比例；Clean success为无状态幻觉地完成任务的比例。另报抓取、搬运、放置各自至少一次该类幻觉的比例。
• 判定：仿真用真值状态，真实世界用可观察交互状态。论文未使用LLM评审，也未报告重复次数或显著性检验。
• 流程差异：真实世界先用LoRA按目标任务微调，再对任务策略施加SOUL。仿真正文写从公开预训练策略初始化并优化LoRA，未写先做任务微调。

主结果

据Table I，单位为%。OpenVLA行是LIBERO-Plus，π0.5行是RoboCasa。

Swipe horizontally to read the table

条件	Hall.↓	HF↓	Overall↑	Clean↑	Grasp↓
OpenVLA原策略	70.0	60.0	26.0	16.0	70.0
OpenVLA gradient ascent	84.0	84.0	0.0	0.0	84.0
OpenVLA SOUL	44.0	38.0	58.0	52.0	44.0
π0.5原策略	40.0	37.1	41.9	39.0	39.0
π0.5 gradient ascent	60.0	59.0	4.8	3.8	60.0
π0.5 SOUL	22.9	21.0	54.3	52.4	22.9

• 作者称原策略在两个评测设置上的平均幻觉率和幻觉失败率分别为55.0%和48.6%；SOUL将平均幻觉率降到33.5%，clean success从27.5%升至52.2%。
• 作者称gradient ascent不能稳定缓解幻觉，并损害任务成功，见表中对应行。
• 作者称抓取、搬运、放置三阶段的幻觉率也被降低。摘要另写平均幻觉率降低21.7个百分点、任务成功率提高22.1个百分点；正文没有把22.1个百分点对应到overall success或clean success。

特征激活与真实世界

• 仿真：Fig. 5比较unlearning前后选定遗忘与保留特征的时间激活。作者称unlearning前遗忘特征在幻觉事件附近强、保留特征弱；之后任务在无状态幻觉下完成，遗忘特征受抑制，对应阶段的保留特征升高。作者称OpenVLA与π0.5上都观察到这一模式。文本未给出曲线上的激活数值。
• 真实世界：从公开预训练模型出发，先LoRA微调再施加SOUL，两模型合计50次rollout。作者称clean success平均提高20个百分点，hallucination failure平均降低22个百分点。
• Fig. 6：作者称原策略出现状态幻觉，遗忘特征强、保留特征弱；施加SOUL后任务在无幻觉下完成，两类特征分别受抑制和升高。任务指令原文不复述。

行为保留与纠正

• Fig. 7在任务级和事件级报告preservation与correction。作者称对原本成功的任务执行和无幻觉事件，平均preservation为89%。摘要则写保留unlearning前成功行为的89%。
• 作者称原本失败的任务执行中40%变为成功；抓取、搬运、放置阶段的幻觉事件中78%被纠正为无幻觉。
• 作者称这一取舍纠正了不良幻觉行为，同时保留了已经成功或无幻觉的行为。

其他消融与分析

• Table II（两模型、两基准平均）：Global的幻觉率45.8%、HF 41.4%、overall 42.7%、clean 38.3%；Tokenized为41.5%、35.5%、47.3%、41.3%；Region-guided为33.5%、29.5%、56.2%、52.2%。作者称Global相对原策略有改善，但保留空间结构更好，region-guided的幻觉率最低、成功率最高。
• Table III（同一平均）：完整方法33.5%、29.5%、56.2%、52.2%；去掉保留项为36.8%、29.9%、55.2%、48.3%；去掉聚合分后为39.9%、36.9%、50.7%、47.7%。作者称去掉保留项后幻觉降幅仍在，但clean success下降；去掉聚合分后幻觉降低和任务成功都变差。
• Table I的搬运与放置幻觉：SOUL在OpenVLA上为20.0%与6.0%（原策略38.0%、16.0%），在π0.5上为3.8%与0.0%（原策略7.6%、1.9%）。gradient ascent的放置幻觉在两设置均为0.0%，但OpenVLA搬运幻觉为62.0%（原38.0%），π0.5搬运幻觉为0.0%（原7.6%）。作者未单独解释这一阶段差异。

作者指出的局限与后续方向

• 论文未专门讨论局限。提供的正文在Conclusion中复述分析、方法和结果，没有把某一点写成局限、不足或后续方向，也没有单独的Limitations、Discussion或Future Work节。

实验覆盖范围

• 被测策略为OpenVLA与π0.5；仿真为LIBERO-Plus与RoboCasa的pick-and-place，真实世界为Franka Research 3上两模型合计50次rollout（Section V）。
• Table I的对照为原预训练策略，以及在幻觉失败样本上最大化动作预测损失的gradient ascent（Section V-A）。
• SAE为Top-k，潜变量维度4096，k=100，kaux=512；遗忘与保留各取前五个区域-特征对。OpenVLA用语言骨干层0、8、16、24、31，π0.5用PaliGemma骨干层0、5、11、17（Section V-A）。
• 特征分析时每个rollout最多均匀采样20个时间步；策略用LoRA更新、原权重冻结，SAE编码器冻结（Section V-A）。
• 论文未报告λr的取值、仿真各条件的rollout次数、显著性检验，以及与Related Work中测试时特征引导方法的数值对比。

SOUL用稀疏特征引导的策略unlearning处理VLA的state hallucination。

• 问题：策略在抓取、搬运或放置时按尚未达成的机器人-物体状态继续动作，局部错误可延续到后续阶段，并直接影响物理环境。
• 做法：Top-k SAE分解视觉token激活，按CS、HF、NF的区域关联分确定遗忘集与保留集；冻结SAE，用LoRA抑制幻觉特征、增强成功特征，把修正写入参数，而不是推理时反复干预。
• 仿真：Table I中，LIBERO-Plus上OpenVLA的幻觉率由70.0%到44.0%，overall success由26.0%到58.0%，clean success由16.0%到52.0%；RoboCasa上π0.5由40.0%到22.9%、41.9%到54.3%、39.0%到52.4%。正文将两设置平均幻觉率写为从55.0%到33.5%，clean success从27.5%到52.2%。摘要写幻觉率降低21.7个百分点、任务成功率提高22.1个百分点。
• 对照与真实世界：gradient ascent的幻觉率为84.0%与60.0%，overall success为0.0%与4.8%。真实世界两模型共50次rollout，clean success平均提高20个百分点，hallucination failure平均降低22个百分点。Fig. 7的平均preservation为89%，失败转成功40%，幻觉事件纠正78%。
• 作者结论：作者称可解释的稀疏特征分析能为策略unlearning提供可操作目标，选择性修改反复出现的不良行为，并在很大程度上保留已有操作能力。