防御arXiv 2610.09496
SOUL：用稀疏特征策略遗忘缓解 VLA 模型的状态幻觉
提出 SOUL 稀疏特征策略遗忘，缓解 VLA 状态幻觉
- arXiv
- 2610.09496
- 发表
- 场景
- 具身与机器人
- 被测模型
- OpenVLA、π0.5
摘要SOUL 以稀疏特征遗忘 VLA 状态幻觉。
SOUL用稀疏特征引导的策略 unlearning 处理 VLA 的 state hallucination。
- 防御arXiv 2610.08761
VeriFine：通过扩展验证实现具身推理的自我改进
提出 VeriFine，用双环协同扩展验证以实现具身推理自我改进
- arXiv
- 2610.08761
- 发表
- 场景
- 具身与机器人
- 被测模型
- Alpamayo 1.5 8B、Qwen3-VL 2B、Claude Opus 5
摘要VeriFine 用双环协同演化具身推理的策略、课程和评审，驾驶与导航的策略分和评审对齐都上升。
VeriFine 把驾驶和导航推理的自改进写成策略、课程和无参考评审的协同演化，用来处理固定评审跟不上新失败模式的问题。
- 防御arXiv 2610.04616
PerturBot 用扰动训练打破视觉-语言-动作模型的模态捷径
提出 Perturbot 扰动训练，打破 VLA 的模态捷径
- arXiv
- 2610.04616
- 发表
- 场景
- 具身与机器人
- 被测模型
- π0.5
摘要Perturbot 改训练数据以削弱三类模态捷径，GroundFscore 用来看成功是否来自任务证据。
Perturbot 是一套不改推理的 VLA 训练期数据干预，用来削弱模态捷径，并用离线分数区分“任务变好”和“靠捷径变好”。
- 分析与理论arXiv 2610.03196
研究：人形机器人学习流程四层代理均存在偏离，不止奖励作弊
论证人形机器人学习四层代理可在目标缺失时报成功
- arXiv
- 2610.03196
- 发表
- 场景
- 具身与机器人
- 被测模型
- Gaussian MLP（三隐层各 128 ELU，独立 critic，PPO）
- 风险奖励作弊
摘要四层都可能在目标缺失时报告成功。
作者讨论腿式机器人 RL 流水线中，奖励、课程门控、评测统计量和参考运动如何在物理目标缺失时仍报告成功。传统观点只把奖励当作会被优化、因而会偏离的代理。
- 防御arXiv 2609.39820
FailBank：用运行时反馈自进化提升 VLA 模型任务成功率
提出 FAIL BANK，用运行时 CBF 反馈自进化更新 VLA 策略
- arXiv
- 2609.39820
- 发表
- 场景
- 具身与机器人
- 被测模型
- π0.5、π0
- 防御模型加固
- 风险Agent 危险操作
- 其他arXiv 2609.34426
Q-learning Penalized Transformer（QPT）：面向安全离线强化学习的训练-推理一致框架
提出 QPT，用奖励与成本 Q 惩罚训练满足约束的离线强化学习策略
- arXiv
- 2609.34426
- 发表
- 场景
- 具身与机器人
摘要QPT 把条件 Transformer 与奖励/成本 Q 惩罚连成训练–推理一致的安全离线 RL 方法。
QPT 针对安全离线 RL：只从离线数据学习，同时处理约束满足、回报最大化和行为正则，并希望部署时更换成本阈值而无需重训。
- 防御arXiv 2609.31855
PHIRL：将学习到的奖励与任务进度对齐的逆强化学习框架
提出 PHIRL，用进度标注对齐逆强化学习奖励
- arXiv
- 2609.31855
- 发表
- 场景
- 具身与机器人
- 被测模型
- PHIRL、PHIRL-online
摘要PHIRL 用进度四维对齐 AIRL 奖励。
PHIRL 用进度标注修正从示范反推的奖励，以减少真人在环，同时不把示范中的每一步都当成任务进展。
- 攻击arXiv 2609.22711
UBA-ORL：针对离线强化学习的遗忘激活后门攻击
提出 UBA-ORL，以 BD/CM 样本在遗忘后激活离线 RL 后门
- arXiv
- 2609.22711
- 发表
- 场景
- 具身与机器人
- 被测模型
- TD3+BC、BCQ、IQL
摘要UBA-ORL 用竞争的 BD/CM 样本，使离线 RL 后门在删除伪装轨迹后激活。
UBA-ORL 研究离线强化学习中由合规轨迹删除激活的后门：合法贡献者同时上传共享触发的后门轨迹和伪装轨迹，训练后触发响应被压低，删除伪装批次后再升高。受害系统是使用静态数据集和轨迹级遗忘接口的离线 RL 服务。对手不能看到训练算法、参数、梯度或具体遗忘算法，但能提交可区分批次，并在部署时向观测注入预定触发。
- 评测与基准arXiv 2609.15315
安全强化学习评测指标：SafeRLEval 开源评测套件
提出 SafeRLEval，用越界率与代价偏差评测安全强化学习
- arXiv
- 2609.15315
- 发表
- 场景
- 具身与机器人
- 被测模型
- PPO-Lag、P3O、FOCOPS
摘要SafeRLEval 用越界率、归一化偏差和安全等级补充 E[C]≤d，并要求同时看贪心部署。
Spoor、Plaat 与 Moerland 认为，安全强化学习沿用 CMDP 的 E[C]≤d，只报告平均是否安全，看不出越界频率和幅度，也分不清训练期、带探索噪声的最终策略和贪心部署策略。他们提出评测框架 SafeRLEval：越界率 V、按安全界归一化的平均代价偏差 Dnorm、只在越界回合上计算的归一化幅度 Dnorm+。用 IQM 跨任务和安全界聚合。
- 攻击arXiv 2609.07051
TrojanWorld：通过想象引导对世界模型智能体植入后门
提出 TrojanWorld，用物理触发器对世界模型智能体植入想象引导后门
- arXiv
- 2609.07051
- 发表
- 场景
- 具身与机器人
- 被测模型
- TD-MPC2、DreamerV3、R2-Dreamer
摘要TrojanWorld 揭示了世界模型智能体的供应链后门风险，通过在世界模型中操纵想象可实现对闭环动作的持续控制。
- 攻击arXiv 2606.09499
研究者提出针对世界模型的机器人学习管线投毒攻击
提出 VPH 与 VTH，只改视频帧劫持世界模型并投毒下游策略
- arXiv
- 2606.09499
- 发表
- 场景
- 具身与机器人
- 被测模型
- Cosmos-Predict 2.5、Cosmos-Predict 2.5 AC、Dino WM 等 4 个
摘要只改视频帧经世界模型投毒。
只改看似安全的视频帧，经世界模型之后才改变下游机器人策略。 问题在于世界模型进入数据生成后，数据集检查看到的仍是安全演示，合成轨迹却可以变危险。
已经到底了