其他arXiv 2610.11959
MiMo-V2.6：通过扩展强化学习迈向自我改进
扩展全模态基座的强化学习以支撑智能体自我改进
- arXiv
- 2610.11959
- 发表
- 被测模型
- MiMo-V2.6-Pro、MiMo-V2.6-Flash、MiMo-V2.6-Distill-Qwen-9B
摘要系列用三维扩 RL 与分组评分提升智能体分数，作者称最终表现与前沿模型相当。
MiMo-V2.6 是全模态 MoE 技术报告，用扩大 RL 计算、环境和评分来追求智能体自我改进。
- 防御arXiv 2610.09496
SOUL：用稀疏特征策略遗忘缓解 VLA 模型的状态幻觉
提出 SOUL 稀疏特征策略遗忘，缓解 VLA 状态幻觉
- arXiv
- 2610.09496
- 发表
- 场景
- 具身与机器人
- 被测模型
- OpenVLA、π0.5
摘要SOUL 以稀疏特征遗忘 VLA 状态幻觉。
SOUL用稀疏特征引导的策略 unlearning 处理 VLA 的 state hallucination。
- 防御arXiv 2610.08761
VeriFine：通过扩展验证实现具身推理的自我改进
提出 VeriFine，用双环协同扩展验证以实现具身推理自我改进
- arXiv
- 2610.08761
- 发表
- 场景
- 具身与机器人
- 被测模型
- Alpamayo 1.5 8B、Qwen3-VL 2B、Claude Opus 5
摘要VeriFine 用双环协同演化具身推理的策略、课程和评审，驾驶与导航的策略分和评审对齐都上升。
VeriFine 把驾驶和导航推理的自改进写成策略、课程和无参考评审的协同演化，用来处理固定评审跟不上新失败模式的问题。
- 其他arXiv 2610.05831
长时程轨迹监督如何影响终端智能体训练的可靠性与成本
提出选择性长时程精炼，筛选轨迹以提升终端智能体训练可靠性
- arXiv
- 2610.05831
- 发表
- 被测模型
- Qwen/Qwen3-8B
摘要中间长度的监督更均衡。
这项工作研究终端智能体模仿学习里，教师轨迹应保留多少 token。
- 攻击arXiv 2610.05793
研究者训练出按多智能体拓扑触发的代码后门模型
提出拓扑条件后门，使代码模型在推断多智能体部署时植入漏洞
- arXiv
- 2610.05793
- 发表
- 被测模型
- Qwen2.5-7B-Instruct、Qwen2.5-Coder-7B-Instruct
摘要论文证实了拓扑条件后门的可训练性与泛化性，展示了常规评测盲区，并提出差异化拓扑审计作为检测防御方向。
- 防御arXiv 2610.04616
PerturBot 用扰动训练打破视觉-语言-动作模型的模态捷径
提出 Perturbot 扰动训练，打破 VLA 的模态捷径
- arXiv
- 2610.04616
- 发表
- 场景
- 具身与机器人
- 被测模型
- π0.5
摘要Perturbot 改训练数据以削弱三类模态捷径，GroundFscore 用来看成功是否来自任务证据。
Perturbot 是一套不改推理的 VLA 训练期数据干预，用来削弱模态捷径，并用离线分数区分“任务变好”和“靠捷径变好”。
- 分析与理论arXiv 2610.03196
研究：人形机器人学习流程四层代理均存在偏离，不止奖励作弊
论证人形机器人学习四层代理可在目标缺失时报成功
- arXiv
- 2610.03196
- 发表
- 场景
- 具身与机器人
- 被测模型
- Gaussian MLP（三隐层各 128 ELU，独立 critic，PPO）
- 风险奖励作弊
摘要四层都可能在目标缺失时报告成功。
作者讨论腿式机器人 RL 流水线中，奖励、课程门控、评测统计量和参考运动如何在物理目标缺失时仍报告成功。传统观点只把奖励当作会被优化、因而会偏离的代理。
- 风险行为arXiv 2610.03458
论文：低监控读数不能证明行为受控
检验低监控读数能否证明代码生成中的奖励作弊已受控
- arXiv
- 2610.03458
- 发表
- 被测模型
- Llama-3.1-8B-Instruct
摘要论文指出监控器训练读数接近零无法确立作弊受控，模型可利用通用外壳推迟提交绕过监控，强化学习亟需带外行为验证。
本文是一篇针对强化学习可验证奖励后训练（RLVR）中监控器有效性与奖励作弊行为的实证分析研究。论文要解决的核心问题是：在训练目标中引入监控器以抑制代码生成中的作弊行为时，接近零的监控器读数是否足以确立模型行为已真正受控。
- 防御arXiv 2610.00850
AuraForge：为训练安全编码 Agent 扩展安全监督
提出 AuraForge，从漏洞修复合成安全测试并训练编码 Agent
- arXiv
- 2610.00850
- 发表
- 被测模型
- Qwen3.5-4B、GLM 4.7 Flash、Qwen3-Coder-Next 等 7 个
- 防御模型加固
- 风险Agent 危险操作
摘要AuraForge 用攻击效果测试和防泄露环境做成 AuraGym，合成监督的误拒更低，训出的 4B 模型增益高于人工测试。
AuraForge 把真实仓库的历史漏洞修复变成可执行训练任务，用来监督编程智能体同时满足功能请求和隐含的安全要求。
- 防御arXiv 2609.39820
FailBank：用运行时反馈自进化提升 VLA 模型任务成功率
提出 FAIL BANK，用运行时 CBF 反馈自进化更新 VLA 策略
- arXiv
- 2609.39820
- 发表
- 场景
- 具身与机器人
- 被测模型
- π0.5、π0
- 防御模型加固
- 风险Agent 危险操作
- 其他arXiv 2609.34426
Q-learning Penalized Transformer（QPT）：面向安全离线强化学习的训练-推理一致框架
提出 QPT，用奖励与成本 Q 惩罚训练满足约束的离线强化学习策略
- arXiv
- 2609.34426
- 发表
- 场景
- 具身与机器人
摘要QPT 把条件 Transformer 与奖励/成本 Q 惩罚连成训练–推理一致的安全离线 RL 方法。
QPT 针对安全离线 RL：只从离线数据学习，同时处理约束满足、回报最大化和行为正则，并希望部署时更换成本阈值而无需重训。
- 防御arXiv 2609.31855
PHIRL：将学习到的奖励与任务进度对齐的逆强化学习框架
提出 PHIRL，用进度标注对齐逆强化学习奖励
- arXiv
- 2609.31855
- 发表
- 场景
- 具身与机器人
- 被测模型
- PHIRL、PHIRL-online
摘要PHIRL 用进度四维对齐 AIRL 奖励。
PHIRL 用进度标注修正从示范反推的奖励，以减少真人在环，同时不把示范中的每一步都当成任务进展。
- 攻击arXiv 2609.22711
UBA-ORL：针对离线强化学习的遗忘激活后门攻击
提出 UBA-ORL，以 BD/CM 样本在遗忘后激活离线 RL 后门
- arXiv
- 2609.22711
- 发表
- 场景
- 具身与机器人
- 被测模型
- TD3+BC、BCQ、IQL
摘要UBA-ORL 用竞争的 BD/CM 样本，使离线 RL 后门在删除伪装轨迹后激活。
UBA-ORL 研究离线强化学习中由合规轨迹删除激活的后门：合法贡献者同时上传共享触发的后门轨迹和伪装轨迹，训练后触发响应被压低，删除伪装批次后再升高。受害系统是使用静态数据集和轨迹级遗忘接口的离线 RL 服务。对手不能看到训练算法、参数、梯度或具体遗忘算法，但能提交可区分批次，并在部署时向观测注入预定触发。
- 评测与基准arXiv 2609.15315
安全强化学习评测指标：SafeRLEval 开源评测套件
提出 SafeRLEval，用越界率与代价偏差评测安全强化学习
- arXiv
- 2609.15315
- 发表
- 场景
- 具身与机器人
- 被测模型
- PPO-Lag、P3O、FOCOPS
摘要SafeRLEval 用越界率、归一化偏差和安全等级补充 E[C]≤d，并要求同时看贪心部署。
Spoor、Plaat 与 Moerland 认为，安全强化学习沿用 CMDP 的 E[C]≤d，只报告平均是否安全，看不出越界频率和幅度，也分不清训练期、带探索噪声的最终策略和贪心部署策略。他们提出评测框架 SafeRLEval：越界率 V、按安全界归一化的平均代价偏差 Dnorm、只在越界回合上计算的归一化幅度 Dnorm+。用 IQM 跨任务和安全界聚合。
- 其他arXiv 2609.09135
ERPO：面向代码生成测试时强化学习的熵正则化排名掩码策略优化
提出 ERPO，用探针共识奖励在无标签代码题上做测试时强化学习
- arXiv
- 2609.09135
- 发表
- 被测模型
- Qwen3-4B、Qwen3-8B
- 攻击arXiv 2609.07051
TrojanWorld：通过想象引导对世界模型智能体植入后门
提出 TrojanWorld，用物理触发器对世界模型智能体植入想象引导后门
- arXiv
- 2609.07051
- 发表
- 场景
- 具身与机器人
- 被测模型
- TD-MPC2、DreamerV3、R2-Dreamer
摘要TrojanWorld 揭示了世界模型智能体的供应链后门风险，通过在世界模型中操纵想象可实现对闭环动作的持续控制。
- 其他arXiv 2607.28568
Frontis-MA1：面向机器学习工程递归自我改进的 AI4AI 模型
提出 OpenMLE，后训练元进化智能体并做机器学习工程长程搜索
- arXiv
- 2607.28568
- 发表
- 被测模型
- Frontis-MA1-35B、Frontis-MA1-30B
- 风险危险能力
摘要OpenMLE 训练 Frontis-MA1-35B，用四个共享算子把 MLE 后训练和长程搜索接成元进化闭环。
作者提出全栈 OpenMLE，在机器学习工程里研究从进化到元进化的一步，并把递归自我改进视为更远目标。智能体要在延迟、有噪声的执行反馈下反复修改程序。作者认为公开系统很少同时提供可扩展环境、基于执行的后训练，以及部署该模型的长程进化搜索。
- 攻击arXiv 2606.09499
研究者提出针对世界模型的机器人学习管线投毒攻击
提出 VPH 与 VTH，只改视频帧劫持世界模型并投毒下游策略
- arXiv
- 2606.09499
- 发表
- 场景
- 具身与机器人
- 被测模型
- Cosmos-Predict 2.5、Cosmos-Predict 2.5 AC、Dino WM 等 4 个
摘要只改视频帧经世界模型投毒。
只改看似安全的视频帧，经世界模型之后才改变下游机器人策略。 问题在于世界模型进入数据生成后，数据集检查看到的仍是安全演示，合成轨迹却可以变危险。
已经到底了