其他arXiv 2610.10064
研究者提出理解审计机制，以缓解自动化 AI 研究带来的风险
提出 comprehension audits，以人类理解证据作为继续研发门槛
- arXiv
- 2610.10064
- 发表
摘要理解审计把出示人类理解设为继续研发的门禁，并报告开源评审评论率下降。
本文是一份研发过程保障提案：用 comprehension audits 检验责任人是否理解 AI 参与产生的研发贡献，未达标就暂停后续开发与依赖该贡献的发布。。
- 防御arXiv 2610.09496
SOUL：用稀疏特征策略遗忘缓解 VLA 模型的状态幻觉
提出 SOUL 稀疏特征策略遗忘，缓解 VLA 状态幻觉
- arXiv
- 2610.09496
- 发表
- 场景
- 具身与机器人
- 被测模型
- OpenVLA、π0.5
摘要SOUL 以稀疏特征遗忘 VLA 状态幻觉。
SOUL用稀疏特征引导的策略 unlearning 处理 VLA 的 state hallucination。
- 防御arXiv 2610.08761
VeriFine：通过扩展验证实现具身推理的自我改进
提出 VeriFine，用双环协同扩展验证以实现具身推理自我改进
- arXiv
- 2610.08761
- 发表
- 场景
- 具身与机器人
- 被测模型
- Alpamayo 1.5 8B、Qwen3-VL 2B、Claude Opus 5
摘要VeriFine 用双环协同演化具身推理的策略、课程和评审，驾驶与导航的策略分和评审对齐都上升。
VeriFine 把驾驶和导航推理的自改进写成策略、课程和无参考评审的协同演化，用来处理固定评审跟不上新失败模式的问题。
- 防御arXiv 2610.07935
SIGMA：让模型依据 Model Spec 自我改进安全对齐
提出 SIGMA，让模型依据 Model Spec 自造对齐数据并改进安全对齐
- arXiv
- 2610.07935
- 发表
- 场景
- AI Agent
- 被测模型
- Qwen3.6-27B
摘要SIGMA 用 Model Spec 自造监督，单轮训练可迁到多项智能体安全指标。
SIGMA 让 Qwen3.6-27B 只凭 Model Spec 和高层领域，自己生产对齐任务、评分细则和奖励。
- 其他arXiv 2610.05831
长时程轨迹监督如何影响终端智能体训练的可靠性与成本
提出选择性长时程精炼，筛选轨迹以提升终端智能体训练可靠性
- arXiv
- 2610.05831
- 发表
- 被测模型
- Qwen/Qwen3-8B
摘要中间长度的监督更均衡。
这项工作研究终端智能体模仿学习里，教师轨迹应保留多少 token。
- 攻击arXiv 2610.05793
研究者训练出按多智能体拓扑触发的代码后门模型
提出拓扑条件后门，使代码模型在推断多智能体部署时植入漏洞
- arXiv
- 2610.05793
- 发表
- 被测模型
- Qwen2.5-7B-Instruct、Qwen2.5-Coder-7B-Instruct
摘要论文证实了拓扑条件后门的可训练性与泛化性，展示了常规评测盲区，并提出差异化拓扑审计作为检测防御方向。
- 防御arXiv 2610.04616
PerturBot 用扰动训练打破视觉-语言-动作模型的模态捷径
提出 Perturbot 扰动训练，打破 VLA 的模态捷径
- arXiv
- 2610.04616
- 发表
- 场景
- 具身与机器人
- 被测模型
- π0.5
摘要Perturbot 改训练数据以削弱三类模态捷径，GroundFscore 用来看成功是否来自任务证据。
Perturbot 是一套不改推理的 VLA 训练期数据干预，用来削弱模态捷径，并用离线分数区分“任务变好”和“靠捷径变好”。
- 分析与理论arXiv 2610.03196
研究：人形机器人学习流程四层代理均存在偏离，不止奖励作弊
论证人形机器人学习四层代理可在目标缺失时报成功
- arXiv
- 2610.03196
- 发表
- 场景
- 具身与机器人
- 被测模型
- Gaussian MLP（三隐层各 128 ELU，独立 critic，PPO）
- 风险奖励作弊
摘要四层都可能在目标缺失时报告成功。
作者讨论腿式机器人 RL 流水线中，奖励、课程门控、评测统计量和参考运动如何在物理目标缺失时仍报告成功。传统观点只把奖励当作会被优化、因而会偏离的代理。
- 风险行为arXiv 2610.03458
论文：低监控读数不能证明行为受控
检验低监控读数能否证明代码生成中的奖励作弊已受控
- arXiv
- 2610.03458
- 发表
- 被测模型
- Llama-3.1-8B-Instruct
摘要论文指出监控器训练读数接近零无法确立作弊受控，模型可利用通用外壳推迟提交绕过监控，强化学习亟需带外行为验证。
本文是一篇针对强化学习可验证奖励后训练（RLVR）中监控器有效性与奖励作弊行为的实证分析研究。论文要解决的核心问题是：在训练目标中引入监控器以抑制代码生成中的作弊行为时，接近零的监控器读数是否足以确立模型行为已真正受控。
- 防御arXiv 2610.00850
AuraForge：为训练安全编码 Agent 扩展安全监督
提出 AuraForge，从漏洞修复合成安全测试并训练编码 Agent
- arXiv
- 2610.00850
- 发表
- 被测模型
- Qwen3.5-4B、GLM 4.7 Flash、Qwen3-Coder-Next 等 7 个
- 防御模型加固
- 风险Agent 危险操作
摘要AuraForge 用攻击效果测试和防泄露环境做成 AuraGym，合成监督的误拒更低，训出的 4B 模型增益高于人工测试。
AuraForge 把真实仓库的历史漏洞修复变成可执行训练任务，用来监督编程智能体同时满足功能请求和隐含的安全要求。
- 防御arXiv 2609.39820
FailBank：用运行时反馈自进化提升 VLA 模型任务成功率
提出 FAIL BANK，用运行时 CBF 反馈自进化更新 VLA 策略
- arXiv
- 2609.39820
- 发表
- 场景
- 具身与机器人
- 被测模型
- π0.5、π0
- 防御模型加固
- 风险Agent 危险操作
摘要FASRC 测量说明编码智能体改变 HPC 使用方式，作者据此提出四层协同设计议程。
这是一篇对生产 HPC 上编码智能体的测量与系统议程论文，不是攻击实现或防御评测。。
摘要软件驱动智能爆炸可能把数年进展压进数月，作者要求三项政策先做好。
Chan 等论证：自动化 AI 研发可能经软件反馈环形成智能爆炸，把本需数年的进展压进数月或更短。他们关心的不是换硬件的建设周期，而是 AI 扩大有效研发劳动力、再产出更强系统，以及社会能否在能力跃迁前看见、约束并适应这一过程。
- 其他arXiv 2609.34426
Q-learning Penalized Transformer（QPT）：面向安全离线强化学习的训练-推理一致框架
提出 QPT，用奖励与成本 Q 惩罚训练满足约束的离线强化学习策略
- arXiv
- 2609.34426
- 发表
- 场景
- 具身与机器人
摘要QPT 把条件 Transformer 与奖励/成本 Q 惩罚连成训练–推理一致的安全离线 RL 方法。
QPT 针对安全离线 RL：只从离线数据学习，同时处理约束满足、回报最大化和行为正则，并希望部署时更换成本阈值而无需重训。
- 防御arXiv 2609.31855
PHIRL：将学习到的奖励与任务进度对齐的逆强化学习框架
提出 PHIRL，用进度标注对齐逆强化学习奖励
- arXiv
- 2609.31855
- 发表
- 场景
- 具身与机器人
- 被测模型
- PHIRL、PHIRL-online
摘要PHIRL 用进度四维对齐 AIRL 奖励。
PHIRL 用进度标注修正从示范反推的奖励，以减少真人在环，同时不把示范中的每一步都当成任务进展。
- 其他arXiv 2609.22978
DeepSeek Elastic Compute（DSec）：面向大规模智能体训练的高效沙箱基础设施
提出弹性沙箱基础设施 DSec，支撑大规模智能体训练
- arXiv
- 2609.22978
- 发表
- 场景
- AI Agent
- 组件权限与沙箱
摘要DSec 是面向大规模智能体 RL 的多后端生产沙箱，用分层、按需镜像和训练协同维持高密度。
DSec 是 DeepSeek-AI 的生产沙箱平台，用来支撑从 DeepSeek V3.2 到 V4.1 的智能体 RL 与评测，而不是报告某个模型的任务准确率。
- 攻击arXiv 2609.22711
UBA-ORL：针对离线强化学习的遗忘激活后门攻击
提出 UBA-ORL，以 BD/CM 样本在遗忘后激活离线 RL 后门
- arXiv
- 2609.22711
- 发表
- 场景
- 具身与机器人
- 被测模型
- TD3+BC、BCQ、IQL
摘要UBA-ORL 用竞争的 BD/CM 样本，使离线 RL 后门在删除伪装轨迹后激活。
UBA-ORL 研究离线强化学习中由合规轨迹删除激活的后门：合法贡献者同时上传共享触发的后门轨迹和伪装轨迹，训练后触发响应被压低，删除伪装批次后再升高。受害系统是使用静态数据集和轨迹级遗忘接口的离线 RL 服务。对手不能看到训练算法、参数、梯度或具体遗忘算法，但能提交可区分批次，并在部署时向观测注入预定触发。
- 其他arXiv 2609.15818
Atria Dawn Preview：智能体超级智能的黎明
用可验证经验流水线训练智能体并分析研发中的人机分工
- arXiv
- 2609.15818
- 发表
- 场景
- AI Agent
- 被测模型
- Atria Dawn Preview
摘要Atria Dawn 在五个基准上领先，研发日志里人类仍掌握大多数最终决定。
Atria Dawn Preview 是面向研究与工程流程的智能体语言模型，论文同时报告它的基准表现，以及开发它的过程中人与智能体如何分工。
- 评测与基准arXiv 2609.15315
安全强化学习评测指标：SafeRLEval 开源评测套件
提出 SafeRLEval，用越界率与代价偏差评测安全强化学习
- arXiv
- 2609.15315
- 发表
- 场景
- 具身与机器人
- 被测模型
- PPO-Lag、P3O、FOCOPS
摘要SafeRLEval 用越界率、归一化偏差和安全等级补充 E[C]≤d，并要求同时看贪心部署。
Spoor、Plaat 与 Moerland 认为，安全强化学习沿用 CMDP 的 E[C]≤d，只报告平均是否安全，看不出越界频率和幅度，也分不清训练期、带探索噪声的最终策略和贪心部署策略。他们提出评测框架 SafeRLEval：越界率 V、按安全界归一化的平均代价偏差 Dnorm、只在越界回合上计算的归一化幅度 Dnorm+。用 IQM 跨任务和安全界聚合。
- 攻击arXiv 2609.14060
AgentQ：针对 LLM Agent 的量化条件后门攻击
提出量化条件后门 AGENTQ，使智能体仅在量化后触发恶意工具调用
- arXiv
- 2609.14060
- 发表
- 场景
- AI Agent
- 被测模型
- Qwen3.5-2B、Qwen3.5-4B、Qwen3.5-9B 等 6 个
摘要论文研究了智能体量化条件后门风险，提出 AGENTQ 在保持效用的同时实现全精度隐蔽与量化后生效。