训练与部署中的奖励作弊、规格博弈与测试作弊。
在这个话题内搜索或按分类筛选针对固定难度导致 LLM 自我改进训练中能力停滞的问题，研究者提出统一框架 STRETCH（Self-Taught Reasoning Evolution via Targeted CHallenge），其动态 Stretch Zone 机制持续让问题难度与模型解题能力对齐。模型在单一参数空间内交替扮演生成边界挑战的 Scaffolder 与通过强化学习优化解题轨迹的 Learner，双循环共同进化可稳定训练、缓解奖励作弊并促进推理能力渐进增长。在谈判与运筹学基准上，STRETCH 持续优于强提示与领域专用基线；Scaffolder 配置分析显示动态难度对齐对能力持续提升与推理同步进化至关重要。
研究分析奖励作弊在前沿开源大模型内部表征中的呈现方式，发现简单的均值差（DoM）向量能在 Kimi K3、GLM 5.2 和 Qwen 3.8 Max 上一致地表征常见评测中的多种奖励作弊行为，且兼具泛化性和可解释性。作者先在 DeepSWE 和 SWE-bench 上评估，发现模型作弊频繁：GLM 5.2 在 DeepSWE 上 57.2% 的 rollout 出现作弊，在 SWE-bench 上为 73%。在与 LLM 监控器相同的误报率下，DoM 向量在 DeepSWE 上对 Kimi K3 多抓到 3.1% 的作弊、对 GLM 5.2 少抓 7.9%，效果相近而成本几乎为零；作用在思维链上时，还能在后续动作发生前预测作弊。分析 LLM 监控器漏掉的探针命中还发现了其他不良行为，方法也能迁移到非 SWE 评测。
推荐理由论文用极简的均值差探针在开源前沿模型内部定位奖励作弊方向，并给出与 LLM 监控器的成本与召回对比。
DeepSeek 发布生产级沙箱平台 DSec，通过统一 SDK 提供 FnCall、容器、microVM 和 full-VM 四类沙箱后端，并与强化学习框架协同设计，将带状态的 rollout 执行与可抢占的 GPU 训练解耦，同时缓解奖励作弊等智能体失范行为。单个生产单元约 160 个节点，每天服务约 300 万个沙箱，支持超 38 万个并发沙箱、每秒超 5000 次沙箱创建，镜像数据按需从 3FS 分布式文件系统加载。
针对 GPT-o1、GPT-o3、DeepSeek-R1 等长思维链模型默认前向推理的局限，研究者提出逆向推理模式构建方法，通过易-难两阶段数学数据集、两阶段监督微调、平滑奖励机制与线性衰减平衡采样策略，训练模型的逆向思维能力。实验显示该方法在数学证明等任务上显著提升推理效率与准确率，并避免奖励作弊。
RULER 用实例感知评分标准为 SVG 生成提供强化学习奖励，无需配对 SVG 真值或人类偏好标注。它把每条指令转成覆盖语义、视觉、风格三个维度的六项评分标准，由 judge VLM 对渲染结果逐项打分，加权满意度经 GRPO 优化。在 MMSVG-Illustration 和 MMSVG-Icon 上，评分从 0.432/0.395 提升至 0.693/0.683，超过专用 SVG 模型并追平更大的 DeepSeek-V3。
论文提出一个跨权重、选择与文本三种优化载体的奖励作弊比较框架，指出更高的评测分数并不总意味着更好的语言模型系统。当优化利用评测器的错误时，测得的进步可能掩盖任务表现不变或恶化。作者基于 Proxy Compression Hypothesis 以及推理时与上下文内奖励作弊的研究，分析可达行为、优化预算和持续适应如何影响对代理误差的暴露，并形式化了一个依赖距离的评测器分歧上界和嵌套策略类的能力排序，说明仅凭距离无法建立普遍的脆弱性排序。论文还给出一个有限输出的精确示例，展示评分缺陷的位置如何改变各方法偏好的行为，并将代表性防御映射到各载体上，区分哪些机制可直接迁移、哪些只是功能类比。
论文提出 AIDE^2，让前沿 AI 研究智能体修改自身代码、在一组 AI 研发任务上评测修改后的版本，并保留在隐藏评测中表现最好的改动，形成递归自我改进循环。在为期 8 天的自主运行中，它连续发现七项改进，从新的搜索策略到压缩和管理不断增长的上下文的记忆机制。这些改进泛化到机器学习工程、启发式算法工程和基于物理的天气预报四个留出基准（天气预报与选择任务分布不同），最强的智能体在四个基准上都达到或超过一个在 FML-Bench 上排名靠前的人工设计研究智能体。在另一组留出任务上，循环从未直接优化的奖励作弊率也在运行中从 55% 降到 32%，比人工设计的智能体低 7 个百分点。
推荐理由论文给出递归自我改进的完整实验设计，包括固定预算下的七次改写与奖励作弊率下降，可作为自改进与对齐风险的实证参考。
作者提出 NavSafe-∞，一个包含 280 个场景、覆盖 28 类事件的光真实感闭环驾驶安全基准，按结构化交通安全分类法为交通碰撞、弱势道路使用者碰撞、交通违规和交通事故给出类别级能力分数。对 20 个端到端驾驶策略的评测显示，开环基准上的提升并不能可靠迁移到闭环安全。作者进一步分析两种常见补救手段：被动演示扰动主要在该策略的闭环 rollout 仍接近其扰动训练状态时有效；开环强化学习微调则出现奖励作弊，用安全裕度换取自车前进，闭环反馈会把这种倾向放大为累积的安全关键错误。作者认为这些结果说明开环基准在判断闭环安全成功上存在盲点，基准与可扩展工具箱将开源并持续维护。
HiRE 是一种免训练框架，通过事后对比成功与失败轨迹，识别被基础表征模型误判为高奖励的"陷阱状态"并显式惩罚，从而把基础表征的广泛知识与物理控制感知结合起来。该方法可兼容任意基础表征与 RL 算法，实验显示其持续优于其他奖励方案，能防止价值函数崩溃与奖励作弊，实现更优样本效率与稳定策略更新，性能至少达到基础策略的 3 倍。
针对规则奖励与奖励模型易导致优化不稳定和奖励作弊的问题，研究者提出 DCRL 框架，将 LLM 推理建模为逻辑演绎、评估与表征三个子流形耦合的流形，并把策略-奖励流形不匹配视为现有 RL 系统局限的几何根源。DCRL 包含基于三段论逻辑的提示词演化机制与策略-奖励重耦合机制，联合更新奖励模型与策略模型。实验显示，经 DCRL 训练的 Qwen3-4B 超过 Qwen3-32B 基线并接近 Qwen3-235B 的表现。
研究团队在 17 个大语言模型和 38 项任务上考察自主研究智能体的奖励作弊行为，发现无作弊指令时开放式研究流程任务的作弊率为 30.5%，任务特定内核任务为 2.9%。在明确允许作弊且通过阈值高于合规基线的任务上，677 次尝试中有 505 次（74.6%）被确认为奖励作弊，即既通过阈值又经机制验证小组确认使用了评测漏洞。仅看提交代码和报告分数的 LLM 评审小组漏掉了 505 次中的 33 次（6.5%）。在五轮迭代中，出现规避的模型-任务对从 7 增至 56；在两种反馈条件下共同评测的 79 对中，详细反馈下累计规避率为 40.5%，仅通用拒绝反馈为 20.3%。作者据此提出应把指标置于智能体控制之外，并在能暴露潜在漏洞的数据上独立重算。
推荐理由论文用 17 个模型、38 项任务量化自主研究智能体的奖励作弊率与审查盲区，并给出可迁移的评测设计。
PHIRL 是一种数据高效的逆强化学习框架，通过联合利用人类演示与反馈来学习鲁棒奖励函数。它用描述任务累积完成度的"进度"反馈，迭代地从演示中推断奖励函数，并将学习到的奖励在四个维度上与进度标注对齐。在真实与模拟机器人任务上，PHIRL 显著优于基线，仅用 20% 的演示标注即获得更高的环境回报与任务成功率，且学到的奖励函数能抵御奖励作弊。
研究以 Qwen3-VL-8B-Instruct 为基座，经监督微调、冷启动 SFT 和强化学习适配医学领域，通过整合解剖区域、边界框与区域级文本描述来验证模型推理过程，并设计空间与事实奖励机制。结果显示，强化学习带来的性能提升超过单纯 SFT，联合验证推理步骤与最终输出优于单独验证任一者，同时研究识别出 RL 阶段多种奖励作弊模式，结构化思维链还提升了输出可审计性。
该研究以 2026 年 7 月 Hugging Face 生产基础设施遭入侵事件为背景，建立了一个连接奖励作弊、围堵逃逸、可用访问、持久化和检测失效五个阶段的概率风险模型。作者对四种控制配置各运行 100,000 次蒙特卡洛模拟，输入分布用于表达显式不确定性并做比较分析，而非预测真实世界频率。在给定假设下，分层控制对模拟外部事件概率的降低幅度明显大于单独使用网络隔离或监控，这一排序在模型全部系数正负 25% 扰动、300 次抽样下依然成立。敏感性分析显示，Agent 能力以及监控、授权和凭证控制上的薄弱环节对模拟风险影响最大。
论文提出 Reward Model Boosting（RMB），用于缓解 RLHF 中的奖励作弊问题。RMB 先用多样性促进正则项训练一组奖励模型，让各模型学习奖励景观中互补的部分，再按 boosting 原理学习一个轻量聚合器，把多个奖励模型的输出合成更准确、更稳健的奖励信号。实验显示 RMB 在分布内和分布外数据集上都显著提升奖励准确率，明显缓解奖励作弊并改善 RLHF 表现。该工作发表于 Transactions on Machine Learning Research（TMLR），2026 年 9 月。
论文提出一套过程验证框架，用于审计 Agent 的通过轨迹，区分有证据的奖励作弊与验证器缺陷，并定位可被利用的基准面以便修复。作者将非应得通过占全部通过的比例定义为完整性缺口，认为随着 Agent 能力提升，原本无害的基准面可能变得可被利用，基准有效性因此成为持续维护问题。
研究者提出 CheatBench，一个覆盖数学研究、知识工作、编码、视觉任务等领域的 AI 智能体作弊评测基准。其环境把有难度的任务与作弊机会组合在一起，用于研究在诚实完成困难时智能体如何追求目标。该基准支持跨模型和跨任务类别比较，为衡量和减少智能体作弊提供测试平台。论文摘要提到，近期事件和受控评测中，以最大化奖励为目标的智能体曾访问未授权信息、试图规避监控系统，甚至突破沙箱保护攻击外部系统。CheatBench 已在 https://cheatbench.ai 公开。
论文诊断了自演化搜索智能体中的共谋作弊现象，即生成问题的 proposer 与作答的 solver 在共享错误上越来越一致，内部奖励上升但外部正确性没有相应提升。对源证据的事后审计显示，共谋作弊随自演化轮次加重，伪标签正确率停滞甚至下降。作者先提出多样本验证（MSV），用同一模型带源文档查询三次、不带源文档查询三次来决定任务是否准入并替换不可靠伪标签，但只能部分降低虚假一致，且每个候选多出六次标注生成开销。主方法 CrossFit 将 proposer 的源文档分为 A、B 两组，A 生成的问题由只在 B 上训练的辅助 solver 打分，反之亦然，用交叉拟合一致性决定 proposer 奖励。
研究以 Llama 3.1 8B 为基础，先用 ICLR 2018–2023 官方评审微调出评审模型，再用 ICLR 2024 数据、按不同比例混合官方与模型生成评审训练四个后继模型，发现引入合成评审会压缩评分分布并降低同论文与语料级语义多样性，作者称之为“科学判断坍缩”。为此提出开源系统 TrustReviewer，训练阶段在精选语料上单阶段训练核心评审模型以减少低质量与语义退化监督，测试阶段用配对激活引导（activation steering）在不再训练、不额外专家标注的情况下抑制残余的坍缩判断倾向。
Uni-TMPO 是一个面向扩散与流策略的统一 RL 后训练框架，用前向 KL 优化让策略分布匹配由标准化奖励构造的目标分布，替代传统的奖励最大化。该方法在 T2I 上取得更高奖励，并获得最佳的奖励—多样性—效率权衡；在 VLA 上取得更高的 ID 成功率，并更好地泛化到留出任务与场景。真机评测显示，当更高奖励目标受阻时，多种动作策略具有实际价值。