可解释性arXiv:2610.09384 · 10月7日
人格层级模型解释微调 LLM 的上下文泛化
提出人格层级模型解释微调行为的上下文泛化，并用 PPR 抑制奖励作弊
模型与 API测试Qwen3-4B、Llama-3.1-8B-Instruct模型层
- 模型加固
- 奖励作弊
摘要提出人格层级模型揭示微调跨上下文泛化规律，报告角色距离正相关性，通过 PPR 抑制 RL 作弊。
完整解读
防御arXiv:2610.09159 · 10月7日
SpecGuard 用 Lean 证书在编码 Agent 执行前证明任务冲突
提出 SpecGuard，在编码智能体执行前用 Lean 证书证明任务与测试冲突
编程 Agent测试GPT-5.6 Sol、Claude Opus 5、Claude Fable 5 等 4 个应用层
- 奖励作弊
摘要提出预执行冲突检测与证明框架，在多个基准和真实仓库中成功证明任务与测试不可同时满足。
完整解读
防御arXiv:2610.03055 · 10月2日
HackTrace：用生成状态监督检测代码生成中的奖励作弊
提出 HACKTRACE 用生成状态检测并抑制代码奖励作弊
编程 Agent测试Qwen3-8B、Llama-3.1-8B-Instruct、Qwen3.5-4B 等 4 个应用层
摘要论文提出利用生成状态监督作弊尝试的 HACKTRACE 框架，实现高精度低延迟检测并在 GRPO 训练中有效抑制奖励投机。
完整解读
风险行为arXiv:2609.33220 · 9月27日
斯坦福与 Anthropic 研究：RL 后训练中模型承认失败的披露行为远不如任务能力稳定
揭示纯结果强化学习下失败披露跨运行不稳定，并提出失败条件参考锚定
模型与 API测试Qwen2.5-1.5B、Qwen2.5-7B、Qwen2.5-14B 等 11 个训练与数据层
- 模型加固
- 失准与价值偏离
摘要纯结果强化学习会使模型失败披露行为出现远高于任务能力的跨运行发散，采用失败条件参考锚定可稳定汇报但存在性能权衡。
完整解读
防御arXiv:2608.25460 · 8月26日
用强化学习训练对齐审计员：成对奖励加校准让 Haiku 4.5 追平 Opus 4.6
用强化学习与成对比较奖励训练对齐审计模型并校准假阳性
AI Agent测试Claude Haiku 4.5、Claude Opus 4.6、Claude Opus 4.7 等 15 个应用层
摘要系统总结了强化学习训练对齐审计器的核心问题、成对奖励与校准方法及主要结果。
完整解读
防御arXiv:2610.00332 · 10月2日
最弱一环：用最坏情况约束强化学习蒸馏 LLM 推理能力
提出最坏情况约束强化学习，抑制推理蒸馏中的奖励投机
模型与 API测试Qwen2.5-1.5B、Qwen2.5-Math-7B-Instruct、Llama-3.2-3B 等 6 个训练与数据层
摘要最坏前缀教师似然约束让小模型在接近 GRPO 正确率的同时维持更高保真，从而得到最高 RSR。
Weakest Link 把大模型推理蒸馏改写成带最坏前缀约束的强化学习：学生最大化可验证任务奖励，但任一前缀上对教师的平均负对数似然不得超过预算 d。作者认为，序列级软 KL 只惩罚平均散度，学生可以用别处的高概率文本掩盖某一步的逻辑错误，同时仍得到正确最终答案。GRPO 则只优化最终答案。
完整解读
防御arXiv:2609.38847 · 10月1日
ProRubric：通过协议级评分标准缓解 Rubric-RL 中的奖励作弊
提出 ProRubric，把加性评分聚合改为合取协议以抑制奖励作弊
模型与 API测试Qwen3-4B、Qwen3-8B训练与数据层
摘要ProRubric 用离线合取维度替换加性求和，在继续学习时抬高适当性且不损失覆盖率。
Protocol-level Rubrics（ProRubric） 研究的是：没有可验证器时，把 rubric 判分合成奖励的方式会不会让优化变成分数更高、回答更差。
完整解读
防御arXiv:2609.19101 · 9月17日
用内部表征监控与发现 LLM 评测中的奖励作弊
提出 DoM 激活探针，监控并发现评测中的奖励作弊
编程 Agent测试Kimi K3、GLM 5.2、Qwen 3.8 Max 等 7 个模型层
摘要论文分析了前沿开源模型在评测中的奖励投机，展示了利用内部激活均值差向量低成本监控与发现投机行为的可行性。
完整解读

已经到底了