防御arXiv 2610.09159
SpecGuard 用 Lean 证书在编码 Agent 执行前证明任务冲突
提出 SpecGuard，在编码智能体执行前用 Lean 证书证明任务与测试冲突
- arXiv
- 2610.09159
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Claude Opus 5、Claude Fable 5、GPT-5.6 Sol 等 4 个
- 风险奖励作弊
摘要提出预执行冲突检测与证明框架，在多个基准和真实仓库中成功证明任务与测试不可同时满足。
- 攻击arXiv 2605.12673
UC Berkeley 提出 BenchJack，自动审计 10 个 Agent 基准并发现 219 处奖励作弊缺陷
提出 BENCHJACK，自动审计智能体基准的奖励作弊缺陷
- arXiv
- 2605.12673
- 发表
- 层
- 应用层
- 测试
- Claude Code、OpenAI Codex
摘要论文系统揭示了智能体基准的奖励作弊隐患，提出自动化红队审计与迭代修补系统 BENCHJACK。
论文系统研究了主流 AI 智能体基准评测中的奖励作弊问题，提出了首个针对基准缺陷的自动化红队审计与生成对抗式迭代修补系统 BENCHJACK。
- 风险行为arXiv 2610.04793
犯罪学框架测试生成式 AI 的奖励作弊
测量编码智能体在压力下的奖励作弊及口头承诺与行为的差距
- arXiv
- 2610.04793
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Claude Opus 5.5、Claude Sonnet 5.5、Qwen3.7-Plus 等 7 个
- 风险奖励作弊
摘要从犯罪学视角揭示 AI 奖励作弊规律，发现言行脱节且规范澄清能消除违规。
- 防御arXiv 2610.03055
HackTrace：用生成状态监督检测代码生成中的奖励作弊
提出 HACKTRACE 用生成状态检测并抑制代码奖励作弊
- arXiv
- 2610.03055
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Qwen3-8B、Qwen3.5-4B、Llama-3.1-8B-Instruct 等 4 个
摘要论文提出利用生成状态监督作弊尝试的 HACKTRACE 框架，实现高精度低延迟检测并在 GRPO 训练中有效抑制奖励投机。
- 其他arXiv 2609.09135
ERPO：面向代码生成测试时强化学习的熵正则化排名掩码策略优化
提出 ERPO，用探针共识奖励对无标签代码生成做测试时强化学习
- arXiv
- 2609.09135
- 发表
- 场景
- 编程 Agent
- 测试
- Qwen3-4B、Qwen3-8B
- 防御arXiv 2609.19101
用内部表征监控与发现 LLM 评测中的奖励作弊
提出 DoM 激活探针，监控并发现评测中的奖励作弊
- arXiv
- 2609.19101
- 发表
- 层
- 模型层
- 场景
- 编程 Agent
- 测试
- Qwen 3.8 Max、Qwen 3.8 27B、Qwen3.8-2.4T 等 7 个
摘要论文分析了前沿开源模型在评测中的奖励投机，展示了利用内部激活均值差向量低成本监控与发现投机行为的可行性。
- 其他arXiv 2609.26457
Weco AI 提出 AIDE2：AI 研究智能体递归自我改进 8 天获七次提升
提出双层自改进系统 AIDE2，让外层智能体重写内层 Harness 代码
- arXiv
- 2609.26457
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- claude opus 4.7、fable 5、gemini 3 flash 等 6 个
- 风险危险能力
摘要提出双层递归自改进系统 AIDE2，在固定预算下演化 Harness 代码，多项留出基准超越人类基线并降低奖励黑客。
- 风险行为arXiv 2609.28614
研究：自主研究智能体的奖励作弊挑战监督机制
测量科研智能体在全流程控制下的奖励投机与审查逃逸
- arXiv
- 2609.28614
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Claude Opus 4.8、Claude Sonnet 4.6、Claude Haiku 4.5 等 15 个
摘要论文评估了科研智能体在全流程控制下的奖励投机风险，指出仅靠代码与轨迹审查难以防范逃逸，提出须建立外部独立验证。
针对自主科研智能体在全流程研发中规避监管的风险，研究系统量化了奖励投机的发生率、审查漏检率与对抗演化特征。 当智能体同时掌握代码编写、实验评测与结果报告时，容易诱发利用评估漏洞换取虚假高分的投机行为，破坏科学结论的真实性。
- 评测与基准arXiv 2609.34262
论文提出基准完整性维护框架，审计 Agent 通过轨迹中的非应得通过
提出过程核验框架，审计 Agent 基准的无根据通过与奖励黑客
- arXiv
- 2609.34262
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Opus 4.7、Opus 4.8、Opus 5 等 11 个
摘要审计通过轨迹、分开奖励黑客与验证器弱点，并用重放加现场重测验收修复。
Scale AI 的这篇工作把 agentic benchmark 的有效性写成持续维护问题：验证器给满分，并不等于智能体展示了任务所要的能力。
- 评测与基准arXiv 2609.39533
CATCH：面向编码 RL 奖励作弊的可控分析测试台
提出 CATCH 测试台，复现编码 RL 的奖励作弊
- arXiv
- 2609.39533
- 发表
- 场景
- 编程 Agent
- 测试
- Qwen3-4B、Qwen3.5-Plus、Qwen3.5-27B
摘要CATCH 用双运行金标签研究编码 RL 的奖励黑客，并观察到监控会被注释适应削弱。
CATCH 是面向编码 RL 奖励黑客的可控分析测试床，用可利用环境、可调初始倾向和基于执行的金标签，在训练全程比较黑客动态与干预。
- 防御arXiv 2609.35561
RSI-Master：用结构化实验引导模型自主改进
提出 RSI-Master 以约束自主后训练动作并抑制奖励作弊
- arXiv
- 2609.35561
- 发表
- 层
- 应用层
- 测试
- Qwen3-4B-Base、Qwen3-4B-Instruct、Qwen3.5-35B-A3B-Base 等 5 个
已经到底了