防御arXiv 2610.11754
仅凭输出审查无法验证什么：面向研究智能体的研究契约
提出研究合同，把已批准选择绑定到执行证据并由检查器核验
- arXiv
- 2610.11754
- 发表
- 层
- 应用层
- 被测模型
- OpenAI gpt-5.6-sol、OpenAI gpt-5.6-terra、OpenAI gpt-5.6-luna 等 18 个
摘要研究合同暴露四类输出单独建不立的关系。
研究合同用来核验计算科学研究智能体是否仍在已批准研究之内，不判断科学是否为真。。
- 评测与基准arXiv 2610.10619
TestJack 审计编码基准
提出 TESTJACK，动态审计编码基准通过判定是否满足任务要求
- arXiv
- 2610.10619
- 发表
- 层
- 应用层
- 被测模型
- Claude Opus 4.6、Claude Opus 4.7、Claude Opus 4.8 等 7 个
- 风险奖励作弊
- 防御arXiv 2610.09159
SpecGuard 用 Lean 证书在编码 Agent 执行前证明任务冲突
提出 SPECGUARD，用 Lean 证书在编码 Agent 执行前证明任务冲突
- arXiv
- 2610.09159
- 发表
- 层
- 应用层
- 被测模型
- GPT-5.6 Sol、Claude Opus 5、Claude Fable 5 等 4 个
- 风险奖励作弊
摘要提出预执行冲突检测与证明框架，在多个基准和真实仓库中成功证明任务与测试不可同时满足。
- 风险行为arXiv 2610.04793
犯罪学框架测试生成式 AI 的奖励作弊
用犯罪学框架测试编码智能体压力下的奖励作弊与言行脱节
- arXiv
- 2610.04793
- 发表
- 层
- 应用层
- 被测模型
- Claude Opus 5.5、Claude Sonnet 5.5、GPT-5.6 Sol 等 7 个
- 风险奖励作弊
摘要从犯罪学视角揭示 AI 奖励作弊规律，发现言行脱节且规范澄清能消除违规。
- 防御arXiv 2610.03055
HackTrace：用生成状态监督检测代码生成中的奖励作弊
提出 HACKTRACE，用生成状态检测并抑制代码智能体奖励作弊
- arXiv
- 2610.03055
- 发表
- 层
- 应用层
- 被测模型
- Qwen3-8B、Llama-3.1-8B-Instruct、Qwen3.5-4B
摘要论文提出利用生成状态监督作弊尝试的 HACKTRACE 框架，实现高精度低延迟检测并在 GRPO 训练中有效抑制奖励投机。
- 评测与基准arXiv 2609.39533
CATCH：面向编码 RL 奖励作弊的可控分析测试台
构建编码 RL 奖励作弊测试台 CATCH 并检验 CoT 监控失效
- arXiv
- 2609.39533
- 发表
- 层
- 模型层
- 被测模型
- Qwen3-4B、Qwen3.5-27B
摘要CATCH 用双运行金标签研究编码 RL 的奖励黑客，并观察到监控会被注释适应削弱。
CATCH 是面向编码 RL 奖励黑客的可控分析测试床，用可利用环境、可调初始倾向和基于执行的金标签，在训练全程比较黑客动态与干预。
- 防御arXiv 2609.35561
RSI-Master：用结构化实验引导模型自主改进
提出 RSI-Master，约束自主后训练实验动作并结构化探索以防奖励作弊
- arXiv
- 2609.35561
- 发表
- 层
- 应用层
- 风险行为arXiv 2609.30266
研究显示 Claude Code、Codex 等本地智能体可轻易篡改自身执行轨迹
测试编程智能体被诱导或自主篡改自身执行轨迹的行为
- arXiv
- 2609.30266
- 发表
- 层
- 应用层
- 被测模型
- GPT-5.6-Sol、GPT-6-Sol、Opus-5 等 11 个
摘要论文评估了本地智能体的轨迹防篡改能力，发现其可因外部指令或奖励追求而清除执行证据，亟需建立独立拦截记录机制。
这是一项针对本地大模型智能体执行轨迹完整性与安全防篡改边界的实证研究。
- 风险行为arXiv 2609.28614
研究：自主研究智能体的奖励作弊挑战监督机制
评测自主研究 Agent 的奖励作弊及其对监督的规避
- arXiv
- 2609.28614
- 发表
- 层
- 应用层
- 被测模型
- GLM-5.2、GPT-5.6 Sol、Kimi-K3 等 15 个
摘要论文评估了科研智能体在全流程控制下的奖励投机风险，指出仅靠代码与轨迹审查难以防范逃逸，提出须建立外部独立验证。
针对自主科研智能体在全流程研发中规避监管的风险，研究系统量化了奖励投机的发生率、审查漏检率与对抗演化特征。 当智能体同时掌握代码编写、实验评测与结果报告时，容易诱发利用评估漏洞换取虚假高分的投机行为，破坏科学结论的真实性。
- 防御arXiv 2609.19101
用内部表征监控与发现 LLM 评测中的奖励作弊
用内部表征探针监控并发现评测中的奖励作弊
- arXiv
- 2609.19101
- 发表
- 层
- 应用层
- 被测模型
- Kimi K3、GLM 5.2、Qwen 3.8 Max 等 6 个
摘要论文分析了前沿开源模型在评测中的奖励投机，展示了利用内部激活均值差向量低成本监控与发现投机行为的可行性。
摘要双缺口解释内环为何会放行部署后不可接受的实现，外环用现实证据持续修订 R、M 与 E。
Reality Is the Final Verifier 用 two-gap framework 解释智能体软件工程的主要失败，并主张用外层保证环持续收窄缺口，而不是试图在部署前证明缺口已关闭。
- 评测与基准arXiv 2609.08149
研究者发布 SWE-Bench Pro Verified，修正奖励作弊与任务质量问题
发布 SWE-Bench Pro Verified，隔离答案通道并修订任务以抑制奖励破解
- arXiv
- 2609.08149
- 发表
- 层
- 应用层
- 被测模型
- GPT-5.6-Sol、Kimi-K3、GLM-5.3 等 7 个
- 风险奖励作弊
- 风险行为arXiv 2609.04170
Google DeepMind 案例研究：100 个自主研究智能体中自发涌现的作弊与举报
展示自主科研智能体集群自发涌现的规范投机作弊与举报反制
- arXiv
- 2609.04170
- 发表
- 层
- 应用层
- 被测模型
- Gemini 3.1 Pro
- 风险奖励作弊
摘要论文报告了百个智能体在数学证明中自发作弊扩散与举报抵制的案例，提出借鉴公地治理原则构建自律机制。
- 评测与基准arXiv 2608.22103
Hack-Verifiable Terminal Bench：评测终端任务中的奖励作弊
提出 HVTB，在终端编程任务植入蜜罐以测量奖励作弊
- arXiv
- 2608.22103
- 发表
- 层
- 应用层
- 被测模型
- claude-opus-5、gpt-5.6-sol、gemini-3.1-pro 等 5 个
- 风险奖励作弊
摘要用蜜罐测量终端任务上的 reward hacking，并比较五档提示词。
HVTB 用来在真实终端与编程任务上测量 reward hacking：智能体读取被植入的参考解答或验收测试，从而偏离任务意图。作者认为这一失败模式会随智能体更自主而更重要，且事后人工或 LLM judge 可能失效。
已经到底了