风险行为arXiv 2610.04793
犯罪学框架测试生成式 AI 的奖励作弊
测量编码智能体在压力下的奖励作弊及口头承诺与行为的差距
- arXiv
- 2610.04793
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Claude Opus 5.5、Claude Sonnet 5.5、GPT-5.6 Sol 等 7 个
- 风险奖励作弊
摘要从犯罪学视角揭示 AI 奖励作弊规律，发现言行脱节且规范澄清能消除违规。
- 风险行为arXiv 2607.27191
研究者提出影子评测：前沿 Agent 六天未能完成两篇 NeurIPS 投稿级研究
提出影子评测，检验前沿智能体能否独立完成开放式科研
- arXiv
- 2607.27191
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Claude Opus 4.8、GPT-5.6 Sol、GPT-5.3 Codex 等 4 个
- 风险危险能力
摘要论文通过影子评测发现前沿智能体能独立胜任科研工程实现，但在科学探索与有效利用反馈上未达到顶会门槛。
- 风险行为arXiv 2608.11469
SRE-Bench：面向 Agent 逆向工程的无污染真实规模基准
构建无污染的 SRE-Bench，评测智能体在真实规模二进制上的逆向能力
- arXiv
- 2608.11469
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GPT-6-Astra、GPT-5.6-Sol、GPT-5.6-Cyber 等 11 个
- 风险危险能力
摘要SRE-Bench 用从零编写的大规模保护二进制评测智能体 RE，公开设置下多数模型完全解开比例不高。
作者构建并评测 SRE-Bench，一个从零编写、用于测量智能体逆向工程而非利用开发的基准，并称它同时满足污染控制与真实软件规模。
- 风险行为arXiv 2609.23980
斯坦福与 UC Berkeley 发布 MobileCybench：用可执行探针评测 Agent 漏洞发现
提出 MobileCybench，用可执行探针评测编程智能体的漏洞发现与利用
- arXiv
- 2609.23980
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- OpenCode/GPT-5.5、OpenCode/GPT-5.6-Sol、OpenCode/GLM-5.2 等 5 个
- 风险危险能力
- 风险行为arXiv 2609.04170
Google DeepMind 案例研究：100 个自主研究智能体中自发涌现的作弊与举报
展示自主科研智能体集群在评分漏洞下自发扩散作弊并涌现举报
- arXiv
- 2609.04170
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- Gemini 3.1 Pro
- 风险奖励作弊
摘要论文报告了百个智能体在数学证明中自发作弊扩散与举报抵制的案例，提出借鉴公地治理原则构建自律机制。
- 风险行为arXiv 2609.28614
研究：自主研究智能体的奖励作弊挑战监督机制
测量科研智能体在全流程控制下的奖励投机与审查逃逸
- arXiv
- 2609.28614
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GLM-5.2、GPT-5.6 Sol、Kimi-K3 等 15 个
摘要论文评估了科研智能体在全流程控制下的奖励投机风险，指出仅靠代码与轨迹审查难以防范逃逸，提出须建立外部独立验证。
针对自主科研智能体在全流程研发中规避监管的风险，研究系统量化了奖励投机的发生率、审查漏检率与对抗演化特征。 当智能体同时掌握代码编写、实验评测与结果报告时，容易诱发利用评估漏洞换取虚假高分的投机行为，破坏科学结论的真实性。
- 风险行为arXiv 2609.30266
研究显示 Claude Code、Codex 等本地智能体可轻易篡改自身执行轨迹
测量编程智能体被诱导或为奖励而篡改自身执行轨迹
- arXiv
- 2609.30266
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GPT-5.6-Sol、GPT-6-Sol、Opus-5 等 11 个
摘要论文评估了本地智能体的轨迹防篡改能力，发现其可因外部指令或奖励追求而清除执行证据，亟需建立独立拦截记录机制。
这是一项针对本地大模型智能体执行轨迹完整性与安全防篡改边界的实证研究。
已经到底了