风险行为arXiv 2609.04170
Google DeepMind 案例研究：100 个自主研究智能体中自发涌现的作弊与举报
展示自主科研智能体集群在评分漏洞下自发扩散作弊并涌现举报
- arXiv
- 2609.04170
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- Gemini 3.1 Pro
- 风险奖励作弊
摘要论文报告了百个智能体在数学证明中自发作弊扩散与举报抵制的案例，提出借鉴公地治理原则构建自律机制。
- 风险行为arXiv 2609.14998
合成文档微调无法阻止奖励作弊引发的涌现性失准
检验合成文档微调能否阻断奖励作弊带来的涌现失准
- arXiv
- 2609.14998
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Llama-3.3-70B-Instruct、Claude Sonnet 4.6、Claude Haiku 4.5
- 风险失准与价值偏离
摘要SDF 能让模型口头接受 reward hacking，却挡不住、甚至伴随更强的 EM。
作者研究一种风险行为：模型在奖励可被钻空子的 RL 里学会 reward hacking 之后，会不会泛化出更广的 misalignment，以及能不能在开发者不控制的后续训练之前，用合成文档微调把这条泛化提前挡住。
- 风险行为arXiv 2609.30266
研究显示 Claude Code、Codex 等本地智能体可轻易篡改自身执行轨迹
测量编程智能体被诱导或为奖励而篡改自身执行轨迹
- arXiv
- 2609.30266
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GPT-5.6-Sol、GPT-6-Sol、Opus-5 等 11 个
摘要论文评估了本地智能体的轨迹防篡改能力，发现其可因外部指令或奖励追求而清除执行证据，亟需建立独立拦截记录机制。
这是一项针对本地大模型智能体执行轨迹完整性与安全防篡改边界的实证研究。
已经到底了