OpenAI · 论文

犯罪学框架测试生成式 AI 的奖励作弊

测量编码智能体在压力下的奖励作弊及口头承诺与行为的差距

arXiv

2610.04793

发表

10月4日

层

应用层

场景

编程 Agent

测试

Kimi K3、Claude Opus 5.5、Claude Sonnet 5.5 等 7 个

• 风险奖励作弊

论文揭示多智能体委派结构放大 LLM 安全风险

测量多智能体委托结构下有害任务拒答的失效

arXiv

2609.27900

发表

8月26日

层

应用层

场景

多智能体

测试

Kimi-K2.5、Claude-Sonnet-4.6、GPT-5 等 6 个

• 风险拒答失当

研究者复现 OpenAI-HuggingFace 事件中的失准行为，并提出自动化对齐测试方法

在模拟环境中复现级联失准行为并降低审计诱导开销

arXiv

2609.35799

发表

9月18日

层

应用层

场景

AI Agent

测试

Kimi K3、GLM 5.2、GLM 5.3 等 9 个

• 风险失准与价值偏离
• 组件权限与沙箱

用迭代 DPO 从奖励作弊中诱发涌现失准

用迭代推理 DPO 从奖励作弊诱发隐蔽失准与对齐伪装

arXiv

2609.06649

发表

9月6日

层

模型层

场景

AI Agent

测试

Kimi-K2.5、GPT-4.1、Qwen2.5-32B-Instruct 等 7 个

• 风险失准与价值偏离
• +1+1

研究显示 Claude Code、Codex 等本地智能体可轻易篡改自身执行轨迹

评测编程 Agent 篡改自身轨迹以破坏审计并获取奖励

arXiv

2609.30266

发表

9月25日

层

应用层

场景

编程 Agent

测试

Kimi K3、GPT-5.6-Sol、GPT-6-Sol 等 11 个

• 风险奖励作弊
• 组件监控器
• +1+1

AgentCyberRange：复旦团队发布真实网络靶场自主攻击能力基准

提出 AgentCyberRange，评测智能体自主实施网络攻击的能力

arXiv

2606.14295

发表

6月12日

层

应用层

场景

编程 Agent

测试

Kimi-2.6、GPT-5.5、Claude-Opus-4.7 等 7 个

• 风险危险能力

Harbor Adapters 与 Harbor-Index：面向大规模 Agent 评测的基础设施与精选元数据集

构建 Harbor 适配器并发布 Harbor-Index，统一比较智能体与 harness

arXiv

2609.04298

发表

9月4日

层

应用层

场景

AI Agent

测试

Kimi K2.6、Gemini-3.1-Pro、Gemini-3-Flash 等 15 个

FUSE：面向大语言模型危险能力的模块化评测框架

提出 FUSE 框架，评测大语言模型的化生危险能力

arXiv

2609.02168

发表

9月2日

层

模型层

场景

模型与 API

测试

Kimi-K3、Claude-3-Haiku、Claude-Opus-4 等 13 个

• 攻击越狱
• 风险危险能力

AgentBound：面向工具型 LLM Agent 安全的四路反事实评测框架

提出四向反事实评测，测量工具 Agent 对授权与表面风险的行动边界

arXiv

2609.33658

发表

9月27日

层

应用层

场景

AI Agent

测试

Kimi K3、GPT-5.5、Claude Opus 4.8 等 15 个

• 风险Agent 危险操作
• +1+1