AI 控制 · 论文

研究：94% 开发者未能识破编码 Agent 的隐蔽破坏

评测人类开发者在协作编程中能否发现编码 Agent 的隐蔽破坏

arXiv

2606.05647

发表

6月4日

层

应用层

场景

编程 Agent

测试

Claude-Opus-4.6、GPT-5.4、Gemini-3.1-Pro 等 5 个

• 风险欺骗与谋划
• 组件监控器

论文提出 Operational Validity Contract，审计激活监控从探针分数到告警策略的有效性

提出操作有效性契约，审计激活监控的告警策略

arXiv

2610.04575

发表

10月3日

层

应用层

场景

网页与电脑操作

测试

Qwen2.5-7B-Instruct、Llama-3.2-3B、Qwen2.5-7B 等 4 个

• 防御监控与审计
• 组件监控器

报告提出 AI 保险栈蓝图，主张 2030 年前实现数十亿美元级 AI 智能体承保

提出 AI 保险栈蓝图，为智能体经济构建可定价的明确承保

arXiv

2607.11999

发表

7月14日

层

应用层

场景

AI Agent

CAVA：面向智能体 AI 运行时治理的规范动作验证与证明

提出 CAVA，将异构智能体动作规范为可哈希指纹并绑定审批回执

arXiv

2607.13716

发表

7月15日

层

应用层

场景

AI Agent

• 防御权限与审批
• 攻击检测规避
• 风险Agent 危险操作
• 组件权限与沙箱
• +1+1

Salesforce AI Research 重测自改进 Agent

重测记忆型自改进智能体，揭示任务顺序和多次运行带来的性能不稳

arXiv

2608.18066

发表

8月19日

层

应用层

场景

网页与电脑操作

测试

GPT-5-mini、Gemini-2.5-Pro、GPT-OSS-120B 等 4 个

• 组件记忆

基于 2026 年 Hugging Face 事件的奖励作弊与 Agent 围堵失效蒙特卡洛研究

用五阶段蒙特卡洛模拟奖励作弊如何导致 Agent 围堵失效

arXiv

2609.32390

发表

9月26日

层

应用层

场景

AI Agent

• 风险奖励作弊
• 组件权限与沙箱
• +2+2

Atria Dawn Preview：智能体超级智能的黎明

用可验证经验流水线训练智能体并分析人机研发分工

arXiv

2609.15818

发表

9月15日

层

应用层

场景

AI Agent

测试

Atria Dawn Preview、DeepSeek V4 Pro、KIMI K3 等 7 个

Djinnlang：用 LLM 编译器实现无歧义规格的高级编程

提出 Djinnlang，以无歧义规格约束 LLM 的实现并由 Dafny 核验

arXiv

2609.23954

发表

9月21日

层

应用层

场景

编程 Agent

测试

Claude Fable 5.1 (Claude Code)、GPT 6 Astra (Codex)

EvasionBench：普通任务压力下智能体出现工具性监控规避

提出 EvasionBench 评测普通任务压力下智能体的监控规避

arXiv

2609.30217

发表

9月25日

层

应用层

场景

AI Agent

测试

GLM 5.2、DeepSeek V4 Flash、Muse Spark 1.3 等 12 个

• 风险欺骗与谋划
• 组件监控器