AI 控制 · 论文

研究：94% 开发者未能识破编码 Agent 的隐蔽破坏

评测人类开发者在协作编程中能否发现编码 Agent 的隐蔽破坏

arXiv

2606.05647

发表

6月4日

层

应用层

场景

编程 Agent

测试

Claude-Opus-4.6、GPT-5.4、Gemini-3.1-Pro 等 5 个

• 风险欺骗与谋划
• 组件监控器

论文提出 Operational Validity Contract，审计激活监控从探针分数到告警策略的有效性

提出操作有效性契约，审计激活监控的告警策略

arXiv

2610.04575

发表

10月3日

层

应用层

场景

网页与电脑操作

测试

Qwen2.5-7B-Instruct、Llama-3.2-3B、Qwen2.5-7B 等 4 个

• 防御监控与审计
• 组件监控器

Salesforce AI Research 重测自改进 Agent

重测记忆型自改进智能体，揭示任务顺序和多次运行带来的性能不稳

arXiv

2608.18066

发表

8月19日

层

应用层

场景

网页与电脑操作

测试

GPT-5-mini、Gemini-2.5-Pro、GPT-OSS-120B 等 4 个

• 组件记忆

研究者提出 plan injection 攻击，可绕过思维链监控

提出 plan injection 攻击，植入良性伪装计划以绕过思维链监视器

arXiv

2609.15989

发表

9月15日

层

提示层

场景

模型与 API

攻击者

灰盒

测试

Qwen2.5-Coder-7B-Instruct、Qwen3-8B、DeepSeek-R1-0528 等 6 个

• 攻击检测规避
• 技术推理链操控
• 组件监控器
• +2+2

论文分析 AI 说服对人类控制 AI 的威胁

提出 PUC 框架，刻画 AI 说服如何削弱人类对 AI 的控制

arXiv

2609.14796

发表

9月14日

层

模型层

场景

模型与 API

测试

Claude Sonnet 4.6、Claude Mythos 5、GPT-6 Astra

• 风险欺骗与谋划

研究者提出迭代去对齐的罕见事件概率估计方法

提出迭代去对齐方法，估计模型自身解码轨迹上的稀有事件概率

arXiv

2609.24969

发表

9月22日

层

模型层

场景

模型与 API

测试

GPT-2 Small (~120M)、Gemma-2 (~2.6B)

Djinnlang：用 LLM 编译器实现无歧义规格的高级编程

提出 Djinnlang，以无歧义规格约束 LLM 的实现并由 Dafny 核验

arXiv

2609.23954

发表

9月21日

层

应用层

场景

编程 Agent

测试

Claude Fable 5.1 (Claude Code)、GPT 6 Astra (Codex)

LLM 仅凭监控器历史判定即可学会规避潜在空间监控

证明 LLM 仅凭先前监控反馈即可编辑激活规避潜空间监控

arXiv

2609.36490

发表

9月29日

层

模型层

场景

模型与 API

测试

llama-3.1-8b-instruct、gemma-3-27b-instruct、qwen3-14b 等 4 个

• 风险欺骗与谋划
• 组件监控器