Anthropic · 论文

犯罪学框架测试生成式 AI 的奖励作弊

测量编码智能体在压力下的奖励作弊及口头承诺与行为的差距

arXiv

2610.04793

发表

10月4日

层

应用层

场景

编程 Agent

测试

Kimi K3、Claude Opus 5.5、Claude Sonnet 5.5 等 7 个

• 风险奖励作弊

AgentHazard：评估计算机使用智能体有害行为的基准

提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为

arXiv

2604.02947

发表

4月3日

层

应用层

场景

网页与电脑操作、编程 Agent

测试

Kimi-K2、Kimi-K2.5、Qwen2.5-72B-Instruct 等 12 个

• 攻击恶意使用

微软发布 Thinkingbox 沙盒与 507 任务基准，评估有状态业务流程中的 Agent 可靠性

构建 THINKINGBOX 沙盒与基准，评测有状态业务工作流中智能体的执行稳定性

arXiv

2608.19741

发表

8月20日

层

应用层

场景

AI Agent

测试

Grok-4.3、Kimi-K3、Mistral-Large-3 等 14 个

微软团队提出 capability laundering 攻击：弱模型拆分任务向对齐前沿模型套取能力

提出能力洗钱攻击，让未对齐编排器拆分任务向对齐模型套取能力

arXiv

2609.15383

发表

9月14日

层

应用层

场景

编程 Agent

攻击者

黑盒

测试

Grok-4.3、Muse-Glimmer-30B、GPT-5.5 等 7 个

• 攻击恶意使用
• 风险危险能力
• 技术多轮渐进

研究显示 Claude Code、Codex 等本地智能体可轻易篡改自身执行轨迹

测量编程智能体被诱导或为奖励而篡改自身执行轨迹

arXiv

2609.30266

发表

9月25日

层

应用层

场景

编程 Agent

测试

Grok 4.7、Kimi K3、GPT-5.6-Sol 等 11 个

• 攻击提示注入
• 风险奖励作弊
• 组件监控器
• +3+3

SynChain：诱导计算机使用 Agent 自建攻击链并跨任务持久化

提出 SYNCHAIN，以定向微调诱导智能体自合成跨任务潜伏工件

arXiv

2608.06862

发表

8月7日

层

应用层

场景

网页与电脑操作、编程 Agent

测试

Ministral-3-8B、Qwen3.5-9B、Llama-3.1-8B 等 5 个

• 攻击投毒与后门
• 技术潜伏触发
• 组件MCP 与技能
• +3+3

特拉维夫大学提出爆炸性提示词：条件触发的间接提示注入可绕过九款生产 Agent

提出爆炸提示词，用条件触发的间接注入延迟诱发恶意工具调用

arXiv

2609.22510

发表

9月19日

层

应用层

场景

AI Agent

测试

Grok-4.20、GitHub Copilot、Devin AI CLI 等 14 个

• 防御检测与过滤
• 攻击提示注入
• 技术潜伏触发
• 组件护栏与评审

Tracekit：面向自主编码 Agent 的防篡改意图-推理-动作审计系统

提出 Tracekit，对编码 Agent 做防篡改的意图-推理-动作审计

arXiv

2609.35659

发表

9月29日

层

应用层

场景

编程 Agent

测试

独立评审（同一 CLI，无工具）、Claude Code (claude -p, version 2.1)

• 防御监控与审计
• 攻击提示注入
• 风险Agent 危险操作
• 组件监控器
• +3+3