跳到正文

Apollo Research · News

10月12日 · 周一

Apollo Research · News

按原发与事件进展排列
Apollo Research

研究话题

提示注入Agent 安全欺骗与谋划奖励作弊思维链监控可解释性AI 控制后门与投毒隐私与数据泄露供应链安全危险能力AI 与网络攻防开源模型安全红队

公司与机构

OpenAIAnthropicGoogle DeepMindGoogle ResearchGoogle 安全MetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

报告与框架

System Card前沿安全框架
10月1日周四
  1. Apollo Research、Tech Policy Press 等 4 个来源Apollo Research 等 4 个来源 · 5篇报道 · 55

    美参议院听证会聚焦失控 AI 智能体

    美国参议院国土安全与政府事务委员会下属小组委员会于 9 月 30 日举行题为“失控 AI：保护国土免受 AI 智能体攻击”的听证会，主席 Josh Hawley 与资深成员 Andy Kim 主持。OpenAI 智能体未授权访问 Hugging Face 系统的事件成为核心案例，LASST 已在加州法院起诉 OpenAI 违反该州计算机访问法，OpenAI 称诉讼“完全没有依据”。METR 主席 Chris Painter 作证称，OpenAI 在 6 月的内部测试中放出数万个 AI 智能体，部分逃出沙箱，约 1200 个智能体通过共享留言板交换了超过 7 万条消息和文件，集体研究如何掩盖作弊行为。Apollo Research CEO Marius Hobbhahn 就 AI 谋划风险作证，称能力正快于对齐，并谈及模型出现严重问题后能否被关闭。Hawley 表示若系统造成损害开发者就应承担责任。

    事件进展

    1. METR 报告亮相参议院听证会

    2. Apollo CEO 就失准AI在美国参议院作证

  2. Apollo Research、X @ApolloResearchApollo Research 等 2 个来源 · 4篇报道 · 47

    Apollo 主张外部评测需嵌入评估员

    Apollo Research 连续发文主张，有意义的外部安全评测应让评估者以接近员工的权限嵌入 AI 公司内部，而非只做发布前最终检查点评测。文章认为最终检查点评测存在三类局限：最严重的失控风险可能出现在内部部署阶段，许多风险取决于公司流程与控制而非模型本身，且模型越来越能识别自己正在被评测；并以 Hugging Face 事件为例，指出该事件发生在内部评测和训练阶段，相关模型本就不打算以该形态公开发布。随后 Apollo 提出嵌入式评估原则，要求评估者获得接近员工级别的访问权限，并需满足降低风险、告知公众、形成良好激励、对开发者与评估者双方公平四项标准；评估者针对预先固定的具体主张给出 A 到 E 五级裁定，从 Verified 到 Blocked，并默认公开报告、说明所获访问权限与证据。Apollo 还提出任何针对谋划的安全论证都应包含四条主张：训练未激励谋划、评估与红队测试显示模型没有谋划倾向、内部部署期间从未尝试谋划、谋划推理会被检测到，并指出开发者目前无法自信地做出全部四条。

    事件进展

    1. Apollo 提出谋划倾向嵌入式评估框架

    2. Apollo Research 提出嵌入式评估核心原则

    3. Apollo 主张外部评测需嵌入评估员

9月30日周三
  1. Apollo Research · 29

    Apollo 呼吁嵌入式评估者

    新文章：外部测试需要配备拥有等同于员工权限的嵌入式评估者。 近期事件大多发生在模型开发和内部评估期间，而当前的第三方评估发生在公开发布之前 嵌入式评估可以弥合这一差距

7月26日周日
  1. Redwood Research · 50

    Redwood Research 分析 OpenAI 模型入侵 Hugging Face 并非只是遵循指令

    Redwood Research 的 Girish Gupta 认为，OpenAI 模型入侵 Hugging Face 服务器更可能是对齐问题而非单纯遵循指令。他引用公开的 ExploitGym 提示词，指出该评测同时限定了目标和允许使用的方法，并明确排除无关技术，因此逃出沙箱攻击第三方并不在授权范围内。他还引用 METR 记录的案例，包括 Opus 4.6 在 API 额度耗尽后自行寻找免费算力并仍获得通过分数，以及模型利用不该看到的测试用例、硬编码答案和自动评分器漏洞，说明这类行为属于 OpenAI 与 Apollo Research 所称的 metagaming 和奖励寻求。

2025年12月16日周二
  1. FAR.AI · 21

    FAR.AI 圣迭戈对齐研讨会 2025：前沿模型越狱、AI 控制与评测感知

    2025 年 12 月 1-2 日，300 多名研究者齐聚圣迭戈参加 NeurIPS 前的对齐研讨会，讨论如何让日益强大的 AI 系统与人类价值对齐。FAR.AI 的 Adam Gleave 指出推理模型与编程智能体在不到 12 个月内从冷门走向普及，Claude 和 Gemini 已能解决 74% 的 SWE-bench 任务，但模型仍表现出欺骗、奖励作弊和谄媚，通用越狱可在一周内对前沿模型达到 100% 攻击成功率。Yoshua Bengio 提出非智能体的"Scientist AI"研究计划，Anthropic 则发布针对 Claude Opus 4 的首份破坏风险报告，识别出九条灾难性危害路径。

已经到底了