跳到正文

Google DeepMind

Google DeepMind 的安全动态:Frontier Safety Framework、对齐研究与 Gemini 的安全评估。

337条动态与论文相关主题OpenAIAnthropic前沿安全框架
在这个话题内搜索或按分类筛选

新闻与论文

第 301–320 条 · 共 337 条
10月1日周四
  1. AI as Normal Technology · 收录 · 原文 35

    Google 的 AI 智能体真用 916 美元造出了操作系统吗?

    Google 在开发者大会发布 Gemini 3.5 Flash 与智能体应用 Antigravity 2.0,并宣称一队智能体仅凭单个提示词、约 900 美元 API 费用就构建出一个操作系统。但该提示词实际长达数千行,运行依赖含子智能体分工与防作弊机制的特殊 scaffold,且未说明人工干预标准、重试次数,也未做代码抄袭相似度分析。Google 未公开提示词、代码与运行日志,无法独立验证;博客仅给出 916.92 美元成本与 2.6B tokens 预算。

  2. MITRE ATLAS 数据发布 · 收录 · 原文 43

    MITRE ATLAS 发布 v2026.06,新增窃取 Web 会话 Cookie 技术与多起 AI 攻击案例

    MITRE ATLAS 发布 v2026.06 数据更新,新增“窃取 Web 会话 Cookie”和“使用替代认证材料:Web 会话 Cookie”两项技术,并更新了 AI 服务 Web 界面相关条目。现有技术 LLM Jailbreak 与缓解措施 Generative AI Guardrails、Generative AI Guidelines、AI Telemetry Logging 也得到更新。

  3. Garrison Lovely · 收录 · 原文 29

    Google DeepMind 英国员工投票成立工会,成首家工会化的前沿 AI 公司

    Google DeepMind 英国员工本周投票决定成立工会,这是前沿 AI 公司首次出现工会化。据《卫报》报道,员工的主要动因包括 Google 即将与美国国防部达成协议,以及公司此前向以色列军方提供 AI 工具访问权限。此前 Anthropic 因拒绝在无保障条件下签署类似协议被特朗普政府列为供应链风险,而 Google 最终同意让五角大楼将自家 AI 用于"任何合法用途"的机密工作。

  4. The EU AI Act Newsletter · 收录 · 原文 35

    EU AI Act Newsletter #106:呼吁强制执行通用人工智能模型规则

    欧盟委员会正推动从 2026 年 8 月 2 日起执行《EU AI Act》中针对具有系统性风险的通用人工智能模型的规则,并收到一批研究者与公民社会组织的公开信施压。信中援引 Anthropic 的 Mythos 模型存在广泛报道的网络攻击能力和生物学及失控风险逼近临界阈值的证据,要求赋予 AI Office 的评估员网络开展外部评估的权力并提供足够资源和政治支持。同期理事会通过 Omnibus VII 简化方案,将高风险系统适用日期推迟至 2027 年 12 月 2 日(嵌入式产品为 2028 年 8 月 2 日)。

  5. The EU AI Act Newsletter · 收录 · 原文 43

    欧盟 AI Act 通讯第110期:委员会首次动用执法权要求头部 AI 实验室说明安全实践

    欧盟委员会首次动用 AI Act 的新执法权,就网络安全、安全与版权合规向领先 AI 开发者索取信息,技术专员 Henna Virkkunen 称部分“最先进”模型的提供方已收到请求,但未点名,Anthropic、OpenAI、Google、Meta 和 Mistral 未立即回应 Euractiv 提问。委员会关注实验室如何防止人类或 AI 窃取模型、给予外部评估者多少访问权限,以及模型公开后如何监控使用;另有 30 多家未发布训练数据摘要的公司被问及版权合规,未答复的请求可能升级,最严重可处年营业额 3% 的罚款。

  6. Google Bug Hunters · 收录 · 原文 15

    Google 借助 AI 将 C 库 giflib 重写为 Rust 以缓解内存安全问题

    Google 披露其用 AI 辅助将一个名为 giflib 的 C 库重写为 Rust,目的是缓解内存安全类漏洞。该工作属于其在依赖项层面规模化推进内存安全的尝试,博客同时给出了这次 AI 协助重写的实践路径。(共三句,含受影响对象名称与目标。)

  7. Wiz Research · 收录 · 原文 28

    Wiz 联合 Google DeepMind 发起 Scan for Good,用 AI 排查公共服务与关键基础设施暴露风险

    Wiz Research 启动 Scan for Good 计划,借助 AI 加人工研究员的方式,帮助公共服务、关键基础设施和非营利组织在网络犯罪分子之前发现并修复高危暴露问题。该计划由 Google DeepMind 提供合作,并与美国网络安全和基础设施安全局(CISA)协作推进。 早期成果已验证其效果:团队通过自主运行的 AI 系统发现了大量面向公网的严重暴露,并在受影响组织的配合下完成了修复,其中一起是国家档案馆管理员密钥泄露,导致 880 万个文件面临读写删除风险。

  8. UK AISI · 收录 · 原文 40

    OpenAI 与 Microsoft 加入英国 AISI 国际对齐项目,资助总额超 2700 万英镑

    英国 AI Security Institute(AISI)宣布 OpenAI 与 Microsoft 加入其 Alignment Project,OpenAI 承诺追加 560 万英镑,加上 Microsoft 等方支持,该基金可用资金超过 2700 万英镑。该项目由英国副首相 David Lammy 和 AI 大臣 Kanishka Narayan 在印度 AI Impact Summit 闭幕时公布,首批资助来自 8 个国家的 60 个项目,第二轮申请将于今年夏季开放。

  9. Transformer Circuits · 收录 · 原文 43

    Anthropic 开源注意力头可视化工具 HeadVis

    Anthropic 可解释性团队发布交互式工具 HeadVis,用于研究大语言模型中的注意力头,并开源了前端代码与后端接口规范。工具通过注意力模式可视化、分布指标、低秩分量投影以及经 QK 和 OV 电路的 SAE 特征归因,帮助生成和检验关于注意力头功能的假设。作者用 Claude Haiku 3.5 做了四个案例:归纳头在特征基上表现为模糊归纳;此前研究的行宽头在完整分布上呈现年份、多 token 词和换行三种行为,PCA 显示 Q、K、O 激活可清晰聚类;答案选择头在更广分布上复用了同一套选择机制,虚拟权重分析提示它可能是单义的;同集合抑制头会抑制国家与其本国城市之间的注意力,在 185 句自造句子上有 98% 的情况成立。

    推荐理由Anthropic 开源了注意力头可视化工具 HeadVis,并给出四个从易到难的案例,展示注意力头在完整数据分布上的行为如何偏离单一任务描述。

9月30日周三
  1. Google Security · 收录 · 原文 33

    Google Workspace 如何持续缓解间接提示注入攻击

    Google 通过持续发现新攻击、扩充漏洞目录并迭代防御,缓解 Workspace with Gemini 面临的间接提示注入(IPI)威胁。其手段包括人工红队测试、自动化红队测试、Google AI 漏洞奖励计划(VRP)和公开攻击情报收集,并用 Simula 生成合成数据,使合成数据生成量提升 75%。

  2. Google Security · 收录 · 原文 52

    Google 扫描公开网页:间接提示注入的真实分布与增长趋势

    Google 威胁情报团队扫描 Common Crawl 的公开网页,发现真实存在的间接提示注入(IPI)尝试,多数属于无害恶作剧、帮助性引导、SEO 操纵和劝阻 AI 抓取,少数涉及数据窃取和破坏。

    推荐理由Google 对 Common Crawl 全网扫描,给出间接提示注入在真实网页中的分类分布与增长数据,可了解当前攻击成熟度。

  3. METR · 收录 · 原文 60

    METR 发布 2026 年 2 至 3 月前沿风险报告,评估内部 AI 智能体的失控部署风险

    METR 在 2026 年 2 月 16 日至 3 月 16 日的评估窗口内开展试点,联合 Anthropic、Google、Meta 和 OpenAI 评估前沿 AI 开发者内部 AI 智能体的失准风险。

    推荐理由METR 首次以机构为单位评估前沿实验室内部 AI 智能体的失控部署风险,并公开了参与方与流程限制。