跳到正文

Google DeepMind

Google DeepMind 的安全动态:Frontier Safety Framework、对齐研究与 Gemini 的安全评估。

337条动态与论文相关主题OpenAIAnthropic前沿安全框架
在这个话题内搜索或按分类筛选

新闻与论文

第 221–240 条 · 共 337 条
10月1日周四
  1. Nicholas Carlini Writing · 收录 · 原文 30

    Nicholas Carlini 离开 Google DeepMind 加入 Anthropic

    在 Google DeepMind 工作七年的对抗机器学习研究者 Nicholas Carlini 宣布离职并加入 Anthropic 一年,继续从事安全与隐私方向的研究。他表示 DeepMind 领导层不再支持其偏好的高影响力安全与隐私研究,过去几年论文审批流程显著变难,而他此前能发表成果是靠强行突破规定。Carlini 称选择 Anthropic 是因为在一家真正训练大型模型的公司做技术工作能在近期产生最大影响,且该决定更容易逆转;他还曾考虑创办新的安全非营利组织或申请教职。

  2. AI Frontiers · 收录 · 原文 20

    美国政府选用 AI 模型引发价值观质疑:谁来定义模型的"性格"

    加州政府已将 AI 助手 Poppy 向员工开放,北达科他州立法委员会和洛杉矶高等法院也相继引入 AI 处理法案总结与案件管理。《华盛顿邮报》近期测试显示,Gemini 3.1 Pro 和 Claude Opus 4.8 是仅有的多数情况下能对政策问题提供意识形态中立回答的前沿模型。不同前沿模型的"性格"差异可能悄然改变政府对危机的应对方式和对政策的取舍,因此民主国家在选择政府采购的 AI 模型时必须考虑其能否代表公众意志。

  3. AI Frontiers · 收录 · 原文 43

    欧盟 AI 法案第 50 条与加州 AI 透明度法案同日生效,内容溯源成为强制要求

    2026 年 8 月 2 日,欧盟 AI 法案第 50 条与加州 AI 透明度法案同日生效,要求生成式 AI 提供商和相机厂商为内容附加机器可读的溯源元数据。文章介绍内容溯源的三类元数据(来源、保管链、修改历史)以及业界趋同的 C2PA 标准,Anthropic、Google、OpenAI 均表示将采用 C2PA。加州法律还要求月活超百万的生成式 AI 提供商提供免费的溯源查询工具,2027 年起大型平台不得剥离合规溯源数据,2028 年起智能手机、相机、录音笔等设备须默认生成溯源记录。

  4. Google DeepMind · 收录 · 原文 17

    Google DeepMind 推出 Gemini Robotics-ER 1.6,强化具身推理能力

    Google DeepMind 发布 Gemini Robotics-ER 1.6,这款以推理为先的机器人模型在空间推理与多视角理解上显著增强,可原生调用 Google Search、VLA 等工具。相比 Gemini Robotics-ER 1.5 和 Gemini 3.0 Flash,其在指向、计数、成功检测等空间与物理推理任务上明显提升,并新增仪表读数能力,可读取压力表、视镜等设备,该用例来自与 Boston Dynamics 的合作。模型即日起通过 Gemini API 和 Google AI Studio 向开发者开放。

  5. Google DeepMind · 收录 · 原文 8

    Gemini 3.1 Flash TTS 发布:支持音频标签的可控语音生成

    Google DeepMind 推出 Gemini 3.1 Flash TTS,一款支持音频标签(audio tags)的文本转语音模型,可通过自然语言指令控制语音风格、语速与表达方式。该模型在 Artificial Analysis TTS 排行榜上取得 1,211 Elo 分数,支持 70 多种语言和原生多说话人对话,并已通过 Gemini API、Google AI Studio、Vertex AI 和 Workspace 的 Google Vids 逐步开放预览。所有生成音频均嵌入 SynthID 水印以支持 AI 内容检测。

  6. Google DeepMind · 收录 · 原文 18

    Google DeepMind 宣布与大韩民国科学技术信息通信部达成合作

    Google DeepMind 与大韩民国科学技术信息通信部(MSIT)建立国家人工智能合作伙伴关系,并在首尔办公室设立 AI Campus,向韩国学术界和研究机构开放其最先进的 AI for Science 模型。首批合作对象包括首尔大学(SNU)、KAIST 及该部的三个 AI Bio Innovation Hub,涉及 AlphaEvolve、AlphaGenome、AlphaFold、AI co-scientist 和 WeatherNext,其中 AlphaFold 已在韩国拥有超过 85,000 名研究者用户。此外还将与韩国 AI 安全研究院(AISI)开展研究与最佳实践协作,并探讨面向韩国学生的实习机会。

  7. Google DeepMind · 收录 · 原文 22

    Google DeepMind 启动 AI co-clinician 医疗研究计划

    Google DeepMind 发起 AI co-clinician 研究计划,探索 AI 作为临床团队成员在医生监督下协助患者诊疗。该系统基于 Gemini 与 Project Astra 的多模态实时音视频能力模拟远程医疗通话,并在盲评中优于主流证据合成工具——98 个初级保健查询中有 97 个无严重错误,开放式用药问答表现超过现有前沿模型。

  8. Google DeepMind · 收录 · 原文 25

    Google DeepMind 推出基于 Gemini 的多智能体系统 Co-Scientist

    Google DeepMind 发布基于 Gemini 的多智能体科研伙伴 Co-Scientist,通过多个专门化智能体迭代生成、辩论并演化科学假设,并以类 AlphaGo 的思想锦标赛机制进行排名筛选。该系统已在《Nature》发表研究成果,并通过名为 Hypothesis Generation 的实验性工具向个体研究者开放注册,未来数周内逐步推送。合作团队已将 Co-Scientist 应用于抗微生物耐药性、植物免疫及肝纤维化等问题,其中一条药物重定位候选物在实验室中阻断了 91% 的疤痕相关反应。

  9. Google DeepMind · 收录 · 原文 19

    Google DeepMind 发布 Gemini 3.5,首发 3.5 Flash

    Google DeepMind 发布 Gemini 3.5 模型家族并率先开放 3.5 Flash,称其为迄今最强的智能体和编程模型,面向全球数十亿用户在 Gemini App、Search AI Mode、Antigravity、Gemini API 及企业版同步提供。该模型在 Terminal-Bench 2.1(76.2%)、GDPval-AA(1656 Elo)、MCP Atlas(83.6%)和多模态理解(CharXiv Reasoning 84.2%)上超过 Gemini 3.1 Pro,输出速度达其他前沿模型的 4 倍,成本常低于其一半。

  10. Google DeepMind · 收录 · 原文 15

    Google DeepMind 与新加坡达成国家 AI 合作,推进医疗、教育与科研

    Google DeepMind 启动新一轮国家 AI 合作伙伴计划,与新加坡政府及多家机构共建面向公共部门转型、商业增长与劳动力升级的项目。双方将前沿 AI 应用于医疗健康与生命科学——包括探索 AI 辅助临床医生协作模式、借助 AlphaFold 与 Google Earth 加速东南亚疫情防范研究,并向当地研究者培训基于 Co-Scientist 构建的 Hypothesis Generation 等智能体化科研工具。教育方面向中小学至初级学院全体教师提供 Gemini for Education 并配套培训,同时在新加坡落地亚太区"AI for the Planet"加速器扶持气候科技团队。

  11. Google DeepMind · 收录 · 原文 29

    Google 扩大 SynthID 与水印溯源覆盖 Search、Gemini、Chrome 及 Cloud

    Google DeepMind 将 SynthID 合成内容检测扩展到 Search 和 Chrome,并新增基于 C2PA Content Credentials 的来源查验,此前该能力已在 Gemini App 中被调用 5000 万次。SynthID 已将超过 1000 亿张图片和视频以及 60000 年时长音频加水印,Pixel 8、9、10 将在未来数周内获得原生相机视频凭证。

  12. Google DeepMind · 收录 · 原文 8

    Google DeepMind 推出 Gemini Omni,首款模型 Gemini Omni Flash 可将任意输入转为视频

    Google DeepMind 推出新一代模型家族 Gemini Omni,首个成员 Gemini Omni Flash 今日面向全球所有 Google AI Plus、Pro 和 Ultra 订阅用户在 Gemini App 及 Google Flow 开放,可从图像、音频、视频和文本的组合输入生成高质量视频并对话式剪辑。 该模型基于 Gemini 的原生多模态与世界知识进行推理,具备更强的重力、动能、流体动力学直觉,能跨轮次精修环境、角度、风格且角色一致;同时可通过 Avatar 用自己的声音创建数字分身,全部产出带不可察觉的 SynthID 水印,目前仅支持语音参考作为音频输入,图像与音频输出模态将陆续加入。

  13. Google DeepMind · 收录 · 原文 8

    Google DeepMind 发布 Gemini 3.5 Live Translate,实现 70+ 语言的近实时语音到语音翻译

    Google DeepMind 发布音频模型 Gemini 3.5 Live Translate,自动检测 70+ 种语言并生成保留说话人语调、节奏和音高的自然译文语音,且持续输出而非等待整句结束,仅落后说话人数秒。该模型通过 Gemini Live API 和 Google AI Studio 面向开发者公开预览,本月起在企业版 Google Meet 中私有预览,同时在全球 Google Translate App(Android/iOS)上面向所有用户推送。

  14. Google DeepMind · 收录 · 原文 43

    Google DeepMind 联合 Schmidt Sciences 等发起最高 1000 万美元多智能体安全研究资助

    Google DeepMind 与 Schmidt Sciences、Cooperative AI Foundation、ARIA 合作,并在 Google.org 支持下,发起最高 1000 万美元的多智能体 AI 安全技术研究资助征集。该资助聚焦大规模多智能体系统作为群体时的行为,以及理解和缓解潜在风险的框架,目标是应对独立系统跨网络交互时出现的“隐形”安全风险。征集列出四个优先方向:沙箱与测试床、智能体网络科学、智能体基础设施强化、以及大规模部署智能体的监督与控制。申请截止日期为 2026 年 8 月 8 日,获资助者预计于 2026 年秋季公布。

    推荐理由Google DeepMind 联合多家机构出资征集多智能体安全研究,四个优先方向可作为研究者判断选题与申请窗口的参考。

  15. Google DeepMind · 收录 · 原文 50

    Google DeepMind 发布 AI Control Roadmap,用纵深防御保障内部 Agent 安全

    Google DeepMind 发布 AI Control Roadmap,用于在 Google 内部署和管理先进 AI 时提供系统级安全保障。该框架采用纵深防御思路,在沙箱、端点安全和提示注入抵抗等传统防护之上,把模型对齐作为主要防线,同时把内部 Agent 视为可能未对齐的对象,按已验证行为逐步授予权限。路线图借鉴 MITRE ATT&CK 构建 AI 威胁建模框架,将不可信 Agent 当作内部威胁拆解为具体战术与技术,并用可信 AI 系统作为监督者审查工作 Agent 的推理、行动和计划,必要时阻断有害操作。

    推荐理由Google DeepMind 公开其内部 AI 控制路线图,把不可信 Agent 当作内部威胁来建模,并给出检测与响应的分级思路。

  16. Google DeepMind · 收录 · 原文 26

    Gemini 3.5 Flash 内置计算机操作能力

    Google DeepMind 将 computer use 作为内置工具集成进 Gemini 3.5 Flash,此前它仅以独立的 Gemini 2.5 computer use 模型形式提供。该能力使开发者可通过 Gemini API 和 Gemini Enterprise Agent Platform 构建能跨浏览器、移动端和桌面环境看、推理并执行操作的智能体,面向持续软件测试等长周期与企业自动化任务。针对实时环境中的提示注入风险,Gemini 3.5 Flash 采用了定向对抗训练,并提供两个可选企业防护系统:敏感或不可逆操作需用户显式确认,检测到间接提示注入则自动停止任务。

  17. Google DeepMind · 收录 · 原文 7

    Google DeepMind 发布 Nano Banana 2 Lite 图像模型与 Gemini Omni Flash

    Google DeepMind 面向开发者推出 Nano Banana 2 Lite(gemini-3.1-flash-lite-image)与视频生成及对话式编辑模型 Gemini Omni Flash(gemini-omni-flash-preview)。前者主打速度与成本,文本生图延迟 4 秒、$0.034/1K 分辨率图像,建议替代 gemini-2.5-flash-image;后者原生支持文本、图像、视频输入的对话式视频编辑,两者均已在 Google AI Studio、Gemini API 提供,Omni Flash 处于公开预览阶段并同步登陆 Gemini App 与 Google Flow。

  18. Google DeepMind · 收录 · 原文 6

    Google DeepMind 联合印度 ATL 启动 Gemini 驱动的教育助手 ATL Saathi 试点

    Google DeepMind 面向印度 Atal Tinkering Labs(ATL)启动 ATL Saathi 实机试点,这是一款由 Gemini 提供底层能力的网页应用,为该计划的教育工作者提供全天候备课与培训助理。该工具基于 NotebookLM 整理并维护全部 ATL 课程材料,覆盖 12 个核心模块的小结、AI 信息图、视频概览与互动测验,并为其中 10 个模块提供进阶的项目生成界面,同时支持教师与学生双向的教学模式。其最新 Gemini 3.5 Flash 模型负责即时生成符合年级与课程标准的活动创意及分步组装说明、接线图和必要的安全注意事项,首批落地全国 100 所试点学校,初期支持 8 种语言。

  19. Google DeepMind · 收录 · 原文 29

    Google DeepMind 与 Isomorphic Labs 联合公布生物韧性方案

    Google DeepMind 与 Isomorphic Labs 公布了双方应对生物韧性的联合方案,一方面防范威胁行为者滥用其模型,另一方面帮助政府、科研机构和生物安全专家借助 AI 建设更具韧性的社会。过去 12 个月,两家机构推进了超过 15 项合作,覆盖预防、检测与响应三个方向:Gemini 遵循四步安全流程并尝试将 SynthID 水印扩展到生物学用途,AlphaEvolve 优化宏基因组测序算法以加快疫情侦测,Isomorphic Labs 则设立专门团队快速调用药物设计引擎研发医疗对策。该工作属于其对 CBRN 风险的整体管理的一部分,并与 Frontier Safety Framework 相衔接。

  20. Google DeepMind · 收录 · 原文 52

    Google DeepMind 发布 Gemini 3.5 Flash Cyber 网络安全模型

    Google DeepMind 推出 Gemini 3.5 Flash Cyber,一款基于 3.5 Flash 微调的轻量网络安全模型,用于快速发现、验证和修补漏洞,在相关任务上优于 Gemini 主线 Flash 模型。该模型通过 CodeMender 以限量试点方式先向政府和可信伙伴开放,后续逐步扩大范围;CodeMender 的基础能力也通过 Gemini Enterprise Agent Platform 向普通 Gemini 模型客户开放。

    推荐理由Google 公开了 3.5 Flash Cyber 在 CyberGym、Big Sleep 与 Chrome 提交扫描上的评测结果,可对照其轻量模型在漏洞发现上的定位。