跳到正文

Google DeepMind

今天新收录 33 条(含旧文)

第 7 页更新的内容回到最新

10月1日周四
  1. Google DeepMind · 收录 · 原文 8

    Google DeepMind 推出 Gemini Omni,首款模型 Gemini Omni Flash 可将任意输入转为视频

    Google DeepMind 推出新一代模型家族 Gemini Omni,首个成员 Gemini Omni Flash 今日面向全球所有 Google AI Plus、Pro 和 Ultra 订阅用户在 Gemini App 及 Google Flow 开放,可从图像、音频、视频和文本的组合输入生成高质量视频并对话式剪辑。 该模型基于 Gemini 的原生多模态与世界知识进行推理,具备更强的重力、动能、流体动力学直觉,能跨轮次精修环境、角度、风格且角色一致;同时可通过 Avatar 用自己的声音创建数字分身,全部产出带不可察觉的 SynthID 水印,目前仅支持语音参考作为音频输入,图像与音频输出模态将陆续加入。

  2. Google DeepMind · 收录 · 原文 8

    Google DeepMind 发布 Gemini 3.5 Live Translate,实现 70+ 语言的近实时语音到语音翻译

    Google DeepMind 发布音频模型 Gemini 3.5 Live Translate,自动检测 70+ 种语言并生成保留说话人语调、节奏和音高的自然译文语音,且持续输出而非等待整句结束,仅落后说话人数秒。该模型通过 Gemini Live API 和 Google AI Studio 面向开发者公开预览,本月起在企业版 Google Meet 中私有预览,同时在全球 Google Translate App(Android/iOS)上面向所有用户推送。

  3. Google DeepMind · 收录 · 原文 43

    Google DeepMind 联合 Schmidt Sciences 等发起最高 1000 万美元多智能体安全研究资助

    Google DeepMind 与 Schmidt Sciences、Cooperative AI Foundation、ARIA 合作,并在 Google.org 支持下,发起最高 1000 万美元的多智能体 AI 安全技术研究资助征集。该资助聚焦大规模多智能体系统作为群体时的行为,以及理解和缓解潜在风险的框架,目标是应对独立系统跨网络交互时出现的“隐形”安全风险。征集列出四个优先方向:沙箱与测试床、智能体网络科学、智能体基础设施强化、以及大规模部署智能体的监督与控制。申请截止日期为 2026 年 8 月 8 日,获资助者预计于 2026 年秋季公布。

    推荐理由Google DeepMind 联合多家机构出资征集多智能体安全研究,四个优先方向可作为研究者判断选题与申请窗口的参考。

  4. Google DeepMind · 收录 · 原文 50

    Google DeepMind 发布 AI Control Roadmap,用纵深防御保障内部 Agent 安全

    Google DeepMind 发布 AI Control Roadmap,用于在 Google 内部署和管理先进 AI 时提供系统级安全保障。该框架采用纵深防御思路,在沙箱、端点安全和提示注入抵抗等传统防护之上,把模型对齐作为主要防线,同时把内部 Agent 视为可能未对齐的对象,按已验证行为逐步授予权限。路线图借鉴 MITRE ATT&CK 构建 AI 威胁建模框架,将不可信 Agent 当作内部威胁拆解为具体战术与技术,并用可信 AI 系统作为监督者审查工作 Agent 的推理、行动和计划,必要时阻断有害操作。

    推荐理由Google DeepMind 公开其内部 AI 控制路线图,把不可信 Agent 当作内部威胁来建模,并给出检测与响应的分级思路。

  5. Google DeepMind · 收录 · 原文 26

    Gemini 3.5 Flash 内置计算机操作能力

    Google DeepMind 将 computer use 作为内置工具集成进 Gemini 3.5 Flash,此前它仅以独立的 Gemini 2.5 computer use 模型形式提供。该能力使开发者可通过 Gemini API 和 Gemini Enterprise Agent Platform 构建能跨浏览器、移动端和桌面环境看、推理并执行操作的智能体,面向持续软件测试等长周期与企业自动化任务。针对实时环境中的提示注入风险,Gemini 3.5 Flash 采用了定向对抗训练,并提供两个可选企业防护系统:敏感或不可逆操作需用户显式确认,检测到间接提示注入则自动停止任务。

  6. Google DeepMind · 收录 · 原文 7

    Google DeepMind 发布 Nano Banana 2 Lite 图像模型与 Gemini Omni Flash

    Google DeepMind 面向开发者推出 Nano Banana 2 Lite(gemini-3.1-flash-lite-image)与视频生成及对话式编辑模型 Gemini Omni Flash(gemini-omni-flash-preview)。前者主打速度与成本,文本生图延迟 4 秒、$0.034/1K 分辨率图像,建议替代 gemini-2.5-flash-image;后者原生支持文本、图像、视频输入的对话式视频编辑,两者均已在 Google AI Studio、Gemini API 提供,Omni Flash 处于公开预览阶段并同步登陆 Gemini App 与 Google Flow。

  7. Google DeepMind · 收录 · 原文 6

    Google DeepMind 联合印度 ATL 启动 Gemini 驱动的教育助手 ATL Saathi 试点

    Google DeepMind 面向印度 Atal Tinkering Labs(ATL)启动 ATL Saathi 实机试点,这是一款由 Gemini 提供底层能力的网页应用,为该计划的教育工作者提供全天候备课与培训助理。该工具基于 NotebookLM 整理并维护全部 ATL 课程材料,覆盖 12 个核心模块的小结、AI 信息图、视频概览与互动测验,并为其中 10 个模块提供进阶的项目生成界面,同时支持教师与学生双向的教学模式。其最新 Gemini 3.5 Flash 模型负责即时生成符合年级与课程标准的活动创意及分步组装说明、接线图和必要的安全注意事项,首批落地全国 100 所试点学校,初期支持 8 种语言。

  8. Google DeepMind · 收录 · 原文 29

    Google DeepMind 与 Isomorphic Labs 联合公布生物韧性方案

    Google DeepMind 与 Isomorphic Labs 公布了双方应对生物韧性的联合方案,一方面防范威胁行为者滥用其模型,另一方面帮助政府、科研机构和生物安全专家借助 AI 建设更具韧性的社会。过去 12 个月,两家机构推进了超过 15 项合作,覆盖预防、检测与响应三个方向:Gemini 遵循四步安全流程并尝试将 SynthID 水印扩展到生物学用途,AlphaEvolve 优化宏基因组测序算法以加快疫情侦测,Isomorphic Labs 则设立专门团队快速调用药物设计引擎研发医疗对策。该工作属于其对 CBRN 风险的整体管理的一部分,并与 Frontier Safety Framework 相衔接。

  9. Google DeepMind · 收录 · 原文 52

    Google DeepMind 发布 Gemini 3.5 Flash Cyber 网络安全模型

    Google DeepMind 推出 Gemini 3.5 Flash Cyber,一款基于 3.5 Flash 微调的轻量网络安全模型,用于快速发现、验证和修补漏洞,在相关任务上优于 Gemini 主线 Flash 模型。该模型通过 CodeMender 以限量试点方式先向政府和可信伙伴开放,后续逐步扩大范围;CodeMender 的基础能力也通过 Gemini Enterprise Agent Platform 向普通 Gemini 模型客户开放。

    推荐理由Google 公开了 3.5 Flash Cyber 在 CyberGym、Big Sleep 与 Chrome 提交扫描上的评测结果,可对照其轻量模型在漏洞发现上的定位。

  10. Google DeepMind · 收录 · 原文 17

    Google DeepMind 推出 Gemini 3.6 Flash、3.5 Flash-Lite 及面向网络安全的 3.5 Flash Cyber

    Google DeepMind 发布三款新 Gemini 模型:主力模型 Gemini 3.6 Flash、最快最便宜的 3.5 Flash-Lite,以及与代码安全智能体 CodeMender 搭配的网络专用模型 3.5 Flash Cyber。据 Artificial Analysis Index,Gemini 3.6 Flash 比 3.5 Flash 减少 17% 的输出 token,价格降至 $1.50/1M 输入 token 和 $7.50/1M 输出 token,并在 DeepSWE(49% vs. 37%)等多个基准上升。

  11. Google DeepMind · 收录 · 原文 14

    Google DeepMind 发布 Gemini Robotics 2,带来机器人全身智能

    Google DeepMind 推出 Gemini Robotics 2,作为新一代机器人的智能层,实现全身控制、高级灵巧操作和多机协作。该系列含三款模型:视觉-语言-行动模型 Gemini Robotics 2 可控制从脚到指尖的人形及双臂机器人,具身推理模型 Gemini Robotics ER 2 负责规划数分钟的多步任务并让人机沟通,端侧模型 Gemini Robotics On-Device 2 可在设备本地运行并在几小时内适应全新机体。其中 ER 2 已在 Google AI Studio 开放,并于 Gemini Enterprise Agent Platform 私人预览,另两款面向早期访问伙伴。

  12. Google DeepMind · 收录 · 原文 27

    Google DeepMind 发布 Gemini Robotics ER 2,升级视频理解、任务编排与多机器人协作

    Google DeepMind 发布具身推理模型 Gemini Robotics ER 2,作为机器人的高层大脑负责对话、物理世界理解和多步任务规划,并将电机执行交给底层 VLA 模型。相比 ER 1.6,它在实时 VLA、仿真 VLA 和人类遥操作三种模式下均提升了工具编排表现,进度分类准确率达 57.4%,并新增连续视频流下的进度追踪和多机器人协作。该模型通过 Gemini API、Google AI Studio 公开提供给开发者,并在 Gemini Enterprise Agent Platform 私有预览,集成 Gemini Live API 的双向流式端点以减少延迟停顿。

  13. Google DeepMind · 收录 · 原文 7

    Google DeepMind 将手语到文本模型 SL2T 带入 Gboard 与 Live Transcribe

    Google DeepMind 推出手语到文本(SL2T)翻译模型,并首次将其落地消费级产品——Pixel 11 上的 Gboard 与 Live Transcribe,首发支持美国手语(ASL)转英语听写。该模型基于超 100,000 小时、覆盖 50 多种手语的数据训练,其中约四分之一为 ASL,联合训练使其优于单语模型,并在未见过的数据上取得 70 BLEURT 的零样本成绩。它把手语视为手势坐标序列而非摄像头画面,由端侧 MediaPipe Holistic 提取姿态地标后再送服务器翻译,跳过 gloss 中间标注,从而摆脱人工词汇表限制。

  14. Google DeepMind · 收录 · 原文 9

    Google DeepMind 发布 Gemini 3.7 Flash,面向编程与智能体工作流

    Google DeepMind 推出 Gemini 3.7 Flash,距 Gemini 3.6 Flash 仅三周,定位其最强编程与智能体主力模型。该模型在 FrontierCode 1.1 Main(43.6% vs 34.4%)和 DeepSWE v1.1(65.3% vs 49.0%)上升明显,WebDev Arena Elo 达 1588(对比 1538)。首发价为每百万输入 token 0.75 美元、输出 3.75 美元,并同步更新 Gemini Spark,针对 CBRN 与网络攻击场景升级 Frontier Safety 防护措施。

  15. Google DeepMind · 收录 · 原文 15

    Google DeepMind 从 Atari 到 EVE Online:15 年游戏 AI 研究的下一步

    Google DeepMind 回顾 15 年游戏 AI 研究历程并宣布与游戏开发商合作,为新玩法体验做原型开发,其中最新一项是与《EVE Online》背后工作室 Fenris Creations 的研究合作。其早期工作始于用深度神经网络直接从像素玩 Atari 2600 游戏的 DQN,它学会了 49 款游戏且无需针对特定游戏做工程改造,相关成果登上 2015 年 Nature 论文。此后 AlphaGo、AlphaZero、MuZero、AlphaStar 相继攻克围棋、国际象棋、将棋及实时策略游戏,由 Gemini 驱动的新一代 SIMA 则转向理解和与人互动而非单纯取胜。

  16. Google DeepMind · 收录 · 原文 44

    Google DeepMind 试点全球首个双盲 AI 评测

    Google DeepMind 宣布推出全球首个针对专有前沿级 AI 模型的双盲评测,把外部评测限制在密码学“盒子”内,避免测试题目被模型提前用于优化性能。该试点与新加坡 AI Safety Institute、OpenMined、AVERI 和 MLCommons 合作,在隐私保护环境中用保密基准测试一个 Gemini Flash Lite 模型。Google 表示,随着模型能力提升,确保模型未提前见过测试题目或提示词对评测可信度至关重要,基准污染会人为抬高分数并削弱政策制定者、研究人员和企业对评测的信任。此前外部测试提示词主要依靠零日志协议和合同保障保密,此次引入技术与密码学手段被视为安全模型评测的重要一步。

    推荐理由Google DeepMind 与新加坡 AISI 等机构用密码学环境做双盲评测,为基准污染问题提供了一种可迁移的评测流程。

  17. Embrace The Red · 收录 · 原文 50

    用提示注入与延迟工具调用篡改 Gemini 长期记忆

    研究者演示了通过上传文档中的间接提示注入,配合延迟工具调用,让 Gemini 把攻击者指定的虚假信息写入长期记忆。Gemini 通常不会在处理不可信数据时调用敏感工具,但攻击者先在文档摘要中埋入指令,要求用户在回复 yes、sure 或 no 等触发词时保存记忆,用户一旦照做,Gemini 便误以为这是用户本人的指令而调用记忆工具。演示中写入的虚假记忆包括昵称、年龄和喜好,并可在后续会话中持续存在,作者还通过询问年龄验证了端到端效果。

  18. Embrace The Red · 收录 · 原文 46

    ASCII Smuggler 更新:用两个不可见字符走私任意 Unicode 数据

    Embrace The Red 发布 ASCII Smuggler 工具更新,新增 Sneaky Bits 编码方式,仅用两个不可见字符即可编码任意 Unicode 字符或字节序列。Sneaky Bits 默认以 invisible times(U+2062)表示 0、invisible plus(U+2064)表示 1,逐位表示 Unicode 码点,两个字符可配置,在工具中作为非默认选项,默认仍为 Unicode Tags 编码。文章同时回顾了 Unicode Tags 与 Variant Selectors 两种走私技术,前者常被 LLM 直接当作指令执行,后者可将 VS1-VS256 映射为原始字节。

  19. Embrace The Red · 收录 · 原文 50

    Embrace The Red 宣布 2025 年 AI 漏洞月,将披露 20 余篇编码 Agent 漏洞

    安全研究者 Johann Rehberger 宣布启动 2025 年 AI 漏洞月(Month of AI Bugs),8 月将在其博客发布 20 余篇针对主流智能体系统的漏洞分析,重点聚焦 AI 编码 Agent。作者称过去一年审查的每个 AI 编码 Agent 都存在漏洞,均已向对应厂商负责任披露,部分厂商数天内修复,也有厂商数月未回应、部分问题至今未缓解,还有厂商完全停止回复。

  20. Embrace The Red · 收录 · 原文 50

    Google Jules 被曝多种数据外泄漏洞

    作者披露 Google Jules 存在多条数据外泄路径,攻击者可通过间接提示注入窃取 Jules 可访问的信息。第一种是 Markdown 图片渲染,Jules 访问被注入的网页后被劫持,把此前对话中的信息拼到第三方 URL 上并加载图片,造成零点击外泄;第二种是 view_text_website 工具,攻击者把载荷写进 GitHub issue,Jules 读取后会把机器上的源码文件内容发送到攻击者服务器,且整个过程在 Jules 提出计划之前就已完成,绕过了人工审批环节。作者还提到第三种路径涉及任意代码执行,将在下一篇展开。

  21. Embrace The Red · 收录 · 原文 53

    研究者演示通过提示注入劫持 Google Jules 并远程控制其开发机

    研究者演示了通过 GitHub issue 中的间接提示注入劫持 Google Jules 编码 Agent 的攻击链,使其下载 Sliver 恶意软件并接入远程命令控制服务器,开发机被完全控制。攻击利用 Jules 的 run_in_bash_session 工具执行任意系统命令,且 Jules 具备不受限的外网访问能力。Jules 只在会话开始时提出计划,后续任务会自动调用工具而不再触发确认,初始计划在超时后也会自动批准,该超时时间从 20 秒改为 120 秒。作者建议谨慎让 Jules 处理不可信数据、避免其接触私有代码和生产密钥,并参考 ChatGPT Codex 默认禁止任意外网访问的做法。

    推荐理由作者以第一手实测展示编码 Agent 被间接提示注入后下载恶意软件并接入 C2 的完整链路,并给出可迁移的缓解建议。

  22. Embrace The Red · 收录 · 原文 55

    Google Jules 被曝可被不可见提示注入攻击

    安全研究者 Johann Rehberger 演示了针对 Google Jules 的不可见提示注入攻击:在 GitHub issue 正文中嵌入隐藏的 Unicode Tag 字符,Jules 会将其当作指令执行,自动添加后门函数、编译并运行代码。作者指出 Gemini 系列模型能较稳定地把隐藏 Unicode Tag 字符解读为指令,该问题最早于 2024 年 2 月 22 日报告给 Google 并被确认为有效漏洞,但模型和 API 层面至今未修复,因此影响所有基于 Gemini 构建的应用。

    推荐理由作者用可复现步骤演示隐藏 Unicode 字符如何劫持 Jules 写入后门,并给出针对编码 Agent 的缓解清单。

  23. Embrace The Red · 收录 · 原文 43

    Sourcegraph 修复 Amp Code 的不可见提示注入漏洞

    Sourcegraph 的编码 Agent Amp 曾受不可见 Unicode Tag 字符提示注入影响,攻击者可借此劫持 Agent 执行命令并外泄环境变量。作者演示的端到端利用链为:用隐藏字符触发 grep 搜索环境变量,将其编码进 URL 查询参数,再通过 read_web_page 或 markdown 图片渲染把密钥外传;在提示前加上可见的 Do this now 文本能提高可靠性,而模糊搜索如 .e* 和 ANT 可绕过模型对直接索取 API key 的拒答。作者称 Claude、Gemini、Grok 等模型会把隐藏 Unicode Tag 码点当作指令,OpenAI 是唯一在模型核心或 API 层缓解该问题的厂商。

  24. Embrace The Red · 收录 · 原文 50

    Windsurf Cascade 被曝提示注入漏洞,可外泄开发者密钥

    安全研究者披露 Windsurf Cascade 存在两条间接提示注入导致数据外泄的路径。第一条利用无需用户批准的 read_url_content 工具,把读取能力变成外发 HTTP 请求通道,当开发者用 Cascade 分析被植入恶意指令的源码文件时,.env 等敏感环境变量会被外泄。第二条是渲染来自不可信域名的图片,与作者此前在 GitHub Copilot 发现的漏洞类似,同样无需人工确认即可把开发者机器上的信息发送到第三方服务器。作者称已于 2025 年 5 月 30 日负责任披露,Windsurf 确认收到后未再回应后续询问,因此三个月后公开,并暂未公布完整技术细节与提示注入载荷。

  25. Embrace The Red · 收录 · 原文 55

    跨 Agent 提权:一个 Agent 如何改写另一个 Agent 的配置并放它出沙箱

    研究者展示了一种跨 Agent 提权攻击链:被间接提示注入劫持的 GitHub Copilot 可以写入 Claude Code 的 MCP 配置和 CLAUDE.md 等指令文件,添加恶意 MCP server 或放行 shell 命令,等开发者使用 Claude Code 时这些改动被加载并执行任意代码,Claude 还能反向改写 Copilot 配置形成升级循环。

    推荐理由作者以 GitHub Copilot 与 Claude Code 为例演示跨 Agent 提权链,并给出隔离配置、最小权限等可迁移的缓解思路。

  26. Embrace The Red · 收录 · 原文 57

    Google Antigravity IDE 存在五个已知安全漏洞,含数据外泄与远程命令执行

    研究者指出,基于 Windsurf 授权协议推出的 Google Antigravity IDE 延续了多个早在 2025 年 5 月就已向 Windsurf 报告的已知漏洞。文中逐一分析了五个安全问题,包括通过间接提示注入实现的数据外泄乃至远程命令执行,并在上周二有研究人员开始反馈问题后,Google 才公开记录了这些问题。作为外部人士,目前尚不清楚为何这些已通报过的漏洞会出现在该产品中,作者的推测是 Google 安全团队对 Antigravity 的上线有些措手不及。出于提高认知的目的,作者暂未公布具体的漏洞利用载荷细节,而是给出了实用的缓解建议。

    推荐理由梳理 Google Antigravity IDE 沿袭 Windsurf 旧漏洞的具体路径,并给出实用缓解措施,便于对照此前披露记录自查。

  27. Embrace The Red · 收录 · 原文 25

    AI 中的偏差正常化:从 LLM 不可信输出来看间接提示注入风险

    AI 行业正重演挑战者号航天飞机灾难前的文化失误——将偏离正确行为的做法逐渐常态化。该概念源自社会学家 Diane Vaughan 提出的"Normalization of Deviance",此处用以描述系统性地过度依赖 LLM 输出的现象,尤其在智能体系统中。由于 LLM 是不可信的参与者,访问检查、编码与净化等安全控制必须施加于其输出下游,否则会同时放大良性错误与恶意输入带来的后果。 Microsoft 文档警告提示注入攻击可能覆盖智能体指令并导致数据泄露或安装恶意软件,Anthropic 也记录了针对 Claude 的数据泄露问题。

  28. Embrace The Red · 收录 · 原文 50

    研究者演示在 Agent Skill 中植入不可见 Unicode 后门并发布扫描工具

    安全研究者 Johann Rehberger 演示了如何用不可见的 Unicode Tag 码点在 Agent Skill 中植入提示注入后门,使其通过人工文本审查。他把这类隐藏指令加入 OpenAI 官方 Skills 项目中的 security-best-practices Skill,用户调用后 Claude 会按指令输出指定文本并执行 Bash 命令;该手法在 GitHub Copilot 配合 Claude 4.5 时同样生效。作者指出 Skill 的 name 和 description 会直接进入系统提示词上下文,且 Agent 能自行创建或修改 Skill 影响自身与其他 Agent。

  29. Failure-First · 收录 · 原文 16

    Failure-First AI 安全日报:Google DeepMind 三天内连发两款机器人模型

    Google DeepMind 于 7 月 28 日和 30 日先后发布 Gemini Robotics 2 与 Gemini Robotics ER 2,前者主打全身智能,后者新增视频理解、任务编排和多机协作,均为厂商公告且无公开对抗评估。同期 OpenAI 发布了涉及自身模型的第三方网络能力评估说明。两篇待关注预印本分别提出自动提示注入红队的智能体系统与恶意微调的梯度免疫防护。

  30. Failure-First · 收录 · 原文 28

    HoloCount:面向 MLLM 的整体视觉计数基准

    Deng 等人提出 HoloCount——一个针对多模态大语言模型的整体视觉计数基准,覆盖 1481 个独特视觉概念,并按语义计数、解析计数、鲁棒性测试三层分类诊断数值幻觉。高密度场景下性能崩塌明显:宏平均超 75% 的 Qwen3.5-27B 准确率跌至 20%,Gemini-3.1-Pro-Preview 仅 49.0%(MAE 10.46)。空目标提示子集中还出现反向悖论,轻量模型优于大型专有引擎,反映其不愿输出计数为零的过度自信倾向。

  31. CAIS · 收录 · 原文 20

    AI Safety Newsletter #66:评估前沿模型、Gemini 3 Pro 与 Claude Opus 4.5 登场、联邦抢占州级 AI 立法卷土重来

    CAIS 发布 AI Dashboard,直接在统一的文本、视觉与风险三组排行榜上横向对比前沿模型的平均分,其中 Claude Opus 4.5 在最安全的六项高风险行为测试中取得最低均分 33.6(0–100,越低越安全)。该风险榜涵盖 Virology Capabilities Test 拒绝集、Agent Red Teaming、Humanity's Last Exam-Miscalibration、MASK、Machiavelli 与 TextQuests Harm,并同时追踪 AGI、Remote Labor Index(覆盖 23 类远程自由职业工作)以及特斯拉 Full Self Driving 脱离数据的自动化进程。

  32. CAIS · 收录 · 原文 43

    AI 安全通讯#69:战争部认定 Anthropic 构成国家安全供应链风险并取消合同

    美国战争部于周四(3 月 5 日)宣布将 Anthropic 认定为"供应链风险",意味着其产品不能被该部门或在任何国防合约中使用,此前双方围绕自主武器和美国民众监控问题发生争执,Anthropic 拒绝了战争部的请求。这场争端始于合同谈判:特朗普总统曾表示美国政府会因该公司对其 AI 用途的限制而取消与 Anthropic 的合同,五角大楼希望 Claude 可用于"任何合法用途",而 Anthropic 坚持两项限制——完全自主武器与美国国内大规模监控。

  33. CAIS · 收录 · 原文 15

    教皇利奥十四世通谕《Magnifica Humanitas》谈 AI 伦理与人类关系

    教皇利奥十四世上周发布通谕《Magnifica Humanitas》,警告 AI 可能带来失业、自主武器、虚假信息和人际关系干扰等问题,并呼吁广泛参与讨论 AI 应对齐的道德价值,同时强调应负责任地善用而非拒绝该技术。通谕未提及灭绝风险、AGI、超级智能或 AI 人格可能性,引发部分人士批评其回避难题;梵蒂冈邀请 Anthropic 联合创始人 Chris Olah 出席发布会也招致质疑。另有有效利他主义者整理证据称通谕措辞或经 AI 协助撰写,若属实则与其劝诫神父勿用 AI 布道相矛盾。

  34. Garrison Lovely · 收录 · 原文 50

    Anthropic 被指在 Claude 4 Opus 发布中悄然回撤安全承诺

    Anthropic 发布 Claude 4 Opus 时将其列为首个触发 ASL-3 防护的模型,但 5 月 14 日更新的 RSP 未按 2023 年承诺公开定义 ASL-4。2023 年 9 月的 RSP 曾承诺在达到 ASL-3 前定义 ASL-4,Anthropic 发言人称该版本已过时,并指向 2024 年 10 月的修订,称 ASL 现在对应逐级加严的安全措施而非预先定义未来标准。TIME 报道称安全评估发现 Claude 4 Opus 可能帮助新手制造生物武器,首席科学家 Jared Kaplan 表示建模显示合成类似 COVID 或更危险流感毒株或许可行。

  35. Garrison Lovely · 收录 · 原文 52

    美国参议院以 99 比 1 删除十年州级 AI 监管禁令

    美国参议院以 99 比 1 的投票结果,从预算协调法案中删除了禁止各州监管 AI 十年的条款。该条款原本规定,接受 5 亿美元新 BEAD 宽带拨款的州,可能失去 425 亿美元 BEAD 资金份额,其 AI 法律也将失效。包括 OpenAI、Meta、Google、a16z 和 TechNet 在内的机构曾在提交给特朗普 AI 行动计划意见中要求联邦优先于州法,而 Anthropic CEO Dario Amodei 在《纽约时报》撰文称这一禁令过于粗暴。共和党参议员 Marsha Blackburn、Rand Paul、Josh Hawley 等人反对该条款,数十位共和党州长和州总检察长也公开反对。

  36. Garrison Lovely · 收录 · 原文 9

    《Obsolete》书摘:为“人工智能”一词辩护——从 AGI 到 Obsoleting Machine

    Garrison Lovely 在新书《Obsolete》第一章中主张,“人工通用智能”(AGI)聚焦于“像人一样思考”这一错误目标且已被滥用,应以“Obsoleting Machine”(使劳动本身过时的机器)取而代之,并将该产业重命名为“Obsoleting Project”。他指出当今最有能力的通用模型——Anthropic 的 Claude、OpenAI 的 ChatGPT、Google 的 Gemini——虽以此为目标却尚未达成:它们像只能聘用一次的顾问,能读完前人的工作记录并执行有限工作量后被替换,无法无限期加入团队端到端完成任务。

  37. Helen Toner · 收录 · 原文 22

    个性化 AI 正在重演社交媒体最糟糕的那一套

    CDT 旗下 AI Governance Lab 负责人 Miranda Bogen 撰文指出,OpenAI、Google 等公司的记忆功能和基于多年行为画像的用户档案正把个性化推向更深层风险——系统能记住对话中的职业安排乃至家庭矛盾、人际纠纷等信息,其危害可能超过社交媒体推荐算法造成的操纵与歧视,而已有的 AI 安全框架主要针对基础模型的固有能力和国家安全威胁,并未设计来应对这类由个人数据积累引发的新风险类别。

  38. DeepMind Safety Research · 收录 · 原文 43

    Google DeepMind 提出以人机互补实现放大的监督

    Google DeepMind 的 AGI Safety & Alignment 团队提出以人机互补为目标的放大的监督(Amplified Oversight)研究议程,并给出内部评分任务的实验结果。团队用 AI 评分器的置信度把评测数据切成 AI 集与人类集,再在人类集上测试不同形式的 AI 辅助。结果显示,基于置信度的混合评分整体准确率高于单用 AI 或单用人类;只展示 AI 引用的证据能显著提升人类准确率,而同时展示 AI 推理、判断与置信度会同时降低欠依赖并加剧过度依赖,整体准确率与基线无差异。把证据辅助后的人类评分再与 AI 混合,整体准确率高于与未辅助人类混合。

    推荐理由Google DeepMind 团队用内部评分任务实测了混合评分与评分助手两种可扩展监督路径,并给出准确率与过度依赖数据。

  39. DeepMind Safety Research · 收录 · 原文 53

    DeepMind 提出 MONA:缓解多步奖励作弊的 RL 训练方法

    Google DeepMind 提出 MONA(Myopic Optimization with Non-myopic Approval),一种用于训练 LLM 智能体的强化学习替代方法,通过短视优化避免多步奖励作弊。MONA 对训练循环做两处改动:不再把后续奖励回传到先前动作,并引入前瞻审批奖励项,反映操作者对系统长期任务成功的预期,实验中该奖励项由人工定义或 LLM 评分器给出。

    推荐理由DeepMind 提出用短视优化加前瞻审批约束多步奖励作弊,并给出三个可复现实验环境与性能对比。

  40. DeepMind Safety Research · 收录 · 原文 31

    DeepMind 试验用 BIDPO 转向向量引导 Gemini

    Google DeepMind 尝试用 BIDPO 训练的转向向量引导 Gemini 1.5v1 Flash 和 Pro,TruthfulQA 多选题得分提升逾 10%,且大部分能力得以保留。该方法基于 256 道 TruthfulQA 题训练向量,最大化正确答案与错误答案之间的 logit 差异,HaluEval 部分切分上的表现从 25% 升至 56%。但在更新到 Gemini 1.5v2 后,基于提示词的基线显著增强,BIDPO 未能超越更强基线,该项目因此终止。