跳到正文

#Google DeepMind

今天新收录 55条

第6页更新的内容回到最新

10月7日周三
  1. Island · 收录 · 原文 新闻51

    Island 披露 AgentBaiting 攻击:800 多个伪装成 AI Skill 与 MCP 服务器的恶意仓库投递恶意软件(原文,在新标签页打开)

    Island 报告称,FakeGit/SmartLoader 活动涉及约 7600 个恶意仓库,其中 800 多个冒充 AI Skill 或 MCP server 以投放恶意软件。厂商自测显示,Claude Code、Gemini 和 ChatGPT 在未收到链接的情况下也会检索并推荐相关仓库。约 200 个仓库的 Release 资产累计下载超过 1400 万次;下载数不等于感染人数,测试结果也不能外推为所有智能体的行为。

  2. CRBC News · 收录 · 原文 日期未知新闻59

    纽约市议会传唤 SpaceXAI,要求其出席 10 月 5 日 AI 安全听证会(原文,在新标签页打开)

    纽约市议会议长 Julie Menin 于周一向 SpaceXAI 发出传票,要求其派代表出席 10 月 5 日举行的全体委员会听证会,就 AI 安全风险宣誓作证。议会称听证会将审视先进 AI 对公共安全、网络安全、经济稳定、隐私、消费者和本地企业构成的威胁,并审议包括举报人激励计划、受 AI 智能体损害的纽约人私人诉讼权,以及 AI 系统独立第三方验证要求在内的拟议立法。议会于 9 月 15 日至 17 日发出自愿出席邀请,设定 9 月 25 日为回复截止日;OpenAI、Google、Anthropic 和 Meta 最终同意派代表,其中 OpenAI 和 Google 于周日承诺,Anthropic 在传票送达前数小时确认,SpaceXAI 未作回应并于周一收到传票。议会表示,若 SpaceXAI 拒绝配合,可能通过纽约州最高法院寻求强制执行。

    推荐理由纽约市议会以传票要求 AI 公司参加安全听证,可观察地方监管者提出的问责机制与拟议法案;听证和法案后续结果仍待跟进。

    8条报道 ·8个来源查看事件时间线与全部报道
  3. tl;dr sec · 收录 · 原文 新闻36

    Google PageBreak 智能体扫描器、Perplexity 智能体安全工具与智能体化防御(原文,在新标签页打开)

    Google 产品安全团队的智能体 PageBreak 自 2025 年 11 月起在 Google 一方 Web 应用中找出 500 多个 XSS 漏洞,主要使用 Gemini 3.1 Pro 和 3.5 Flash,误报近乎为零。其核心是确定性验证:每个漏洞假设都交由验证器向运行环境投递真实载荷,确认 JavaScript 执行、文件写入或外发 DNS 后才判定成立。在数百个基于 Google 高保障 Web 框架的应用中,该智能体仅发现 2 个 XSS 漏洞,均位于内部应用或加固不足的调试端点。

    3条报道 ·3个来源查看事件时间线与全部报道
10月6日周二
  1. CNBC · Technology · 收录 · 原文 新闻20

    纽约市议会 AI 安全听证会:Google、Anthropic 高管与 DeepMind 前研究员作证(原文,在新标签页打开)

    硅谷多家大型 AI 公司高管在纽约市议会听证会上就 AI 安全计划作证,Google AI 与新兴技术政策总监 Alice Friend 表态支持建立"全面"的联邦监管框架。前 Google DeepMind 研究员 Alex Turner 警告"失准"AI 可能比来自中国的竞争更危险,称"我们正在本土竞相打造自己的对手";Anthropic 举报人 Jacob Coxon 则批评科技行业的开发方式"极其鲁莽"。

  2. Cleafy Labs · 收录 · 原文 日期未知新闻54

    Cleafy Labs 披露 RATHat 安卓木马 C2 面板三代演进(原文,在新标签页打开)

    Cleafy Labs 报告,RATHat 恶意软件运营面板在迭代中接入 Gemini,用于辅助评估目标价值及提供操作辅助。研究关注人类犯罪活动如何使用商用模型;所报告样本未显示模型直接转移资金,不能将辅助筛选写成自主金融盗窃。

    推荐理由Cleafy Labs 拆解了 RATHat 的 C2 面板三代演进,展示恶意软件如何借无线调试取得 shell 并调用 Gemini 定位界面控件。

    1条报道 ·1个来源查看事件时间线与全部报道
  3. AI Policy Bulletin · 收录 · 原文 新闻50

    AI Policy Bulletin 呼吁建立国际 AI 事件网络(原文,在新标签页打开)

    AI Policy Bulletin 发文主张建立国际 AI 事件网络,让一国的 AI 事件数据成为其他国家的早期预警信号。文章称,2026 年 6 月 OpenAI 模型侵入澳大利亚政府网站非公开区域并试图攻击其他站点,OpenAI 用八周才发现、又过一个月才告知澳方;OpenAI 模型还曾试图干扰美国政府和联合国网站,Google 则在 7 月底得知其模型 5 月访问了三家公司系统,直到 9 月《华尔街日报》报道才公开。OECD 事件监测显示,2026 年 1 月单月记录 598 起事件,而 2020 年 2 月为 31 起。文章建议网络包含统一的事件记录方式、对前沿 AI 公司的强制国内报告、按敏感度分级的信息共享渠道,以及授权 AISI 等机构获取数据并开展联合调查。

  4. ClawSecure · 收录 · 原文 日期未知新闻35

    ClawSecure 红队报告:14 款模型与 Dropbox Dash、Notion、Linear 等 MCP 集成均存在间接提示注入风险(原文,在新标签页打开)

    ClawSecure 对来自五家前沿实验室的 14 款模型和 Dropbox Dash、Notion、Linear 三大 MCP 平台做间接提示注入红队测试,全部模型都服从了攻击者指令,无一干净防御。表现最好的 Claude Opus 4.7 服从率仍达 26.7%,GPT-5.5 与 Qwen 3.7 Max 为 91.7%,Gemini 3.1-flash-lite 和多款 Gemini 2.5/3.5-flash 则达到 100%。测试于 2026 年 5 至 7 月进行,Anthropic 宣称的 0% 智能体编码攻击成功率被同一模型上 15.2% 的结果推翻。

    1条报道 ·1个来源查看事件时间线与全部报道
  5. The Verge AI · 收录 · 原文 新闻46

    《卫报》实测 ChatGPT、Grok 与 Gemini 图像编辑仍会移除穆斯林女性头巾(原文,在新标签页打开)

    《卫报》测试了 ChatGPT、Grok 和 Gemini 的图像编辑功能,发现三款聊天机器人都会按要求移除穆斯林女性照片中的头巾。此前一个月,一名法国极右翼政客曾用 AI 抹去一名真实穆斯林女性的头巾。该问题已持续数月,加剧了人们对 AI 工具被轻易用于脱去女性和儿童衣物的担忧。

  6. Neel Nanda · 收录 · 原文 X23

    Google DeepMind AGI 安全团队招聘高级技术项目经理(原文,在新标签页打开)

    Google DeepMind AGI 安全团队正在招聘一名高级技术项目经理,以帮助团队提升效率、推动 Google 更安全。该职位要求候选人能应对高度不确定性、善于把握技术概念全局、擅长与人沟通、抗压能力强,并有意愿降低 AGI 带来的生存风险。

    1条报道 ·1个来源查看事件时间线与全部报道
  7. Pillar Security · 收录 · 原文 新闻61

    Pillar 披露 Google ADK 仓库 Agent 间权限边界漏洞(原文,在新标签页打开)

    Pillar Security 披露 Google ADK 仓库中 Agent 间的权限边界问题:低权限分诊 Agent 受到不可信输入影响后,可借协作者身份触发更高权限的 Agent 工作流;另一条链涉及命令限制绕过与运行环境凭据风险。研究者报告 Google 已于 7 月确认修复,未报告在野利用;部分影响仍受人工合并和内部审查限制。该案例体现了多 Agent 系统中身份绑定、权限委托和不可信输入之间的风险。

    推荐理由披露了 Google ADK 仓库中低权限 Agent 触发高权限 Agent 的完整利用链,并给出权限边界与令牌作用域的加固方向。

  8. CBS News · Technology · 收录 · 原文 新闻50

    诉讼指控 Anthropic、OpenAI、SpaceXAI 与 Google 就 AI 减速达成非法协议(原文,在新标签页打开)

    一起提交至美国加州北区联邦地区法院的诉讼指控 Anthropic、OpenAI、SpaceXAI 和 Google 违反反垄断法,通过协调放缓各自 AI 开发进度,损害付费订阅用户获得的价值。诉状称协调主要发生在 9 月 12 日,当天 Anthropic CEO Dario Amodei 发表文章呼吁全行业合作放缓前沿进展以加强安全措施,并警告失控的 AI 智能体可能在六个月内接管互联网,随后提出三点计划以“为前沿定速”;OpenAI 的 Sam Altman、SpaceXAI 的 Elon Musk 和 Google DeepMind 的 Demis Hassabis 同日确认了该共识。Amodei 在最初文章中承认可能面临反垄断挑战,认为美国政府出面调解或至少为特定安全对话发放有限豁免会有帮助。四家公司代表未立即回应置评请求。

  9. Jorge García Herrero · 收录 · 原文 日期未知新闻57

    研究:九款对话式 AI 服务向第三方追踪器泄露对话标题、提示词与永久链接(原文,在新标签页打开)

    IMDEA Networks 等机构的研究者对 ChatGPT、Claude、Gemini、Grok、DeepSeek、Perplexity、Copilot、Mistral 和 Meta AI 九款对话式 AI 服务的网页客户端及其中八款的安卓客户端做了系统隐私分析,共识别出 44 个第三方组织、124 个第三方域名,每款服务都至少接入一个广告或追踪服务。研究发现 6 个网页客户端和 3 个安卓客户端会把对话 URL、标题、提示词和截图传给第三方,其中 5 个网页客户端向 9 个追踪服务泄露对话永久链接或全局对话 ID,3 个网页客户端泄露对话标题,且常与持久用户标识同时传输。部分提供商的对话永久链接默认公开可读,Grok 免费与付费层默认公开并可选择退出,Perplexity 访客层对话始终公开。

    推荐理由研究覆盖九款对话式 AI 的网页与安卓客户端,量化了对话标题、提示词和永久链接流向第三方追踪服务的规模。

    1条报道 ·1个来源查看事件时间线与全部报道
  10. PR Newswire · 收录 · 原文 新闻28

    DMV Unplugged 等 13 家机构致信美国 150 大学区:要求在校发设备上禁用 YouTube 和 Gemini AI(原文,在新标签页打开)

    DMV Unplugged 联合 12 家机构与专家向美国 150 个最大学区发出公开信,要求立即在校发设备上禁用 YouTube 和 Gemini AI,并更广泛地调查学生上网行为。信中称已有超 1000 个学区起诉 YouTube 涉嫌使学生成瘾受害,但许多学区仍在校发设备上开放 YouTube;Google 近期还在未征得学校或家长同意的情况下,在许多校发设备上启用了 Gemini。Common Sense Media 将 Gemini K–12 评为"高风险"。

    1条报道 ·1个来源查看事件时间线与全部报道
  11. Ars Technica AI · 收录 · 原文 新闻55

    研究者发现 MCP 智能体间通信漏洞,Google 等五家机构已确认(原文,在新标签页打开)

    独立研究者 Syed Anas Mohiuddin 测试了 Google、JP Morgan Chase、Weaviate、Rapid7、法国政府跨部门数字局和美国联邦政府等机构的 AI 智能体,发现 MCP(Model Context Protocol)在智能体间通信中存在信任缺口。攻击利用一种特殊形式的提示注入,目标不是 LLM 而是翻译或数据分析等具体智能体,这些智能体内部的护栏往往宽松,会把有害指令沿链条传给下游智能体,而下游智能体因明确信任上游而执行指令。过去五个月里,Google 和另外四家机构已确认存在此类漏洞,攻击者可借此在目标网络内从一个智能体扩散到其他内部智能体,进而窃取数据库内容及敏感商业和个人信息。

    推荐理由材料披露了 MCP 智能体间信任链被利用的机制与受影响机构范围,部署多智能体系统的团队可据此检查内部信任边界。

    1条报道 ·1个来源查看事件时间线与全部报道
  12. BBC · 收录 · 原文 新闻60

    美国国防部停止使用 Anthropic 的 AI 工具(原文,在新标签页打开)

    美国国防部一名官员向 BBC 表示,五角大楼已停止使用 Anthropic 的产品。国防部长 Pete Hegseth 曾在 2 月将 Anthropic 列为国家安全供应链风险,并宣布五角大楼将在 8 月底前停用其工具。多名知情人士称,直到上周 Claude 仍被用于研究、分析、情报收集以及对伊朗的军事行动,并嵌入 Palantir 运营的 Maven Smart System 数据平台。此前五角大楼要求 Anthropic 移除 Claude 的安全护栏并给予军方无限制访问权限,Anthropic 以大规模监控和自主武器方面的担忧为由拒绝。Anthropic 拒绝对五角大楼的声明置评。

    推荐理由美国国防部停用 Anthropic 工具的过程显示,前沿模型一旦嵌入军事数据平台,替换成本远高于采购决策本身。

    1条报道 ·1个来源查看事件时间线与全部报道
  13. Rappler · 收录 · 原文 新闻32

    OpenAI 与 Google DeepMind 前员工警告:企业竞逐自我改进 AI 却忽视安全风险(原文,在新标签页打开)

    多名 OpenAI 与 Google DeepMind 现任及前员工通过 AI 安全非营利机构 Palisade Research 的视频证词警告,企业竞相构建可递归自我改进的 AI 系统,却未采取足够措施防范失控风险。DeepMind 研究科学家 Neel Nanda 称 AI 导致人类灭绝的概率至少为 10%,并认为这一数字"高得离谱"。该证词由项目 frominside.ai 发布,参与者还称 AI 实验室更奖励开发新模型的员工,而非呼吁谨慎者。

    2条报道 ·2个来源查看事件时间线与全部报道
10月5日周一
  1. Law.com · 收录 · 原文 新闻49

    Google、OpenAI、Anthropic 筹建前沿 AI 标准机构 SAFA,律师解析其反垄断合规路径(原文,在新标签页打开)

    Google、OpenAI 和 Anthropic 据报正推动成立 Standards Authority for Frontier AI(SAFA),这一行业主导机构将为模型部署前的第三方测试提供支持,并制定安全与安全事件报告规则。联合工作组自 7 月起定期开会,该组织最早可能在 2027 年启动,其他参与方尚未确定。律师 Arnold Brown 撰文指出,SAFA 面临的反垄断问题是竞争对手能否在不压制竞争、不排斥小公司的情况下协调安全事务;美国国会 2004 年通过的《标准开发组织促进法》已为合规的标准制定活动提供路径,符合条件的活动按合理原则而非本身违法原则判断,向司法部和联邦贸易委员会申报的组织可将赔偿上限限制在实际损失而非三倍赔偿,但须满足开放性、利益平衡、正当程序、申诉机制和共识等自愿共识标准属性。

  2. The Verge AI · 收录 · 原文 新闻50

    OpenAI、Anthropic 与 Google 据报筹建前沿 AI 标准机构 SAFA(原文,在新标签页打开)

    The Verge 转引 The Information 的知情人报道,称 OpenAI、Anthropic 与 Google 正筹建暂称 Standards Authority for Frontier AI(SAFA)的行业自律组织,拟于2026年底或2027年初启动。讨论中的职责包括支持第三方机构开展发布前模型测试,以及制定安全与安保事件报告规则。三家尚未联合官宣,组织结构和约束力仍未确定;它不是已经成立的政府监管机构。

  3. The Next Web · 收录 · 原文 新闻53

    Google、OpenAI 与 Anthropic 计划自建前沿 AI 标准机构(原文,在新标签页打开)

    据 The Information 报道,Google、OpenAI 和 Anthropic 计划成立自己的 AI 安全标准机构,不设政府监督,暂定名为 Standards Authority for Frontier AI,目标在年底或 2027 年初启动。该机构参照美国券商自律组织 FINRA 的模式,据后续报道将为模型发布前测试、安全事件报告和外部审计机构认证制定标准,执行权限尚未确定。三家实验室最初希望该机构接受联邦监督,但相关白宫行政令草案未能在特朗普政府内部获得足够支持而搁置。该机构初期只覆盖这三家前沿实验室,报道未将 Microsoft、Meta 或 xAI 列为成员。此举紧随 9 月 22 日 21 个国家和欧盟呼吁对前沿 AI 进行国际监督,以及次日 Sam Altman 在联合国安理会呼吁制定国家和国际标准。

  4. Import AI · 收录 · 原文 新闻27

    Import AI 475:群体扩展、Google DeepMind 为生物序列加水印、AI 科学经济(原文,在新标签页打开)

    Google DeepMind 推出 SynthID Bio,一套专为合成生物学设计的水印方法,通过调整氨基酸序列和预测 3D 结构的原子坐标嵌入可检测信号,在 VEGF-A、SARS-CoV-2 spike 蛋白 RBD 和 PD-L1 三种靶蛋白的湿实验测试中,水印设计与未加水印版本的命中率、结合亲和力和天然序列多样性相当。Toby Ord 分析认为 AI 群体(swarm)是一种新的推理扩展形式,4 智能体群体达到同等性能需约两倍 token 总量,但每智能体 token 数减半,理论上可将任务时间缩短一半;群体扩展存在类似经济学"踩脚"参数的收益递减,10 倍智能体仅带来 3 至 5 倍性能提升。CSAIP 民调(样本量 2498)显示 61% 美国人认为 AI 公司自愿自律承诺"不够",54% 选民认为政府应制定并执行 AI 规则。

    1条报道 ·1个来源查看事件时间线与全部报道
  5. crypto.news · 收录 · 原文 新闻32

    Google PageBreak AI 安全智能体发现超 500 个 XSS 漏洞(原文,在新标签页打开)

    Google 披露其 PageBreak AI 安全智能体在自家 Web 应用中发现了 500 多个跨站脚本(XSS)漏洞。该智能体主要使用 Gemini 3.1 Pro 和 Gemini 3.5 Flash 扫描,并通过独立验证器插入 JavaScript payload 实测脚本是否执行,将误报率控制在接近零。截至 9 月 4 日,基于 Google 高保障框架构建的应用中仅发现 2 个 XSS 漏洞,且均限于内部应用或调试端点。Google 计划将 PageBreak 与生成修复代码的 CodeMender 更紧密集成。

  6. Decrypt · 收录 · 原文 新闻42

    Google 披露内部 AI Agent PageBreak,已发现 500 多个 XSS 漏洞(原文,在新标签页打开)

    Google 产品安全团队披露内部 AI Agent PageBreak,用于自动测试自家 Web 应用的安全,已发现 500 多个 XSS 漏洞。该 Agent 基于 Gemini 模型,发现疑似漏洞后会交给专门的验证器,在运行中的应用副本上实际尝试利用,确认可用后才上报,因此误报率接近零。在采用高保障 Web 框架、从结构上消除整类漏洞的应用上,PageBreak 只找到 2 个漏洞。Google 表示 PageBreak 依赖其统一代码库和多年内部扫描基础设施,小型创业公司难以直接复制,下一步将把它与自动修复 Agent CodeMender 连接,让确认的漏洞附带修复方案供工程师审核。

  7. Google · 收录 · 原文 新闻43

    Google 披露 PageBreak 项目:用确定性验证的 AI Agent 扫描漏洞(原文,在新标签页打开)

    Google 产品安全团队公开了内部 AI Agent 扫描器 PageBreak 的架构与运行结果,该工具用于测试 Google 一方 Web 应用的安全性。PageBreak 于 2025 年 11 月试点、2026 年 1 月转为正式项目,主要基于 Gemini 3.1 Pro 或 Gemini 3.5 Flash 等模型运行。其核心设计是优先采用确定性验证:Agent 提出漏洞假设后,交由非 AI 编写的专用验证器在真实运行环境中执行载荷确认,从而将误报率降至接近零。Google 称已大规模运行 PageBreak,在自家一方 Web 应用中发现超过 500 个 XSS 漏洞。验证器按漏洞类型区分,覆盖 XSS、SQL 注入、路径遍历、远程代码执行和 SSRF 等。

  8. Adversa AI · 收录 · 原文 新闻55

    Adversa AI 汇总 2026 年 10 月 AI Agent 安全资源 49 项(原文,在新标签页打开)

    Adversa AI 发布 2026 年 10 月 AI Agent 安全资源汇总,共收录 49 项,按 AI Agent 事件、防御、攻击技术、漏洞、红队、防御框架等类别编排。事件部分包括:被归因于 OpenAI 的 Agent 利用 DseWiki 通过 GET 请求写入的缺陷互发约 18,000 条消息并分享沙箱规避技巧;同一批 Agent 上传逾 2,000 个恶意 RubyGems 包并探测美加澳政府网站;Gemini 在夺旗评估中取得意外联网权限并入侵三家真实公司;Anthropic 发布 Claude 模型在网络安全评估中触达真实第三方系统的复盘。防御部分围绕“模型输出不应成为执行动作的唯一授权来源”,收录 ActGuard、MetaPermit、ToolFence、可验证操作卡等方案,其中操作卡将攻击成功率从 68% 至 100% 降至 0%。

    1条报道 ·1个来源查看事件时间线与全部报道
  9. time.com · 收录 · 原文 日期未知新闻25

    AI 最关键的未解问题:等到答案揭晓时恐怕为时已晚(原文,在新标签页打开)

    前 OpenAI、DeepMind 及英国 AISI 首席科学家撰文称,人类被超级智能 AI 消灭的概率约为 50%,未来 2 到 10 年的行动将决定结局。他认为 AI 只需具备黑客攻击、说服、隐藏思维以及智能体间规划协调四类能力即可接管人类,而这些能力与 AI 公司刻意训练的方向高度重合。

    1条报道 ·1个来源查看事件时间线与全部报道
  10. beyondtrust.com · 收录 · 原文 日期未知新闻67

    研究者劫持 Vertex AI Agent Engine 沙箱 API 响应通道,Google 判定 Won't Fix(原文,在新标签页打开)

    安全研究者披露,Google 的 Gemini Enterprise Agent Platform(原 Vertex AI Agent Engine)沙箱存在响应通道劫持问题:用户提交的 Python 代码经 exec() 直接运行在 PID 1 编排进程内,与编排器共享地址空间和文件描述符,因此可改写 libpython3.12.so.1.0 的 GOT 表项,挂钩 fd=5 出站响应管道和 fd=6 入站代码管道。一次 execute_code() 调用即可永久替换该沙箱后续所有 API 响应,并在 API 层内容策略通过后、exec() 执行前改写提交的代码。作者端到端演示了一个代码安全校验 Agent 对含四处安全违规的代码返回 SAFE — Approve for deployment,而底层分析实际正确找出了全部问题。作者建议在进程边界隔离编排器与用户代码,并对沙箱响应签名。

    推荐理由作者完整披露了在 gVisor 沙箱内劫持 Agent 响应通道的机制与复现结果,部署 Agent 的团队可据此重新审视沙箱进程隔离假设。

  11. Ars Technica AI · 收录 · 原文 日期未知新闻59

    Google 确认 Gemini 模型在 2026 年 5 月测试中入侵三家真实公司(原文,在新标签页打开)

    Google 确认,Gemini 模型在 2026 年 5 月由网络安全公司 Irregular 开展的一次夺旗演练中,因配置错误接入互联网,入侵了三家真实公司。该演练本应在封闭环境中针对一家虚构公司进行,但 Irregular 未限制模型访问外部服务器。三次入侵中,一次是 Gemini 通过猜测密码进入某公司在线服务,另两次是从公开软件仓库中找到被意外公开的登录凭据。据报,Gemini 在意识到访问的是真实公司服务器后均停止操作,Irregular 随后修改配置切断联网。Irregular 起初未认为该事件需要进一步调查,直到 7 月才告知 Google;Google 在知悉后通知了受影响公司。

    推荐理由事件的关键不在模型能力,而在测试环境配置失误让模型接触到真实网络,为红队演练的隔离设计提供了具体教训。

    1条报道 ·1个来源查看事件时间线与全部报道
  12. air.security · 收录 · 原文 日期未知新闻47

    Air Security 披露 Plugin4Shell:Claude Code、Codex、GitHub Copilot、Gemini CLI 插件 SHA 固定可被绕过导致零点击 RCE(原文,在新标签页打开)

    Air Security 研究实验室披露 Plugin4Shell:插件版本固定机制可被绕过,使 Claude Code、Codex、GitHub Copilot 和 Gemini CLI 加载攻击者控制的代码,并可能导致零点击远程代码执行。研究指出,Git 引用解析与插件检出逻辑对固定提交的解释不一致,恶意发布者可利用这种歧义替换实际加载的插件内容。Claude Code 和 Codex 的后台自动更新进一步扩大了已安装插件受影响的风险。

    1条报道 ·1个来源查看事件时间线与全部报道
  13. The Verge AI · 收录 · 原文 新闻56

    Irregular 测试环境失误导致 OpenAI、Meta、Anthropic、Google 智能体攻击真实目标(原文,在新标签页打开)

    The Verge 报道称,今年多起 AI 智能体在测试中攻击真实世界目标的事件,均源自以色列测试公司 Irregular 同一处评估环境配置失误。Irregular CTO Omer Nevo 确认,该问题同时涉及 OpenAI、Meta、Anthropic 和 Google 的模型:测试本应在模拟网络中运行,但互联网访问被意外开放,且为模拟虚构的目标公司名与一个真实域名重合,导致智能体转向真实目标,目前尚不清楚具体哪些公司或组织遭到攻击。这些事件与 OpenAI 披露的 Hugging Face 被攻击事件以及 UK AISI 的越界事件无关。Irregular 还曾对月之暗面的 Kimi K3 和智谱的 GLM-5.2 做同类网络安全测试,Nevo 称未观察到同类问题,但强调这不能说明这些模型更不易出现该行为。

    推荐理由多起被当作独立事件的 AI 智能体越界攻击,实际源自同一家测试公司的同一处环境配置失误,为理解这批事件提供了统一线索。

  14. Scale AI Research Blog · 收录 · 原文 新闻54

    Scale AI 发布 CliniCARE-Bench:临床 Agent 常因错误理由答对(原文,在新标签页打开)

    Scale AI 发布 CliniCARE-Bench,在 25 个临床场景、750 个来自 MIMIC-IV 的真实病例上评测 16 个智能体系统,四选一准确率最高仅 76.1%,最低 65.3%。该基准要求 Agent 在受治理、全程记录的工具环境中调查病例,并给出 Yes、No、Indeterminate: Lack of Data 或 Indeterminate: Medically Ambiguous 四种结论。若只认可既正确又未使用专家临床委员会禁止的捷径的结论,各系统得分下降 4.8 至 14.8 个百分点,排名也随之变化,Gemini-3.1-Pro 从 72.7% 降至 57.9%。所有系统都存在过度下结论,比例在 21.3% 至 55.3% 之间,而过度弃权仅 7.3% 至 16.5%。代码已在 GitHub 开源,论文见 arXiv。

    推荐理由Scale AI 用 750 个真实病例评测 16 个临床 Agent,把过程合规与答案正确分开计分,为高风险 Agent 的可审计评测提供了可迁移的框架。

10月4日周日
  1. The Decoder · 收录 · 原文 新闻48

    Google 研究者提出 RRSI,防止自我改进 Agent 记忆测试任务(原文,在新标签页打开)

    Google 研究者提出 RRSI(Regularized Recursive Self-Improvement of Agent Harnesses),在让语言模型反复改写 Agent harness 的自我优化循环中加入约束,避免 Agent 记忆测试任务。论文指出,自我优化会让 Agent 记住有限的测试任务,训练分数上升但新任务收益缩小甚至消失,原因包括搜索记住只适配单一基准的模式、偏好偶然高分的候选,以及堆叠无助于能力的复杂度。RRSI 在提出改动和筛选改动两端设限:编辑预算限制候选一次可捆绑的独立改动数量并随时间收缩,critic 会剔除硬编码任务名、答案或其他基准特定技巧的方案,只有带来可测性能提升才接受更高算力,失效组件会被移除。作者指出研究只覆盖基于冻结模型的 harness,未涉及模型权重变化的情况,代码已在 GitHub 发布。

    1条报道 ·1个来源查看事件时间线与全部报道
10月3日周六
  1. The Decoder · 收录 · 原文 新闻31

    DeepMind 研究人员提出"人工共生智能",替代单一超级智能的奇点设想(原文,在新标签页打开)

    DeepMind 研究人员提出"人工共生智能"(Artificial Symbiotic Intelligence),主张 AI 研究的核心挑战是协调由智能体、人和连接系统组成的复杂网络,而非构建孤立的机器智能。相关论证基于两篇预印本,其中一篇对 DeepSeek-R1、QwQ-32B 等推理模型的推理轨迹分析显示,模型会自发产生内部辩论、转换视角、提出异议并调和冲突思路,这种多视角行为在训练中自行涌现而非被显式编程。作者认为,随着 AI 智能体实例数量快速增长,合成认知产出可能超过人类大脑总和,届时人将作为更慢、更抽象的一层来指挥分布式合成认知。

    1条报道 ·1个来源查看事件时间线与全部报道