跳到正文

#多模态

今天还没有收录新动态
9月25日周五
9月23日周三
9月15日周二
  1. MITRE ATLAS 数据发布 ·

    MITRE ATLAS 发布 v2026.09 数据更新，新增多项 Agent 与多模态攻击技术

    MITRE ATLAS 发布 v2026.09 数据版本，包含 1 个矩阵、16 项战术、120 项技术、88 项子技术、40 项缓解措施和 73 个案例研究。新增技术涵盖多模态输入中的触发器、AI Agent 响应偏置、伪造 AI 助手链接、配置错误或公开暴露的 AI 服务、发现 AI Agent 运行时能力、AI 定向隐蔽以及针对 AI 基础设施的主动扫描等。更新了 LLM 提示混淆、间接 LLM 提示注入、LLM 越狱、LLM 响应渲染和 AI Agent 点击诱饵等技术。缓解措施新增 AI 蜜罐，更新生成式 AI 护栏。

  2. Microsoft On the Issues ·

    微软启动 Check. Recheck. Vote. 计划，帮助选民应对 AI 生成的选举信息

    微软在 2026 年中期选举前推出选民教育计划 Check. Recheck. Vote. 的新阶段，帮助选民识别 AI 生成选举信息中的风险。该计划要求选民核查 AI 答案的来源与引用、通过原始来源复核关键细节，并依据州或地方选举官网的当前信息投票。微软同时与 NASS、NASED 合作将计划推广至全美五十州及属地，并与 iCivics 合作推出 Minecraft Education 公民学习体验 Village Square。

8月12日周三
  1. Google DeepMind ·

    Google DeepMind 将手语到文本模型 SL2T 带入 Gboard 与 Live Transcribe

    Google DeepMind 推出手语到文本（SL2T）翻译模型，并首次将其落地消费级产品——Pixel 11 上的 Gboard 与 Live Transcribe，首发支持美国手语（ASL）转英语听写。该模型基于超 100,000 小时、覆盖 50 多种手语的数据训练，其中约四分之一为 ASL，联合训练使其优于单语模型，并在未见过的数据上取得 70 BLEURT 的零样本成绩。它把手语视为手势坐标序列而非摄像头画面，由端侧 MediaPipe Holistic 提取姿态地标后再送服务器翻译，跳过 gloss 中间标注，从而摆脱人工词汇表限制。

7月30日周四
  1. Google DeepMind ·

    Google DeepMind 发布 Gemini Robotics ER 2，升级视频理解、任务编排与多机器人协作

    Google DeepMind 发布具身推理模型 Gemini Robotics ER 2，作为机器人的高层大脑负责对话、物理世界理解和多步任务规划，并将电机执行交给底层 VLA 模型。相比 ER 1.6，它在实时 VLA、仿真 VLA 和人类遥操作三种模式下均提升了工具编排表现，进度分类准确率达 57.4%，并新增连续视频流下的进度追踪和多机器人协作。该模型通过 Gemini API、Google AI Studio 公开提供给开发者，并在 Gemini Enterprise Agent Platform 私有预览，集成 Gemini Live API 的双向流式端点以减少延迟停顿。

7月28日周二
  1. Google DeepMind ·

    Google DeepMind 发布 Gemini Robotics 2，带来机器人全身智能

    Google DeepMind 推出 Gemini Robotics 2，作为新一代机器人的智能层，实现全身控制、高级灵巧操作和多机协作。该系列含三款模型：视觉-语言-行动模型 Gemini Robotics 2 可控制从脚到指尖的人形及双臂机器人，具身推理模型 Gemini Robotics ER 2 负责规划数分钟的多步任务并让人机沟通，端侧模型 Gemini Robotics On-Device 2 可在设备本地运行并在几小时内适应全新机体。其中 ER 2 已在 Google AI Studio 开放，并于 Gemini Enterprise Agent Platform 私人预览，另两款面向早期访问伙伴。

7月24日周五
  1. Microsoft PyRIT 版本发布 ·

    Microsoft PyRIT v1.0.0 发布：确立 v1 架构并引入破坏性变更

    Microsoft PyRIT 发布 v1.0.0，确立场景、攻击技术、执行器、注册表、标识符与记忆的 v1 架构，并包含有意的破坏性变更。场景策略更名为 techniques，组件构建统一走 BuildableRegistry，PromptConverter 改为 Converter，会话状态从 MessagePiece 迁至新的 Conversation 模型，0.15 及此前弃用的兼容层被移除。

7月1日周三
  1. Google DeepMind ·

    Google DeepMind 发布 Nano Banana 2 Lite 图像模型与 Gemini Omni Flash

    Google DeepMind 面向开发者推出 Nano Banana 2 Lite（gemini-3.1-flash-lite-image）与视频生成及对话式编辑模型 Gemini Omni Flash（gemini-omni-flash-preview）。前者主打速度与成本，文本生图延迟 4 秒、$0.034/1K 分辨率图像，建议替代 gemini-2.5-flash-image；后者原生支持文本、图像、视频输入的对话式视频编辑，两者均已在 Google AI Studio、Gemini API 提供，Omni Flash 处于公开预览阶段并同步登陆 Gemini App 与 Google Flow。

5月18日周一
  1. Google DeepMind ·

    Google DeepMind 推出 Gemini Omni，首款模型 Gemini Omni Flash 可将任意输入转为视频

    Google DeepMind 推出新一代模型家族 Gemini Omni，首个成员 Gemini Omni Flash 今日面向全球所有 Google AI Plus、Pro 和 Ultra 订阅用户在 Gemini App 及 Google Flow 开放，可从图像、音频、视频和文本的组合输入生成高质量视频并对话式剪辑。 该模型基于 Gemini 的原生多模态与世界知识进行推理，具备更强的重力、动能、流体动力学直觉，能跨轮次精修环境、角度、风格且角色一致；同时可通过 Avatar 用自己的声音创建数字分身，全部产出带不可察觉的 SynthID 水印，目前仅支持语音参考作为音频输入，图像与音频输出模态将陆续加入。

5月17日周日
  1. Google DeepMind ·

    Google 扩大 SynthID 与水印溯源覆盖 Search、Gemini、Chrome 及 Cloud

    Google DeepMind 将 SynthID 合成内容检测扩展到 Search 和 Chrome，并新增基于 C2PA Content Credentials 的来源查验，此前该能力已在 Gemini App 中被调用 5000 万次。SynthID 已将超过 1000 亿张图片和视频以及 60000 年时长音频加水印，Pixel 8、9、10 将在未来数周内获得原生相机视频凭证。

5月16日周六
  1. Google DeepMind ·

    Google DeepMind 与新加坡达成国家 AI 合作，推进医疗、教育与科研

    Google DeepMind 启动新一轮国家 AI 合作伙伴计划，与新加坡政府及多家机构共建面向公共部门转型、商业增长与劳动力升级的项目。双方将前沿 AI 应用于医疗健康与生命科学——包括探索 AI 辅助临床医生协作模式、借助 AlphaFold 与 Google Earth 加速东南亚疫情防范研究，并向当地研究者培训基于 Co-Scientist 构建的 Hypothesis Generation 等智能体化科研工具。教育方面向中小学至初级学院全体教师提供 Gemini for Education 并配套培训，同时在新加坡落地亚太区"AI for the Planet"加速器扶持气候科技团队。

4月30日周四
  1. Google DeepMind ·

    Google DeepMind 启动 AI co-clinician 医疗研究计划

    Google DeepMind 发起 AI co-clinician 研究计划，探索 AI 作为临床团队成员在医生监督下协助患者诊疗。该系统基于 Gemini 与 Project Astra 的多模态实时音视频能力模拟远程医疗通话，并在盲评中优于主流证据合成工具——98 个初级保健查询中有 97 个无严重错误，开放式用药问答表现超过现有前沿模型。

4月13日周一
  1. Google DeepMind ·

    Google DeepMind 推出 Gemini Robotics-ER 1.6，强化具身推理能力

    Google DeepMind 发布 Gemini Robotics-ER 1.6，这款以推理为先的机器人模型在空间推理与多视角理解上显著增强，可原生调用 Google Search、VLA 等工具。相比 Gemini Robotics-ER 1.5 和 Gemini 3.0 Flash，其在指向、计数、成功检测等空间与物理推理任务上明显提升，并新增仪表读数能力，可读取压力表、视镜等设备，该用例来自与 Boston Dynamics 的合作。模型即日起通过 Gemini API 和 Google AI Studio 向开发者开放。

2月17日周二
  1. Microsoft PyRIT 版本发布 ·

    Microsoft PyRIT v0.11.0 发布：新增 WebSocketCopilotTarget 与 30 个越狱模板

    Microsoft PyRIT 发布 v0.11.0，破坏性变更将攻击与执行器从 SeedPromptGroup 改为基于 Message 运行，并重命名场景配置 API。该版本新增 WebSocketCopilotTarget，可通过 WebSocket 向 Microsoft Copilot 发送提示词执行，同时加入图像下载支持的 ImageTarget 重构及 OpenAIImageTarget 的图像编辑/混合功能。

1月29日周四
  1. NVIDIA 技术博客：可信 AI 与网络安全 ·

    NVIDIA：为视觉语言模型更新分类器规避方法

    NVIDIA 技术博客发布《为视觉语言模型更新分类器规避》，围绕视觉语言模型（VLM）的分类器规避方法更新展开。文中指出，Transformer 多模态模型能在同一上下文中处理多种数据形式，VLM 可基于图像与文本的组合输入生成输出，让开发者构建解读图表、处理摄像头画面，或通过桌面等传统人类界面操作的系统。

12月15日周一
11月29日周六
  1. Goodfire Research ·

    Goodfire 推出 Paint With Ember：用扩散模型潜空间概念作画

    Goodfire Research 发布 Paint With Ember，用画布取代提示词框，直接操控图像模型内部激活来编辑和生成图像。该工具基于 3.5B 参数的 Stable Diffusion XL-Turbo，针对其 UNet 的 block down.2.1 层训练 BatchTopK SAE 分解 16x16 patch 的潜向量，再用非负矩阵分解（NMF）把细粒度特征聚合成可操作的高层概念单元。用户可绘画添加物体、拖动概念、调整语义权重或修改主体动作，公开版应用与开源 SAE 解释器模型均已开放。

9月10日周三
  1. Google Security Blog ·

    Google Pixel 10 如何在 Android 上用 C2PA Content Credentials 提升图像可信度

    Google 在 Made by Google 2025 上宣布 Pixel 10 手机将在 Pixel Camera 和 Google Photos 中支持 C2PA Content Credentials，Pixel 10 系列成为首个由 Pixel Camera 拍摄的每一张照片都内置该凭证的产品线。其实现基于 Tensor G5、Titan M2 安全芯片及 Android 硬件级安全 API，并采用隐私设计管理证书，使图片之间及其创作者无法相互关联。Pixel Camera 达到 C2PA 合规计划目前定义的最高安全等级 Assurance Level 2，移动应用获此评级当前仅限 Android 平台。

8月8日周五
  1. NVIDIA 技术博客：可信 AI 与网络安全 ·

    NVIDIA AI Red Team：黑客如何利用 AI 的问题解决本能

    多模态 AI 模型正从感知走向推理、甚至开始自主行动，随之出现新的攻击面：这些威胁不只针对输入输出，而是利用 AI 跨模态处理、综合与推理的方式。NVIDIA AI Red Team 会在攻击者之前发现并测试这类漏洞，此前已开展语义提示注入（semantic prompt injection）研究。

8月1日周五
  1. NVIDIA 技术博客：可信 AI 与网络安全 ·

    保障智能体 AI 安全：语义提示注入如何绕过 AI 护栏

    语义提示注入能够绕过 AI 护栏，成为智能体 AI 面临的新安全威胁。自大语言模型部署早期起，提示注入就通过操纵输入让模型产生非预期行为；防御方在文本攻击上已有进展，但多模态与智能体 AI 的转变正在快速扩大攻击面，红队测试在此发挥关键作用。

已经到底了