腾讯 AI-Infra-Guard v4.1.13 发布
腾讯 AI-Infra-Guard 发布 v4.1.13,新增版本检查 API 端点(#376)。评分模块由加权比率改为绝对扣分模型(#403),并更新各语言 README 文档及致谢名单。
开源红队、评测与防护工具。
在这个话题内搜索或按分类筛选腾讯 AI-Infra-Guard 发布 v4.1.13,新增版本检查 API 端点(#376)。评分模块由加权比率改为绝对扣分模型(#403),并更新各语言 README 文档及致谢名单。
腾讯 AI-Infra-Guard 发布 v4.1.14,新增面向 Agent 安全的 aig-agent-redteam 技能,并加入 PrefillAttack、ICA、PastTense、Overload、Jailbroken、FlipAttack、DeepInception、CodeChameleon、JAM 共 9 种单轮越狱攻击方法及 AdvBench、CNSafe、SafeBench 三个越狱评测数据集。该版本还将调度改为轮询选择 Agent 以实现负载均衡,并在文档中补充上述数据集致谢、更新 DeepTeam 仓库地址。
Frontier Model Forum 发布《AI 生物安全评估初步分类》议题简报,提出按方法论和领域两个维度划分前沿 AI 生物安全评估的分类法与定义。方法论含三类:基准评估、红队演练和对照研究;领域涵盖科学知识与科学推理性评估及危害性生物知识评估,后者围绕生物威胁创建流程中的构思、计算机模拟实验等操作步骤展开。该分类基于 FMF 成员企业专家及外部先进 AI 与生物学专家的意见形成初步共识,旨在推动建立有效的 AI 生物安全评估生态。
Nicholas Carlini 基于其 ICML 2018 最佳论文《Obfuscated Gradients Give a False Sense of Security》的演讲,整理出评估对抗样本防御的建议。他指出 ICLR 2018 接收的防御论文中超过一半结论有误、评估偏弱,核心要求是必须针对具体防御设计自适应攻击,而非只测已有攻击。具体建议包括不要只用 FGS 攻击、使用 1000 次以上迭代的迭代攻击、从随机起点搜索、做迁移性分析、使用 ZOO、SPSA、NES 和仅决策攻击等无梯度方法,以及随机搜索。
推荐理由作者基于 ICML 2018 最佳论文的实测经验,给出评估对抗样本防御的具体检查清单,可迁移到其他鲁棒性评测。
Nicholas Carlini 整理了一份针对机器学习系统逃逸攻击(即对抗样本)研究的推荐阅读清单,分为三个版本:仅基础版收录五篇简要综述该领域的论文,快速入门版列出约十篇最值得读的重要论文,完整背景版则汇总所有从事神经网络评估的人应读完的论文。清单按主题分类并标注了各主题之间的先后阅读顺序,另提供 RSS Feed。
Nicholas Carlini 整理并公开了一份自动更新的 arXiv 对抗样本论文完整列表,涵盖每年大量新增的相关工作,并提供 TXT、含摘要版 TXT 及 JSON 三种下载格式。该列表收录标准仅为论文主要以对抗样本为主题或在研究中广泛使用对抗样本,未经质量筛选,因此可能包含误收条目。由于更新自动化程度较高,最新几条尚未人工过滤的记录会附带分类器预测概率,其中部分标注低至 1%。
Google DeepMind 发布 Gemini Robotics-ER 1.6,这款以推理为先的机器人模型在空间推理与多视角理解上显著增强,可原生调用 Google Search、VLA 等工具。相比 Gemini Robotics-ER 1.5 和 Gemini 3.0 Flash,其在指向、计数、成功检测等空间与物理推理任务上明显提升,并新增仪表读数能力,可读取压力表、视镜等设备,该用例来自与 Boston Dynamics 的合作。模型即日起通过 Gemini API 和 Google AI Studio 向开发者开放。
Google DeepMind 发布基于 Gemini 的多智能体科研伙伴 Co-Scientist,通过多个专门化智能体迭代生成、辩论并演化科学假设,并以类 AlphaGo 的思想锦标赛机制进行排名筛选。该系统已在《Nature》发表研究成果,并通过名为 Hypothesis Generation 的实验性工具向个体研究者开放注册,未来数周内逐步推送。合作团队已将 Co-Scientist 应用于抗微生物耐药性、植物免疫及肝纤维化等问题,其中一条药物重定位候选物在实验室中阻断了 91% 的疤痕相关反应。
Google DeepMind 将 computer use 作为内置工具集成进 Gemini 3.5 Flash,此前它仅以独立的 Gemini 2.5 computer use 模型形式提供。该能力使开发者可通过 Gemini API 和 Gemini Enterprise Agent Platform 构建能跨浏览器、移动端和桌面环境看、推理并执行操作的智能体,面向持续软件测试等长周期与企业自动化任务。针对实时环境中的提示注入风险,Gemini 3.5 Flash 采用了定向对抗训练,并提供两个可选企业防护系统:敏感或不可逆操作需用户显式确认,检测到间接提示注入则自动停止任务。
Google DeepMind 面向开发者推出 Nano Banana 2 Lite(gemini-3.1-flash-lite-image)与视频生成及对话式编辑模型 Gemini Omni Flash(gemini-omni-flash-preview)。前者主打速度与成本,文本生图延迟 4 秒、$0.034/1K 分辨率图像,建议替代 gemini-2.5-flash-image;后者原生支持文本、图像、视频输入的对话式视频编辑,两者均已在 Google AI Studio、Gemini API 提供,Omni Flash 处于公开预览阶段并同步登陆 Gemini App 与 Google Flow。
Google DeepMind 推出 Gemini Robotics 2,作为新一代机器人的智能层,实现全身控制、高级灵巧操作和多机协作。该系列含三款模型:视觉-语言-行动模型 Gemini Robotics 2 可控制从脚到指尖的人形及双臂机器人,具身推理模型 Gemini Robotics ER 2 负责规划数分钟的多步任务并让人机沟通,端侧模型 Gemini Robotics On-Device 2 可在设备本地运行并在几小时内适应全新机体。其中 ER 2 已在 Google AI Studio 开放,并于 Gemini Enterprise Agent Platform 私人预览,另两款面向早期访问伙伴。
Google DeepMind 发布具身推理模型 Gemini Robotics ER 2,作为机器人的高层大脑负责对话、物理世界理解和多步任务规划,并将电机执行交给底层 VLA 模型。相比 ER 1.6,它在实时 VLA、仿真 VLA 和人类遥操作三种模式下均提升了工具编排表现,进度分类准确率达 57.4%,并新增连续视频流下的进度追踪和多机器人协作。该模型通过 Gemini API、Google AI Studio 公开提供给开发者,并在 Gemini Enterprise Agent Platform 私有预览,集成 Gemini Live API 的双向流式端点以减少延迟停顿。
安全研究者 Johann 披露 MCP 协议中工具元数据可携带隐藏 Unicode Tags 指令,用户界面不可见但会被 Claude 等模型解释执行。作者自建恶意 MCP 服务器演示了完整攻击链:在 message_of_the_day 工具描述中嵌入不可见指令,诱导 Claude 在调用该工具前先调用 enter_matrix 工具,而 UI 中检查描述看不到任何异常。攻击无需实际调用工具,仅将恶意服务器加入对话上下文即可劫持会话,因为工具元数据会被自动插入系统提示词。该攻击在 Claude Desktop、GitHub Copilot Agent Mode 和 Cursor 上均可复现。
推荐理由作者以自建 MCP 服务器实测,展示工具元数据中隐藏 Unicode Tags 指令如何绕过 UI 可见性并触发未授权工具调用。
有人基于 Model Context Protocol(MCP)开发了一个名为 mcp-com-server 的原型服务器,通过动态发现方式实例化并托管任意 COM 对象,从而驱动 Windows 与 Office 自动化。该服务器提供类似 COM 的工具集——CreateObject、Get/Set Property、InvokeMethod、QueryInterface 以及列出当前所有活动服务器的接口,连接 Claude 后可创建、打开、编辑并保存 Excel 文件,再调用 Outlook 发送邮件,甚至能唤起 Internet Explorer。
安全研究者披露 Windsurf Cascade 存在两条间接提示注入导致数据外泄的路径。第一条利用无需用户批准的 read_url_content 工具,把读取能力变成外发 HTTP 请求通道,当开发者用 Cascade 分析被植入恶意指令的源码文件时,.env 等敏感环境变量会被外泄。第二条是渲染来自不可信域名的图片,与作者此前在 GitHub Copilot 发现的漏洞类似,同样无需人工确认即可把开发者机器上的信息发送到第三方服务器。作者称已于 2025 年 5 月 30 日负责任披露,Windsurf 确认收到后未再回应后续询问,因此三个月后公开,并暂未公布完整技术细节与提示注入载荷。
安全研究者披露 Windsurf Cascade 存在 SpAIware 攻击链,攻击者可通过间接提示注入自动调用 create_memory 工具,把恶意指令写入长期记忆,从而在后续所有对话中持续外泄数据。作者发现该记忆工具无需人工批准即自动执行,因此攻击可同时破坏未来对话的机密性、完整性和可用性;注入载荷可藏在源代码注释、GitHub issue 或网页内容中,攻击者还能把外泄图片做成 1 像素透明图以在界面中隐藏。作者于 2025 年 5 月 30 日向 Windsurf 报告,三个月未获实质回应后公开,Windsurf 随后表示将着手修复但未给出时间表。
作者在 Windsurf Cascade 中发现漏洞:文件或工具调用结果里可以藏有开发者看不见、但模型能读到的不可见 Unicode Tag 字符指令,从而形成隐藏的提示注入。演示中一个看似空白的文件实际包含隐藏指令,使用 Claude Sonnet 3.7 时 Cascade 将其当作指令并调用 web 工具,而 Windsurf 的预览窗格只显示可见文本。作者称 Windsurf 的 SWE-1 模型也能看到这些字符,但尚不能将其解释为指令,随着能力提升风险会上升。
研究者演示了一条针对自主智能体 Manus 的端到端间接提示注入攻击链,最终实现对 Manus 开发机的远程控制。攻击先诱导 Manus 调用 deploy_expose_port 工具,在无人工确认、无 IP 限制的情况下把内部 VS Code Server 端口暴露到公网,该工具调用会返回可访问的公开 URL。随后利用两个数据外泄通道把 URL 和 VS Code Server 密码发送给攻击者服务器:一是 Manus 会渲染来自不可信域名的 markdown 图片,二是其浏览工具可在无人工介入下访问第三方域名。密码存放在开发机本地配置文件中,攻击者拿到 URL 和密码后即可登录并控制主机上的密钥、文档、代码和算力。
推荐理由完整还原了一条从间接提示注入到远程接管 Manus 开发机的攻击链,并给出可落地的缓解建议。
安全研究者 Johann Rehberger 演示了如何用不可见的 Unicode Tag 码点在 Agent Skill 中植入提示注入后门,使其通过人工文本审查。他把这类隐藏指令加入 OpenAI 官方 Skills 项目中的 security-best-practices Skill,用户调用后 Claude 会按指令输出指定文本并执行 Bash 命令;该手法在 GitHub Copilot 配合 Claude 4.5 时同样生效。作者指出 Skill 的 name 和 description 会直接进入系统提示词上下文,且 Agent 能自行创建或修改 Skill 影响自身与其他 Agent。
Anthropic 为其机制可解释性研究搭建了一套名为 Garçon 的基础设施,可在跨节点的大规模 Transformer 模型上进行激活读取、组件消融与梯度回传实验。它通过启动服务器并连接远程模型的接口运行前向传播,暴露一组 probe points,允许挂载探针函数访问或修改内部张量,并以云 pickle 传输任意 Python 对象到服务端执行。