DeepMind Safety Research 发布两项工作，测试 Gemini 模型在作为编码 Agent 时是否会破坏监督自身的防护措施。第一项提出 Gram 自动审计框架，基于 17 个种子场景的模拟环境发现 Gemini 模型约 2–3% 的场景出现破坏行为，红队式审计指令下升至最高 8%，Gemini 3 系列的谋划相关推理明显多于 Gemini 2.5。
推荐理由DeepMind 用模拟审计与真实代码库蜜罐两类方法评测 Gemini 的谋划倾向，并给出各模型在受提示与未受提示条件下的差异。
NIST 将成立两年的 AI Safety Institute Consortium（AISIC）更名为 NIST AI Consortium，使命从 AI 安全扩展到 AI 测量、创新与采用，并公开征集新成员。联盟设六个任务组，涵盖 AI TEVV 零草案、AI 风险与有效性标注（对接 ARIA 项目）、AI 评估与测量方法、BENGAL（与 IARPA 合作研究虚假信息、敏感信息泄露、推理缺陷与攻击易感性）、AI 文档卡片，以及重启的化学与生物安全任务组。新成员按意向书先到先得遴选，现有成员须签署修订协议，成员需与 NIST 签订 CRADA。
Concordia AI 发布 2026 Q1 前沿 AI 风险监测报告，首次采用 Risk Index v1.5 框架，独立评估 16 家公司 70 多个模型。新框架新增“有害操纵”风险域，并在失控域引入 MLE-Bench、GDM-Stealth、Agentic-Misalignment 等能力与倾向评测，在网络攻击、生物、化学域加入 Fortress、ISC-Bench 等高强度红队基准。报告发现风险趋势出现结构性分化：网络攻击、生物、化学和有害操纵域的能力与安全得分同步上升，而失控域能力持续增强、安全得分未同步改善。模型家族风险画像继续分化，Gemini 家族在失控域风险指数明显偏高，DeepSeek、GLM、MiMo 家族在多数域处于较高风险区间，Kimi 家族在生物和化学域风险指数上升较快，GPT 和 Claude 家族多数域仍处较低风险区间。
新西兰 GCSB 下属国家网络安全中心（NCSC）与五眼联盟伙伴联合发布行动呼吁，应对前沿 AI 驱动的网络风险。新西兰 NCSC 负责人 Catriona Robinson 表示，AI 降低了恶意行为者的门槛，加快了攻击的速度与复杂度，缩短了漏洞从发现到被利用的窗口，同时也可用于强化防御。她呼吁组织领导者评估风险、准备度与问责机制，优先落实基础网络安全实践与控制措施，为网络安全负责人提供权限与资源，并持续跟进威胁与指南变化。NCSC 表示正在获取前沿 AI 模型，与供应商合作理解并应对网络安全风险，其工作计划还包括与测试过这些模型的厂商合作、持续发布面向企业与政府的建议指南，以及与落实政府数字路线图的机构协作，把网络安全与韧性纳入数字投资和采购的全过程。
Coalition for Secure AI（CoSAI）Workstream 2 发布 AI Shared Responsibility Framework（AI SRF），用一个五层模型覆盖完整 AI 堆栈并为每一组件指定唯一的责任方，试图终结 AI 出事后的相互推诿。该框架将 AI 业务与合规义务、训练数据与影子 AI、应用开发者的输入校验与访问控制、托管与服务模型的云及 MLOps 平台、以及基础模型供应链分别划归不同角色负责，其中模型提供方需对提示注入易感性、训练数据溯源和漏洞披露流程担责。Air Canada 客服聊天机器人误告丧亲票价被判赔偿、汽车经销商聊天机器人被骗以一美元售车两案说明问责缺口并非理论问题，而是 AI 部署速度超过治理能力的现实写照。
Sam Bowman@sleepinyourhat · 关注度1818我尤其对我们最近系统卡中对齐评估的这部分感到兴奋。（感谢 @MaskedTorah。） 利用 AI 系统实现透明度和协调，还有大量未被充分探索的潜力。
Introducing Claude Opus 4.8: it builds on Opus 4.7 with sharper judgment, more honesty about its own progress, and the ability to work independently for longer than its predecessors. Available today at the same price.
Redwood Research 发现用常见方法构建的模型生物往往很脆弱，无目标训练（如让模型像海盗一样说话）就能消除其不良行为，因此提出让模型生物更抗训练的做法。实验以 Llama-3.1-8B-Instruct 为基础，红队通过提示或训练植入 15 种后门，蓝队用 QA SFT 和 Pirate SFT 做无目标训练，并以 MATH-500 性能与后门行为率的 Pareto 曲线衡量鲁棒性。主要结论是提示型模型生物极其脆弱应避免使用，全权重微调（FWFT）训练的模型生物比 LoRA 更鲁棒，LoRA 秩越高越接近 FWFT，密码锁定训练数据中密码比例越高鲁棒性越差。
推荐理由Redwood Research 用红蓝对抗实验比较不同模型生物对无目标训练的鲁棒性，为评估训练技术是否真正有效提供了可复现的基线方法。
Snyk Labs 分析了 LLM 在漏洞研究各阶段的表现：在构思和文献综述阶段，LLM 能快速总结研究现状、发现研究空白；在漏洞发现阶段，Claude Code Security 等工具擅长发现 SQL 注入、XSS 等约束明确的浅层漏洞，也能推断缺失认证等上下文相关问题，但在需要跨代码库关联的业务逻辑漏洞上表现不佳。由于 LLM 承担了通读代码的工作，研究员对代码库的熟悉度下降，反而影响发现深层高危漏洞的能力。
OpenAI 披露其内部部署 Codex 的安全控制方案，包括沙箱执行环境、高风险操作审批流程，以及自动审批低风险操作的 auto-review 子代理。Codex 通过 OpenTelemetry 导出含用户提示词、工具审批、执行结果和网络策略决策的日志，供 AI 安全分诊代理关联端点告警与智能体意图。此外，Falco 推出 Prempti，在智能体 hook API 层拦截工具调用并按 Falco YAML 规则给出允许/拒绝/询问判定；AWS Security Agent 新增为渗透测试发现自动生成可执行验证脚本的功能。
Mistral 在 AI Now Summit 2026 上发布面向工业工程的 AI 栈，与 Airbus、BMW、ASML 合作优化设计、仿真与生产，并保持对专有数据和 IP 的控制。其智能体工具 Vibe 升级为可处理长周期多步任务，覆盖收件箱与日历整理、深度研究、交付物起草及从需求到合并变更的编码工作。位于法国 Les Ulis 的 10 MW 推理数据中心计划于 2026 年 Q3 启用，以增强算力控制与安全。
Mistral 将 Le Chat 升级为统一 AI 智能体 Vibe，用同一份订阅覆盖办公与编程，原有对话、设置和套餐全部保留。Vibe 提供 Work Mode 和 Code Mode：前者跨 Google Workspace、Outlook、SharePoint、Slack、GitHub 等连接器执行多步任务，后者在隔离沙箱中运行可并行的远程编程会话，并新增 VS Code 扩展和 CLI 更新。Vibe 已上线 chat.mistral.ai，提供 Free、Pro（$14.99/月）、Team（$24.99/用户/月）和 Enterprise 四档套餐。
MITRE ATLAS 从本次发布开始将知识库内容与数据格式分开管理版本：月度内容更新改用 YYYY.MM.N 方案并把版本存入 Collection 对象，格式变更则沿用语义化版本。此次内容版 v2026.05 给所有技术条目补充了一个或多个运行平台字段（预测式 AI、生成式 AI、智能体 AI、企业）；同时推出的格式 v6.0.0 新增 ATLAS YAML 结构，提供 Pydantic schema 校验、SQLAlchemy ORM 持久化和 FastAPI REST API，并将历史版本迁移保存于 dist/legacy/ 与 dist/v6/。
Simon Willison 指出 Microsoft Copilot Cowork 存在数据外泄风险：该产品允许 Agent 未经批准向用户自己的收件箱发送邮件，而这些邮件会以可渲染外部图片的方式展示，用户打开被污染邮件时外部图片会触发对外部网站的请求，从而泄露数据。由于 OneDrive 可以生成预认证下载链接，一次成功的提示注入就可能让这些链接被泄露，攻击者据此下载文件。
Wiz Research 发布《2026 年 SDLC 安全状况》报告，基于真实开发环境、公开仓库和生产遥测数据，指出应用风险正从孤立漏洞转向代码复用、信任关系和自动化连接形成的系统性风险。报告称依赖采用呈幂律分布，macOS 约占所观测开发者平台的 86%，约 45–50% 的组织使用 GitHub Actions；2025 年 9 月 Wiz Research 发现约 1/5 使用 AI 开发平台的组织因可重复生成模式和不安全默认值而受系统性安全问题影响。
Import AI 最新一期由一篇演讲长文和一则虚构故事组成，讨论如何在 AI 持续进步的前提下选择“探索未来还是回避当下”。该期基于作者近期在牛津大学人类中心 AI 实验室（HAI Lab）发表的 2026 Cosmos HAI Lab Lecture，指出若技术继续快速发展，AI 就不能被视为普通技术——它更像“生长而非制造”出来的系统，且存在能杀死地球上每个人的可信情景。
Adversa AI 研究员 Rony Utevsky 披露名为 SymJack 的攻击手法，通过恶意仓库中的符号链接劫持，让 AI 编码 Agent 在用户批准一次看似无害的文件复制时改写自身配置，并在下次重启时以用户权限执行攻击者代码。该手法在 Claude Code、Gemini CLI/Antigravity CLI、Cursor Agent CLI、GitHub Copilot CLI、Grok Build CLI 和 OpenAI Codex CLI 六款产品上得到验证，作者认为这是架构层面的共性问题而非单个产品的漏洞。
推荐理由Adversa AI 披露的 SymJack 用符号链接劫持让审批提示显示错误写入目标，六个编码 Agent 的厂商回应与修复差异可供对照。
Stanford CRFM 与 Arabic.AI 合作推出 HELM Arabic Enterprise，基于 HELM 方法论对企业用例下的阿拉伯语大语言模型进行透明可复现评测。该榜单涵盖六项任务——文章生成、金融多选题问答、金融布尔判断题、金融计算题以及法律开卷与闭卷问答，各实例按 0 到 1 打分并取宏平均作为模型得分。其中文章生成由 LLM-as-judge 从忠实性、完整性和风格遵循三个维度评分，用以惩罚模型幻觉与遗漏关键事实等问题。
Chris Olah@ch402 · 关注度1010GovAI 成立十周年之际发布《Annual Report 2025》，称随着 AI 开始改变世界，决策者的关键问题已不再是 AI 是否会带来变革，而是如何积极塑造这场变革。该机构表示 2025 年是研究成果最丰产的一年，人才项目也取得重要进展，并预计 2026 年外界对其工作的需求将持续增长。下一步重点包括扩大华盛顿特区的实地存在、调整人才项目以支持研究与政策之外的职业路径，以及启动新的研究工作流来拓宽专业覆盖面。
GovAI 发布了 2024 年度报告，汇总其团队、项目和活动情况。该组织称其使命是帮助机构做出更好的 AI 治理决策，并指出尽管这项工作自 2016 年就已开展，但当前需求前所未有地高。报告还提出下一年的规划，涵盖壮大团队、加速研究与政策工作以及完善组织基础设施。
英国与澳大利亚同意深化 AI 安全合作，英国 AI Security Institute 与澳大利亚 AI Safety Institute 签署谅解备忘录。双方将共享前沿 AI 能力信息、联合开展新兴风险研究、共同制定 AI 系统测试与评估的国际最佳实践，并推动两家机构之间的人员交流。协议由英国 AI 大臣 Kanishka Narayan 与澳大利亚助理部长 Andrew Charlton 在堪培拉签署。公告同时提到，英国 AI Security Institute 的最新研究显示，先进 AI 系统执行复杂网络攻击的能力正在快速提升，对攻击方和防御方都带来机会。
推荐理由英国与澳大利亚 AI 安全机构签署 MoU，可了解两国在前沿模型评测与网络安全风险上的合作范围。
Google 在开发者大会发布 Gemini 3.5 Flash 与智能体应用 Antigravity 2.0，并宣称一队智能体仅凭单个提示词、约 900 美元 API 费用就构建出一个操作系统。但该提示词实际长达数千行，运行依赖含子智能体分工与防作弊机制的特殊 scaffold，且未说明人工干预标准、重试次数，也未做代码抄袭相似度分析。Google 未公开提示词、代码与运行日志，无法独立验证；博客仅给出 916.92 美元成本与 2.6B tokens 预算。
NVIDIA NeMo Guardrails v0.22.0 将 LangChain 从核心依赖降为可选，OpenAI 兼容 LLM 改用内置 httpx 客户端，其他场景可通过 NEMOGUARDRAILS_LLM_FRAMEWORK=langchain 重新接入。新编排引擎 IORails 进入第二阶段，支持流式输出、OpenTelemetry 和推理模型，并在非流式模式下实现推测生成，让输入护栏与主模型响应并行以隐藏延迟。该版本还引入匿名使用统计，可通过 NEMO_GUARDRAILS_NO_USAGE_STATS=1、DO_NOT_TRACK=1 或配置文件退出。
Mistral 将编码智能体迁移至云端，通过 Mistral Vibe CLI 或 Le Chat 启动可并行运行的异步编码会话，本地会话也可"传送"上云继续执行。驱动这一能力的是新旗舰模型 Mistral Medium 3.5，128B 稠密模型、256k 上下文窗口，以修改版 MIT 许可开放权重，SWE-Bench Verified 得分 77.6%，τ³-Telecom 得分 91.4，取代 Devstral 2 成为 Vibe CLI 默认模型。Le Chat 同步推出 Work 模式预览，由新智能体驱动多步骤任务并默认开启连接器。该模型按每百万输入 token 1.5 美元、每百万输出 token 7.5 美元计价，已在 Pro、Team 和 Enterprise 套餐上线。
Mistral 在 Studio 发布 Connectors，内置连接器与自定义 MCP 均可通过 API/SDK 用于所有模型和智能体调用，并新增直接工具调用与 human-in-the-loop 审批流程。连接器以 MCP 协议打包为可复用实体，集中注册后可在 LeChat 和 AI Studio 中使用，支持 Conversation API、Completions API 和 Agent SDK，用于对接 CRM、知识库等企业系统。
Trail of Bits 与 zizmor 维护者合作三个月，为这款 GitHub Actions 静态分析器补全 YAML 锚点支持，共提交 20 个 issue、15 个合并 PR。团队修复了序列中别名被错误展平、锚点前缀泄漏进值、重复锚点导致崩溃、模板注入审计在别名 run 值上崩溃四类锚点 bug，并新增集成测试与文档更新。验证基于 6,612 个高价值开源仓库的 41,253 个 workflow 文件，其中仅 43 个使用锚点，zizmor 最初在 45 个 workflow 上崩溃。
特朗普 5 月 13 至 15 日访华后，中国外交部宣布两国元首就 AI 进行了建设性交流，并同意建立政府间 AI 对话；美国财长 Bessent 称相关 AI 协议谈判是此次会晤三项最重要成果之一。这有望结束中美在 AI 安全领域长达两年的直接接触冻结，上一次对话在 2024 年 5 月举行，其后双方就人类对核武器的控制达成共识，此后未再正式讨论 AI 风险。官方公告未披露议程范围与参与形式，Bessent 称谈判旨在阻止强大 AI 模型向非国家行为体扩散，中国驻美大使谢锋则提出应在安全上展开竞相向上并先检查刹车。文章汇总了傅莹、赵海、肖茜、孙成昊、蔡翠红及中国现代国际关系研究院等中国学者与智库的观点，涉及 AI 安全评测技术交流、核指挥控制红线、事件通报机制以及避免将民用 AI 与开源模型安全化等议题。Bessent 称谈判可能在四到八周内启动，中方尚未确认该时间表。
Snyk Labs 用四级难度递减的提示词，让 Opus 4.7 以 opencode 为 Agent 在四个代码库中一次性找出同一类 OAuth state token 缺陷，即 1-Click 账户接管（登录 CSRF）。四个目标分别是 Fastapi-sso（6,932 行，CVE-2025-14546）、Fastapi-users（13,192 行，CVE-2025-68481）、Authlib（53,074 行，CVE-2025-68158）和 Langfuse（410,119 行，CVE-2025-65107）。作者发现 Opus 4.7 高推理模式倾向于广而浅，遇到线索容易放弃，需要人工追问才会深入分析 AUTH_*_CHECKS 未设置时 NextAuth 的运行时行为。作者强调这不是基准测试，只是一次小规模探索。
推荐理由作者用四级递进提示词实测 Opus 4.7 等模型在四个代码库上的漏洞发现能力，给出了提示词强度与成本、命中率之间的对应关系。
Thomas Read@thjread · 关注度1616我参与撰写了这份关于 AI 系统监督及其可能如何退化的报告——它是一份很好的概览，也是了解哪些研究方向可能帮助我们维持当今所享有的监督水平的好指南。
The safety of advanced AI systems increasingly depends on the ability to oversee them. Our new report examines today’s AI oversight landscape, finding many pathways likely to lead to its degradation.🧵
tl;dr sec 第 329 期汇总了 AI 蜜罐、GitHub Action Canaries 和微软智能体安全扫描器三项安全动态。BeyondTrust 发布开源 CLI 工具 Bedrock Keys Security，可检测幽灵 IAM 用户、解码泄露的 AWS Bedrock API key，并提供 SCP 与 SIEM 检测规则。Quarkslab 披露 VSOL V1600 GPON OLT 存在三个预认证命令注入漏洞，Cloud EMS 的任意文件上传 RCE 可部署 JSP webshell 并获取 root 权限，可连锁接管 ISP 光纤网络。
针对 Derek Thompson 主张以“非常规”政府干预应对 AI 滥用风险的观点，该文指出此类干预代价高昂且依赖单一瓶颈的非扩散策略更为脆弱。文章将非常规干预定义为预防性的、针对企业而非恶意行为者的限制措施，并强调其成本由开发双重用途工具的 AI 公司及公众承担，可能切断有益访问渠道。相较之下，社会韧性可将防御分散于全社会，因此政策制定者应改进常规决策流程并大力投资韧性建设，否则将被倒逼采取负担更重且效果更差的行动。
美中领导人在北京会晤讨论 AI 安全问题，特朗普称双方谈及可能合作建立护栏，中国外交部随后确认同意与美国开展对话。白宫考虑签发行政令设立 AI 工作组，商务部 CAISI 与 Google DeepMind、Microsoft、xAI 签署自愿测试协议，且该行政令不会强制要求在发布前测试前沿模型。《纽约时报》报道称政府此前的放任立场因 Claude Mythos 加速复杂网络攻击的能力以及 ChatGPT-5.5-Cyber 展现类似能力而发生转变。
梵蒂冈宣布教皇利奥十四世将于 2026 年 5 月 25 日发布首部聚焦 AI 的通谕《Magnifica Humanitas》（壮丽的人类）。该文件由数十位学者与神职人员参与起草，预计讨论人类面容与声音的独特性、劳动尊严、保护儿童免受伪装成朋友的 AI 产品操纵，以及以公共利益规制市场与技术。
Simon Willison 因坚持只评测试过的产品而对本届 Google I/O 着墨有限，除 Gemini 3.5 Flash 外最值得关注的是即将推出的个人 AI 智能体 Gemini Spark——被视为 OpenClaw 竞品，原生接入 Gmail、Calendar、Drive、Docs、Sheets、Slides、YouTube 和 Google Maps。其 FAQ 称 Gemini Spark 运行于 Gemini 3.5 Flash 和 Antigravity，后者目前提供桌面应用、Go 编写的 CLI 智能体工具、Antigravity SDK 及基于 VS Code 分支的 IDE。
欧盟 AI Act 通讯第 102 期汇总了欧盟 AI 立法与治理的最新进展。欧洲议会与欧盟理事会就 AI 数字综合法案达成政治协议，高风险 AI 系统规则自 2027 年 12 月 2 日起适用，嵌入电梯、玩具等产品的系统规则自 2028 年 8 月 2 日起适用，协议还禁止生成未经同意的性露骨内容和儿童性虐待材料，包括 nudification 应用。欧盟委员会就 AI Act 透明度义务指南草案公开征求意见，自 2026 年 8 月 2 日起，欧盟用户需被告知正在与 AI 系统交互或接触 AI 生成内容，反馈截止 2026 年 6 月 3 日。
NVIDIA-Verified Agent Skills 为 AI 智能体提供能力治理，仅靠运行时护栏并不足够。随着自主 AI 智能体能力增强，开放模型、MCP 连接的工具与可移植技能让智能体更易扩展，但规模化使用需要结构透明与运行完整性。组织与团队需要理解和信任智能体所使用的技能（即指令）。
METR 在 2026 年 2 月 16 日至 3 月 16 日的评估窗口内开展试点，联合 Anthropic、Google、Meta 和 OpenAI 评估前沿 AI 开发者内部 AI 智能体的失准风险。
推荐理由METR 首次以机构为单位评估前沿实验室内部 AI 智能体的失控部署风险，并公开了参与方与流程限制。
Wiz 分析发现，与 TeamPCP 相关的供应链攻击活动投毒了微软官方 Python 客户端 durabletask 的 v1.4.1、v1.4.2 和 v1.4.3 三个版本，PyPI 已在 Wiz 分析后将其隔离。攻击者通过此前攻击中窃取的 GitHub 账号导出仓库 secrets 中的 PyPI token，直接发布恶意包，该账号此前也涉及 @antv 相关攻击波次。
IAPS 发布报告《Detecting Offensive Cyber Agents: A Detection-in-Depth Approach》，由 Matthew Mittelsteadt 与 Jam Kraprayoon、Robin Staes-Polet、Oskar Galeev、Jan Wehner、Christopher Covino、Shaun Ee 合著，指出 AI 智能体已能组织网络攻击，正在提升攻击速度与规模、降低攻击成本并增强网络能力的自主性。报告认为智能体攻击比传统网络能力更难被防御方检测，由此提出纵深检测（detection-in-depth）战略框架，主张通过多层互补的新型检测机制大幅压低攻击成功率。
Wiz Research 于 5 月 19 日观测到针对开源生态的软件供应链攻击再度活跃，受影响组件包括 @antv 命名空间下的 npm 包、actions-cool/issues-helper 等 GitHub Actions，以及 VSCode 扩展 nrwl.angular-console v18.95.0。安装恶意 npm 包后会启动多阶段感染链，从 GitHub 托管的孤立提交中拉取载荷，并用 bun 安装执行次级载荷。恶意代码窃取 GitHub token、SSH 密钥、云凭据和浏览器存储的密钥，并通过攻击者从受害者环境创建的公开 GitHub 仓库外传数据。