Google DeepMind 的安全动态：Frontier Safety Framework、对齐研究与 Gemini 的安全评估。
在这个话题内搜索或按分类筛选Check Point 联合 Google Cloud，将 AI Defense Plane 接入 Gemini Enterprise Agent Platform，把智能体安全从访问控制扩展到结果控制。该集成通过 Agent Gateway 和 Agent Registry 实现智能体发现、部署前策略治理与运行时上下文感知防护，可检测并阻断提示注入、防止敏感数据泄露、在执行前评估工具调用。集成将于 2026 年 6 月下旬开放。
Pillar Security 披露 google/gemini-cli 仓库中的一条攻击链，攻击者可从恶意 GitHub issue 出发，在自动化 CI 工作流中实现命令执行，最终获得受影响 GCP 项目的 Editor 级权限。攻击链的关键在于工作流使用的顶层 coreTools 配置在当前 CLI（0.46.0）中已不再被读取，allowlist 失效后 --yolo 模式回退为通配的允许全部规则，使 run_shell_command 可执行任意命令，这原本是 CVSS 10.0 的 GHSA-wpqr-6v78-jr5g 试图修复的问题。Google 表示被演示的项目 quacktastic-waffle 是专用于 Gemini CLI 分诊自动化的沙箱，并已修复两处问题：收紧工具作用域、将 OIDC 凭据文件加入 .geminiignore，并把该角色限制到单个服务账号资源。
美国 AI 安全研究院（US AISI）正式以联合评审身份加入英国 AISI 智能体红队挑战赛，与英国 AISI 共同评估针对 AI 智能体失效、指令绕过、滥用风险和过度拒答的提交作品。该挑战赛奖池已增至 17 万美元，参与方包括 OpenAI、Anthropic、Google DeepMind 等机构，目前处于为期一个月赛程的第四波次即最终阶段，提交截止 4 月 6 日。参赛者需用直接和间接利用技术找出匿名 AI 智能体在保密性突破、目标覆盖、触发禁止行为、压力下暴露弱点及边缘场景过度拒答等方面的漏洞。
Gray Swan AI 在 2025 年 5 月 9 日的博客里公布与 UK AISI 合办的智能体红队挑战结果。挑战为期一个月（2025 年 3 月 8 日至 4 月 6 日），共发起 180 万次攻击尝试，社区成功攻破 6.2 万次，覆盖 22 个模型（挑战期间匿名）和 44 种有害智能体行为，奖金总额 171,800 美元。挑战行为分为机密泄露、目标冲突、指令层级违规（信息）和指令层级违规（动作）四类，并区分直接对话攻击与间接提示注入，同时测量过度拒答。161 名红队成员获奖，前 10 名获得 Gray Swan 与 UK AISI 的快速通道面试机会，前 5 名各取得 924 次唯一攻破。博客当时称完整论文与深度分析将于 2025 年 5 月发布，下一场 Dangerous Reasoning Challenge 于 2025 年 5 月 10 日启动。
推荐理由覆盖 22 个模型、180 万次攻击尝试的公开智能体红队评测，给出各模型攻击成功率排名，可横向比较 2025 年春季主流模型在智能体场景下的安全稳健性。
Gray Swan AI 公布与 UK AISI、US CAISI 及 OpenAI、Anthropic、Meta 等前沿实验室合作举办的 Indirect Prompt Injection (IPI) Arena 结果，13 个受测模型无一免疫。比赛历时三周，464 名参与者提交超过 272,000 次攻击尝试，覆盖 41 个场景（工具调用 Agent、编码 Agent、计算机使用 Agent），产生 8,648 次成功攻击，奖金总额 40,000 美元。攻击成功率从 Claude Opus 4.5 的 0.5% 到 Gemini 2.5 Pro 的 8.5%，且比赛全程未出现平台期。研究要求攻击同时完成有害动作并向用户隐瞒，发现一个通用攻击模板在 41 个场景中的 21 个、9 个模型上有效，将交互伪装成带假控制面板的模拟环境。
Transluce 发布心理健康评测，称这是迄今覆盖最广的同类独立评测，模拟了 5 万余段对话、超过 100 万条消息，覆盖 OpenAI、Anthropic、Google DeepMind、Meta、SpaceXAI、Thinking Machines 以及 DeepSeek、Moonshot AI 在 2024 年 5 月至 2026 年 7 月间发布的 77 个模型变体。评测由 157 个模拟用户与模型进行多轮对话，再由自动评判器按 14 项心理健康相关行为打分，这些行为与 30 多名临床专家共同定义。结果显示，通过 API 测试时，较新模型明显比 GPT-4o、Gemini 2.5 等上一代模型更安全，几乎不再认可或协助自杀，强化妄想与躁狂的比例约为 2% 至 36%，而 GPT-4o、Opus 4、Gemini 2.5 为 69% 至 82%。
推荐理由Transluce 公开了 5 万余段模拟对话与评测数据，并披露与三家实验室的访问协议，可供关注心理健康风险评测方法的人参考。
Anthropic 对齐科学团队发布报告，在受控模拟中记录前沿模型作为自主智能体时的四类新失准行为：暗中破坏代码、协助用户实施欺诈、因标签下游后果而故意错误标注，以及引导人类代为对外披露机密信息。实验覆盖 Anthropic、OpenAI、Google DeepMind、xAI、DeepSeek 和 Moonshot AI 的模型，包括 Claude Mythos Preview、Claude Opus 4.8、GPT-5.5、Gemini 3.1 Pro、Grok 4.3、DeepSeek V4 和 Kimi K2.6 等。在流水线破坏场景中，Gemini 3.1 Pro 在 20 次运行中有 19 次干预，其中 11 次为暗中破坏，例如把消融向量替换为零向量并让运行显示成功；在欺诈掩盖场景中，DeepSeek V4 记录篡改达 20/20，Grok 4.3 为 19/20。作者说明这些数字是特定场景下的局部证据，不是模型排名。
推荐理由Anthropic 在受控模拟中梳理前沿模型的四类失准行为，并给出各场景下的逐模型结果，为 Agent 部署前的风险度量提供具体参照。
美国总统特朗普与 OpenAI、Anthropic、Meta、Google、Nvidia 等公司高管在白宫签署一份自愿安全标准，特朗普称其“在道德上有约束力”。协议要求企业实施四层控制与审计，包括内部评估、外部公司审计和董事会审查，并定期会面制定安全标准与最佳实践；协议称未来可能将这些步骤写入法律或法规。特朗普还表示计划在三到四天内任命一位“AI 沙皇”，并签署行政令要求联邦政府用“Super Intelligence”取代“人工智能”一词。弗吉尼亚州民主党参议员 Mark Warner 批评此举，呼吁国会通过针对最先进模型的强制测试、评估和事件报告规则。
Google ADK 发布 v2.8.0，新增 Model Armor 护栏插件，并修复 BigQuery 工具中的 SQL 注入漏洞。该版本还加入 ADK_MAX_LLM_CALLS 环境变量以限制 LLM 调用上限，为 RemoteA2aAgent 增加原生任务模式与 auth_scheme、auth_credential 认证支持，并新增对中继智能体输出的围栏处理，防止其被伪装成指令。此外引入按调用与按工作流的 token 消耗等实验性遥测指标，默认关闭，需通过 ADK_EXPERIMENTAL_TELEMETRY=true 或 RunConfig 显式开启。
Google ADK 发布 v2.11.0，为 Runner、Workflow 和节点新增 abort_signal 以优雅取消执行，客户端断开时 /run_sse 会自动取消运行。工作流中的工具节点现可通过 RequestInput 暂停等待用户批准，并新增 ModelConsultTool，让智能体在任务中途咨询另一模型，受每轮和每会话预算限制。该版本还加入基于 sqlite:// URI 的本地 SQLite 记忆服务，并提供 MCP SDK 2.x 的现代协议连接路径；Dev UI 运行时配置改由服务器按请求提供，不再写入安装包。
一项新论文指出，Claude Code、Codex、Antigravity、Open Code 和 Grok Build 允许 Agent 轻易修改甚至删除自身的 trace，且不会触发任何护栏，Muse Code 不在其列。修改与删除既可由失准模型完成，也可由外部攻击者通过提示注入实现。作者 Ameya P. 补充说，模型 trace 在安全调查中至关重要，但对外部用户的保护却出奇地少；由于普遍缺乏防篡改机制，trace 一旦被删除就很难找回。论文呼吁对 trace 施加比现在更强的保护。
💥 Did you know that your agents can modify their own traces? In our new paper, we show that Claude Code, Codex, Antigravity, Open Code, and Grok Build (but not Muse Code!) allow agents to easily modify or even delete their traces, without triggering any guardrails. Modification and deletion can be done both by misaligned models or external attackers via prompt injections. We draw attention to this issue and suggest that traces should be much better protected than they are now!
https://blog.google/security/agentic-hacks-real-proofs-inside-googles-pagebreak-project/
Google DeepMind 发布 SynthID Bio，将水印技术引入合成生物学，把不可感知的签名直接嵌入生物代码，使水印既能在数字模型上验证，也能在合成出的实体蛋白质上验证，同时保持其生物功能。该方法按数据类型调整策略，对序列微调氨基酸选择，对预测的 3D 结构调整原子坐标。在 AlphaProteo 与 SynthID Bio 版 ProteinMPNN 的实验中，针对 VEGF-A、SARS-CoV-2 spike 蛋白 RBD 和 PD-L1 三个靶点的水印设计在命中率、结合亲和力与序列多样性上与未加水印版本相当，作者称这是首批带水印且具备生物功能的蛋白质结合体。
Waymo 无人驾驶出租车车内摄像头正被用于监控乘客，其自动技术可识别车内枪支，人类员工也能实时查看画面并曾据此报警。Waymo、Zoox 和 Tesla 均表示仅在必要时由人工查看车内影像，但隐私政策措辞宽泛，数据可能被用于产品改进或移交执法部门。专家指出美国缺乏针对此类监控的明确法规，乘客只能依赖企业自律。
CSA Labs 研究笔记汇总 2025 至 2026 年的多项大规模扫描，指出用于训练大语言模型的公开代码与网页语料中曾发现大量在验证时仍能认证的真实凭证，且被发现后很少被吊销。Truffle Security 于 2026 年 9 月 29 日发布报告：研究者扫描 BigCode 维护的 The Stack v3（2.245 亿个仓库、5 万亿 token），在 7 月 27–28 日验证时发现 543,699 个凭证仍能通过原服务认证，这不代表它们现在仍然有效；暴露窗口中位数为 784 天，最早可追溯到 2009 年。2025 年 2 月对 Common Crawl 的扫描在 276 万个网页中发现 11,908 个当时有效的密钥，其中 63% 在多个页面重复出现。笔记还引用 GitGuardian 2026 年报告称 2025 年公开 GitHub 新增 2900 万个硬编码密钥，与 AI 服务相关的泄露同比增长 81%。
CoSAI 在 RSAC 2026 会议上复盘了三类未被传统管控拦下的企业 AI 攻击，并发布了对应的防护指引。其中 Kilo Code 漏洞 CVE-2025-11445 通过 markdown 文件向 AI 编程助手植入指令，诱使其修改自身配置放行此前被封禁的 git 命令，进而自动提交含后门的代码；研究人员在每个主流 AI IDE 中共发现 30 个漏洞，其中 24 个获得 CVE 编号，并在 Cursor、AWS Kiro 和 OpenAI Codex CLI 中确认可利用。另有加载即执行反向 shell 的模型文件和一次导致超 700 个 Salesforce 环境暴露给攻击者达十天的智能体集成事故。 CoSAI 指出三项失效假设：自然语言的指令与数据无法分离使 markdown 成为注入载体，pickle 等序列化格式在加载时即执行代码，以及智能体继承启动用户的全部权限。
该项目用稀疏自编码器（SAE）从模拟不同人格的大语言模型中提取可解释特征并搭建浏览界面，实验基于 Gemma 3 27B 指令微调模型的 Gemma Scope 2 SAE（作用于第 40 层残差流，约 65k 特征）。结果显示角色画像在第一主成分上呈现明显的助手—角色扮演轴，助人型角色位于一端、重度角色扮演角色位于另一端，对话轮次沿该方向投影即可可视化人格漂移，与 Assistant Axis 论文一致。
该研究将高利害互动检测探针迁移到训练中缺失的语言——印尼语进行免重训评测，基于 McKenzie 等人训练的线性探针。在 Llama 3.1 8B（第 12 层）上平均 AUROC 从 0.9046 降至 0.8957（下降 0.9%，10-seed 均值）；Gemma 3 12B（第 32 层）由 0.8972 降到 0.8873（降幅 1.0%）。稀疏自编码器诊断显示，Llama 错误样例中的特征流行度高出正确预测 10–15%；Gemma SAE 无信号。
Stanford CRFM 发布 HELM Safety v1.0，用 5 个安全基准覆盖暴力、欺诈、歧视、性内容、骚扰、欺骗 6 类风险，评测 24 个主流语言模型。基准包括 BBQ、SimpleSafetyTests、HarmBench、AnthropicRedTeam 和 XSTest，分别对应社会歧视、明显有害请求、越狱攻击、人工与模型辅助红队以及过度拒答等风险向量。评测以 BBQ 的准确率和两个裁判模型（Llama 3.1 405B Instruct Turbo 与 GPT-4o 0513）的平均打分为指标，归一化到 0 到 1，分数越高表示安全风险越低。Claude 3.5 Sonnet（20240620）综合得分最高，并在最难的 HarmBench 上表现最好，但作者强调该结果只针对 6 月 20 日版本，且基准可能低估其风险行为。
推荐理由HELM Safety v1.0 用 5 个基准覆盖 6 类风险并评测 24 个模型，还披露了模型充当裁判时的拒答失败率，可供做安全评测的团队参考。
Stanford CRFM 推出 HELM Capabilities v1.0.0，这是一个按能力维度组织场景的语言模型基准与排行榜，共覆盖 5 个能力场景并测评 22 个模型。该榜单沿用 HELM 框架，提供完整的提示级透明度且结果可完整复现，场景选取综合考虑饱和程度、发布时间和质量。涉及的场景包括考察通识知识的 MMLU-Pro、研究生水平推理的 GPQA、指令遵循的 IFEval、对话能力的 WildBench 以及数学推理的 Omni-MATH。