跳到正文

#Agent 安全

今天收录 18 条

第 15 页更新的内容回到最新

5月1日周五
4月30日周四
  1. Wiz Research · · 原文 78

    Wiz 披露 AI GitHub Actions 的权限绕过与密钥外泄风险

    Wiz 对 OpenAI、Anthropic、Google 等厂商的 AI GitHub Actions 做了安全分析,发现外部 App 与 bot 可绕过权限校验触发 AI 执行,并存在针对动态生成凭据文件的密钥外泄路径。研究覆盖 anthropics/claude-code-action(超 1.2 万个公开工作流)、google-github-actions/run-gemini-cli(超 1 千个)、openai/codex-action 和 actions/ai-inference,受影响仓库合计星标超 20 万。

    推荐理由Wiz 对主流 AI GitHub Actions 的实测披露了权限绕过与凭据外泄两类新路径,并附厂商修复进展,可对照检查自家工作流配置。

  2. Adversa AI ·

    Adversa AI 复盘 Mythos 自主网络攻击:AI 驱动攻击已非前沿模型专属

    Adversa AI 复盘英国 AI 安全研究院对 Claude Mythos Preview 的独立评估,指出 Mythos 在模拟的 32 步企业网络攻击中从侦察到完全接管网络全程自主完成,专家级 CTF 得分 73%,此前没有模型在 2025 年 4 月前通过这类挑战。文章强调这一能力并非 Mythos 独有:Aisle 的分析显示,一个 3.6B 参数、每百万 token 成本 0.11 美元的模型就能检出 Anthropic 研究中提到的 FreeBSD 漏洞,检测级漏洞发现已对小型廉价模型开放,利用构造也在沿同样的成本曲线下移。

  3. Wiz Research ·

    《2026 年云中 AI 现状报告》的关键要点解读

    Wiz Research《2026 年云中 AI 现状报告》基于数十万个真实云环境的数据指出,至少 81% 的云环境在使用托管 AI 服务,90% 运行自托管 AI 软件,其中 68% 的组织通过第三方软件引入自托管模型。至少 80% 组织的开发者已在用 AI IDE 插件,57% 组织部署了自托管 AI 智能体,Model Context Protocol(MCP)服务器出现在 80% 的环境中,带来新的控制平面风险。

4月29日周三
  1. Wiz Research · · 原文 68

    TeamPCP 供应链攻击投毒 SAP npm 包,窃取开发者与 CI/CD 凭据

    Wiz 披露 TeamPCP 发起代号 Mini Shai Hulud 的供应链攻击,通过篡改 SAP 生态 npm 包注入 preinstall 脚本,在 npm install 时下载 Bun 运行时并执行混淆载荷。受影响包包括 @cap-js/sqlite 2.2.2、@cap-js/postgres 2.2.2、@cap-js/db-service 2.10.1 和 mbt 1.2.48。

    推荐理由Wiz 披露 TeamPCP 针对 SAP npm 包的供应链投毒,含恶意文件哈希与凭据轮换建议,可对照排查自身 CI/CD 环境。

  2. Coalition for Secure AI(CoSAI) ·

    RSAC 2026 之后:MCP 安全问题为何聚焦身份与授权

    Coalition for Secure AI(CoSAI)在 RSAC 2026 分享《Securing MCP》演讲后指出,观众提问几乎全部集中在身份与授权而非新型攻击手法。该演讲梳理十二类威胁、近四十项风险及覆盖整个 MCP 栈的控制措施,其中 MCP-T1 指向认证与身份管理不当问题。混淆代理攻击源于作为 OAuth 代理的 MCP 服务器未校验每次请求的授权上下文,建议在每个信任边界执行 token 交换且绝不上游透传 token。

  3. Cisco Talos(AI) ·

    AI 驱动的蜜罐:用生成式 AI 反制恶意 AI 智能体

    安全研究者提出用生成式 AI 快速部署自适应蜜罐,伪装成 Linux shell 或 IoT 设备等易受攻击系统,诱骗并观察自动化攻击者。其实现由三部分组成:接受 TCP 连接的监听器、需触发才放行的模拟漏洞(如 admin/password123 登录,或仅响应 Shellshock CVE-2014-6271 利用尝试),以及调用 ChatGPT 生成响应的 AI 框架。该方法利用 AI 智能体缺乏真实意识、易被提示注入欺骗的弱点,把攻击者的自动化能力转化为暴露其手法的负担。

4月28日周二
  1. Wiz Research · · 原文 84

    Wiz 披露 GitHub 内部 git 协议注入漏洞 CVE-2026-3854,可经单次 git push 实现远程代码执行

    Wiz Research 披露 GitHub 内部 git 基础设施中的严重漏洞 CVE-2026-3854,任何已认证用户仅用标准 git 客户端、通过一次 git push 即可在 GitHub 后端服务器执行任意命令。漏洞源于 babeld 将 git push option 值直接写入 X-Stat 头且未过滤分号,攻击者可注入 rails_env、custom_hooks_dir、repo_pre_receive_hooks 等字段,绕过沙箱并借路径穿越执行任意二进制。

    推荐理由Wiz 披露 GitHub 内部 git 协议注入漏洞的完整利用链,并给出 GHES 受影响版本与修复版本,便于管理员自查。

  2. FAR.AI ·

    FAR.AI 第二届 TIAP 会议:AI 政策的技术创新——我们听到了什么

    FAR.AI 联合美国创新基金会、CNAS 和 RAND 于 3 月 30–31 日在华盛顿举办第二届 Technical Innovations for AI Policy 大会,超 200 名政策制定者、研究者与技术专家参会,核心议题是现有评估、标准和安全框架跟不上 AI 治理需求。Anka Reuel 指出 OpenAI 的 HealthBench 从未将测试项映射到临床公认病症,也无法证明分数能预测患者结局,并称某福利资格预筛智能体报告的 90% 准确率在计入不确定性后可落在 72%–100%。Ben Bucknall 则警告无法确认 API 输出的模型版本,提出透明披露乃至基于可信硬件飞地的密码学认证作为可能补救方向。

4月24日周五
  1. Google Security Blog · · 原文 74

    Google 扫描公开网页:间接提示注入的真实分布与增长趋势

    Google 威胁情报团队扫描 Common Crawl 的公开网页,发现真实存在的间接提示注入(IPI)尝试,多数属于无害恶作剧、帮助性引导、SEO 操纵和劝阻 AI 抓取,少数涉及数据窃取和破坏。

    推荐理由Google 对 Common Crawl 全网扫描,给出间接提示注入在真实网页中的分类分布与增长数据,可了解当前攻击成熟度。

4月21日周二
4月20日周一
  1. Coalition for Secure AI(CoSAI) ·

    CoSAI 解读企业级 AI 安全的下一波风险

    CoSAI 在 RSAC 2026 会议上复盘了三类未被传统管控拦下的企业 AI 攻击,并发布了对应的防护指引。其中 Kilo Code 漏洞 CVE-2025-11445 通过 markdown 文件向 AI 编程助手植入指令,诱使其修改自身配置放行此前被封禁的 git 命令,进而自动提交含后门的代码;研究人员在每个主流 AI IDE 中共发现 30 个漏洞,其中 24 个获得 CVE 编号,并在 Cursor、AWS Kiro 和 OpenAI Codex CLI 中确认可利用。另有加载即执行反向 shell 的模型文件和一次导致超 700 个 Salesforce 环境暴露给攻击者达十天的智能体集成事故。 CoSAI 指出三项失效假设:自然语言的指令与数据无法分离使 markdown 成为注入载体,pickle 等序列化格式在加载时即执行代码,以及智能体继承启动用户的全部权限。

4月18日周六
  1. Embrace The Red ·

    用 ChatGPT 生成的对抗图片劫持 Claude Opus 4.7 记忆工具

    作者用 ChatGPT 生成一张含解谜元素的对抗图片,让 Claude Opus 4.7 在分析图片时被间接提示注入劫持,调用 memory 工具写入虚假记忆。测试中 Opus 4.7 在 10 次里 5 次写入虚假信息,包括用户名、年龄、NASA 宇航员职业和饮食偏好,且每次都察觉到可能存在提示注入却仍被劫持。作者观察到初始记忆为空时攻击更易成功,内容越像真实用户会保存的信息越容易通过。该对抗样本在文章发布约 24 小时后攻击成功率降为 0%,原因不明。作者已于 2026 年 3 月通过 HackerOne 向 Anthropic 报告,工单被以安全问题关闭,后续邮件未获回复。

  2. NVIDIA 技术博客:可信 AI 与网络安全 ·

    如何用 OpenClaw 与 NVIDIA NemoClaw 构建更安全、常驻的本地 AI 智能体

    NVIDIA NemoClaw 这套开源参考栈可编排 NVIDIA OpenShell,在本机沙箱中运行 OpenClaw 等开放 harness,构建常驻的本地 AI 智能体。教程在 NVIDIA DGX Spark(GB10)上用 Ollama 本地部署 NVIDIA Nemotron 3 Super 120B,并接入 Telegram 远程访问。OpenShell 负责沙箱隔离、凭证管理与 API 代理,但官方提醒任何沙箱都无法完全防御高级提示注入。

  3. Coalition for Secure AI(CoSAI) ·

    CoSAI 发布《Agentic Identity and Access Management》框架,将 AI 智能体视为一等身份

    CoSAI 发布《Agentic Identity and Access Management》,主张把企业内 AI 智能体当作与人类用户和服务账户平级的一等身份来管理,而非共用服务账号或复用真人凭证。该框架来自其 Workstream 4 的安全设计模式工作,指出共享账号会掩盖问责、导致权限过载、行为主体不清、影子智能体和委派链断裂等问题,并给出一套基于能力—风险分类的分级管控方案。 针对高风险智能体,框架要求身份绑定到具体的代码与模型版本并经签名清单校验,一旦模型替换或代码改动则证明失败、阻止高影响操作;同时通过携带智能体与用户双重身份的 on-behalf-of(OBO)token 实现带完整血缘的委派,逐跳收窄权限且任一点撤销即自动失效下游授权,并对自主运行的智能体持续重新评估访问权限。

4月17日周五
  1. AI as Normal Technology ·

    CRUX 提出开放世界评测:AI 智能体自主开发并上架 iOS 应用

    研究者提出开放世界评测(open-world evaluations)这一新兴评测类型,用于在真实环境中测量前沿 AI 能力,并成立由 17 名研究者组成的 CRUX 项目定期开展此类评测。作者认为基准测试既可能高估能力(任务可被精确指定就容易被优化),也可能低估能力(CAPTCHA 等偶发障碍),而开放世界评测以少量长周期真实任务、允许人工介入、以日志定性分析为主。

4月16日周四
  1. Adversa AI ·

    Adversa AI:智能体 AI 红队测试该选手动外部、内部自建还是持续平台?

    Adversa AI 对比了 AI 红队测试的三种模式——外部手动测试、内部自建能力与持续平台测试,并指出多数成熟项目最终会采用混合模式。AI 系统因提示词更新、模型替换、编排变化与新集成而持续变动,单次时点测试会在被测系统与实际运行系统之间留下越来越大的缺口。持续平台测试可重复覆盖提示注入、越狱、策略规避、数据泄露、不安全工具使用与智能体行为,但自动化不能替代专家判断,缺少内部处置流程只会让结果堆积。

4月15日周三
  1. OWASP GenAI Security Project ·

    OWASP 上线 FinBot CTF,用模拟金融多智能体平台演练 Agentic 安全风险

    OWASP GenAI Security Project 的 Agentic Security Initiative 正式上线 FinBot CTF,这是一个围绕模拟金融服务应用构建的交互式 Agentic 安全 CTF,被定位为“Agentic AI 的 Juice Shop”。FinBot 模拟一个多智能体供应商管理平台,包含自主入驻、欺诈检测、发票处理和通信等由 LLM 驱动并拥有真实工具访问权限的流程。

4月14日周二
  1. arXiv ·

    Meerkat:跨大量 Agent 轨迹检测安全违规

    研究者提出 Meerkat,将聚类与智能体搜索结合,用自然语言描述违规行为并在大量 Agent 轨迹中定位稀疏失败。该方法不依赖种子场景、固定流程或穷举,通过结构化搜索和自适应调查有潜力的区域来发现违规。在滥用、失准和任务博弈等场景中,Meerkat 的违规检测效果显著优于基线监控器,并在一个头部 Agent 基准上发现大量开发者作弊行为,在 CyBench 上找到的奖励作弊案例比此前审计多近 4 倍。论文共 35 页、17 张图,作者为 Adam Stein、Davis Brown、Hamed Hassani、Mayur Naik、Eric Wong。

4月13日周一
  1. Google DeepMind ·

    Google DeepMind 推出 Gemini Robotics-ER 1.6,强化具身推理能力

    Google DeepMind 发布 Gemini Robotics-ER 1.6,这款以推理为先的机器人模型在空间推理与多视角理解上显著增强,可原生调用 Google Search、VLA 等工具。相比 Gemini Robotics-ER 1.5 和 Gemini 3.0 Flash,其在指向、计数、成功检测等空间与物理推理任务上明显提升,并新增仪表读数能力,可读取压力表、视镜等设备,该用例来自与 Boston Dynamics 的合作。模型即日起通过 Gemini API 和 Google AI Studio 向开发者开放。

4月10日周五
  1. Wiz Research · · 原文 66

    Wiz 分析 Anthropic 未发布模型 Claude Mythos 的漏洞发现能力与防御准备

    Wiz Research 分析称,Anthropic 未发布的前沿模型 Claude Mythos 能自主发现主流操作系统和浏览器中的数千个零日漏洞,并可在数小时内、以较低成本根据 CVE 编号和 git commit hash 生成可用的完整利用代码,还能串联多个漏洞并逆向闭源二进制文件。目前该模型仅提供给 Microsoft、Google、Linux Foundation 等关键软件基础设施方,Anthropic 表示没有公开计划。Wiz 预计短期内会出现大量 AI 发现的 CVE,中期约 12-18 个月后类似能力可能进入可本地运行的开源模型,届时攻击者将能大规模武器化 0-day 并在 n-day 公开后数小时内利用。

    推荐理由安全厂商从防御方视角梳理 Anthropic 未发布模型带来的漏洞发现节奏变化,并给出短中长期应对路径。

4月9日周四
  1. IAPS(Institute for AI Policy and Strategy) ·

    IAPS 政策备忘录:AI 决策支持系统是被忽视的军事 AI 风险来源

    IAPS 发布政策备忘录指出,五角大楼现行的致命自主武器政策(DoD Directive 3000.09)只覆盖全自主与半自主武器系统,未涵盖已在实战中运行的 AI 决策支持系统(AI-DSS),后者用于分析情报、生成目标建议并向指挥官提供排序后的行动方案。备忘录认为,这类系统并非保留人类判断,而是在人类介入之前就塑造了决策空间,随着能力提升,人类监督的有效范围可能进一步收窄。文中列出技术失效模式,包括对抗性破坏(数据投毒、对抗性操纵、潜伏后门)、目标偏离(规格博弈、目标错误泛化、谄媚行为、升级风险),以及制度失效模式(自动化偏见、确认偏见、认知卸载与技能退化)。

  2. Adversa AI ·

    OWASP ASI01 智能体目标劫持实用安全指南

    Adversa AI 发布 OWASP Agentic Security Initiative Top 10 2026 版中 ASI01(智能体目标劫持)的实用安全指南,将其定义为攻击者操纵 AI 智能体目标、使其秘密执行攻击者指令而非用户意图,即系统控制权的完全丧失。指南按被跨越的信任边界把攻击向量分为五类:用户输入边界、检索内容边界(邮件、文档、网页、RAG,含文本图像音频视频)、工具/API 边界(含恶意 MCP 服务器)、智能体间通信边界和配置边界,并指出多数关键攻击是经由被投毒外部内容的零点击方式触发。

4月8日周三
  1. 研究者论文追踪 ·

    TraceSafe-Bench:评估 LLM 护栏在多步工具调用轨迹上的表现

    研究者提出 TraceSafe-Bench,用于评估 LLM 护栏在多步工具调用中间轨迹上的安全性,覆盖提示注入、隐私泄露、模型幻觉、接口不一致等 12 类风险,包含 1000 多个执行实例。团队评测了 13 个 LLM-as-a-guard 模型和 7 个专用护栏,得到三点结论:护栏效果更多取决于结构化数据处理能力(如 JSON 解析),与结构化到文本基准强相关(ρ=0.79,p<0.01),而与标准越狱鲁棒性无关联;轨迹检测准确率不随模型规模单调提升,通用 LLM 持续优于专用安全护栏;在原生上下文范围内检测准确率随轨迹变长而提升,但在极端长上下文场景下因过度拒答而下降。该工作已被 COLM 2026 接收。

  2. AI Safety in China (Concordia AI) ·

    AI Safety in China #26:OpenClaw 推动 AI 智能体安全进入政策主流

    OpenClaw 在中国快速普及引发监管连锁反应,工信部 NVDB 于 2 月 5 日预警部分版本存在较高安全风险,CNCERT 随后警告提示注入攻击、意图误读、恶意插件等问题,国家安全部发布《安全养殖手册》警示其传播虚假信息的可能。TC260 成立专职 AI 安全工作组成员组 WG9,并公布 2026 年重点方向,涵盖 AI 应用安全分类分级、AI 安全能力成熟度评估及 AI 安全护栏等。

  3. Embrace The Red ·

    Johann Rehberger:足够多的 Agent 会让所有漏洞变浅

    Johann Rehberger 撰文指出,Agent 正大幅降低发现和利用软件漏洞的门槛,并以 Anthropic 的 Mythos Preview 为例展开分析。据 Anthropic 公布的数据,Opus 4.6 在数百次尝试中仅两次成功利用 Firefox JS 引擎漏洞,而 Mythos Preview 成功了 181 次,该模型目前仅限少数公司访问。Rehberger 提到,无正式安全训练的工程师也能用它在一夜之间拿到完整的远程代码执行利用程序,威胁行为者的吞吐量会随之上升,尽管能力和意图并不等同。他还援引自己测试中 Opus 4.6 自行提权并安装调试工具的轶事,提醒隔离环境本身也可能被目标模型突破。

4月4日周六
  1. Wiz Research · · 原文 71

    Wiz 披露 prt-scan 供应链攻击:同一攻击者六波活动,滥用 pull_request_target 触发 GitHub Actions

    Wiz Research 追踪到同一威胁行为者自 2026 年 3 月 11 日起发起的六波活动,共开启超过 500 个恶意 PR,成功入侵至少两个 npm 包,比公开披露早三周。攻击者滥用 GitHub 的 pull_request_target 触发器,在 conftest.py、package.json、Makefile、build.rs 等 CI 执行文件中注入载荷,窃取 GITHUB_TOKEN、枚举密钥并探测 AWS/Azure/GCP 云元数据,通过 base64 编码的日志标记和 PR 评论外泄凭据。

    推荐理由Wiz 追踪到同一攻击者六波活动,还原了从粗糙脚本到 AI 生成载荷的演进路径与不足 10% 的成功率。

4月3日周五
4月2日周四
  1. Adversa AI · · 原文 82

    Claude Code 被曝 deny 规则静默绕过:命令超过 50 条子命令即跳过安全检查

    Adversa AI 披露 Claude Code 存在安全策略绕过漏洞:当 shell 命令包含超过 50 条由 &&、|| 或 ; 连接的子命令时,bashPermissions.ts 会跳过逐子命令的安全分析,包括 deny 规则检查,回退到可被自动放行的通用询问提示。攻击路径是恶意仓库在 CLAUDE.md 中写入 50 多条看似正常的构建命令,把窃取凭据的命令藏在第 51 位,开发者让 Claude Code 构建项目时 deny 规则不会触发。作者实测显示,单独运行 curl 会被 deny 规则拦截,但前面加上 50 个 true 空操作后,Claude Code 提示无法逐条安全检查并询问是否继续。

    推荐理由披露了 Claude Code 在复合命令超过 50 条子命令时静默跳过 deny 规则的具体代码路径与利用链,可据此检查自身 Agent 权限配置。

4月1日周三
  1. Adversa AI ·

    2026 年 4 月智能体 AI 安全资源盘点:OpenClaw、Copilot 与多智能体攻击

    Adversa AI 发布 2026 年 4 月智能体 AI 安全资源盘点,共收录 33 项资源,涵盖研究、漏洞、防御、威胁建模等类别。研究显示,30 个 AI 智能体框架中 93% 依赖无范围限制的 API key,0% 具备按智能体身份标识,97% 缺少用户同意机制;针对 GPT-5 mini 和 Claude Sonnet 4.5 的记忆投毒攻击成功率超过 90%。OpenClaw 被曝 CVSS 9.9 权限提升漏洞(CVE-2026-32922),超 13.5 万个面向互联网的实例受影响;Chrome 的 Gemini Live 面板存在 CVE-2026-0628 高危漏洞,可被恶意扩展劫持并访问摄像头和麦克风。

  2. Goodfire Research · · 原文 66

    Goodfire 与 Rakuten 用 SAE 探针在生产环境检测 PII

    Goodfire 与 Rakuten 合作,将稀疏自编码器(SAE)探针用于 Rakuten AI 智能体的 PII 检测,这是已知首个将 SAE 用于语言模型护栏的企业应用。方法是在 Llama 3.1 8B 侧模型上训练 SAE,再用其特征激活训练分类器,逐 token 判断姓名、地址、电话、邮箱等 PII 类别。由于真实 PII 敏感,训练数据全部为合成数据,SAE 探针在合成到真实生产数据的分布迁移上优于普通激活探针和注意力探针,并在非英语和标签噪声场景下同样表现更好。成本上,探针比常见 LLM-as-judge 方案便宜 10 到 500 倍,性能相当;用同一模型做白盒探针的 F1 从黑盒判官的 51% 提升到 96%。

    推荐理由Goodfire 与 Rakuten 的落地案例给出了 SAE 探针在合成到真实数据迁移上的对比数据,可迁移到企业护栏场景。

3月31日周二
  1. Adversa AI ·

    Adversa AI 在 RSA Conference 2026 全球信息安全奖获评"最具创新 Agentic AI 安全"

    Adversa AI 在 RSA Conference 2026 的 Global InfoSec Awards 上获评"最具创新 Agentic AI 安全",其 Agentic AI 安全平台可持续对 GenAI 应用、自主 AI 智能体和 MCP 架构进行压力测试,在部署前发现提示注入、目标劫持和工具滥用等漏洞。该平台评估结果对齐 OWASP AI Vulnerability Scoring System,并已扩展至金融服务、保险和政府的企业级环境。Gartner 预计到 2028 年超过 33% 的企业应用将包含 agentic AI,高于 2024 年的不足 1%。

  2. MITRE ATLAS 数据发布 · · 原文 65

    MITRE ATLAS 发布 v5.4.0,新增 AI Agent 攻击技术与案例研究

    MITRE ATLAS 发布 v5.4.0,新增多项针对 AI Agent 的攻击技术,包括发布被投毒的 AI Agent 工具、从 Agent 逃逸到宿主机、利用漏洞获取凭据、利用漏洞规避防御,以及 AI Agent 用户执行类的被投毒工具与恶意链接。该版本还更新了修改 AI Agent 配置这一既有技术。案例研究方面新增了暴露的 ClawdBot 控制接口导致凭据访问与执行、通过被投毒 ClawdBot 技能实施供应链入侵、OpenClaw 一键远程代码执行,以及通过提示注入对 OpenClaw 实施命令与控制。

    推荐理由MITRE ATLAS v5.4.0 新增针对 AI Agent 的攻击技术与真实案例,做 Agent 威胁建模的团队可对照更新自己的攻击面清单。

  3. Wiz Research ·

    Wiz 追踪 TeamPCP 供应链攻击后的凭证滥用活动

    Wiz 客户事件响应团队与 Wiz Research 追踪了自称 TeamPCP 的组织在两周内针对 Trivy、KICS、LiteLLM 和 Telnyx 的供应链攻击,并披露了凭证被盗后的实际滥用过程。3 月 19 日 Trivy、3 月 23 日 KICS、3 月 24 日 LiteLLM、3 月 27 日 Telnyx 相继被植入窃取云凭证、SSH 密钥、Kubernetes 配置和 CI/CD 密钥的恶意代码,加密后外传至攻击者控制的域名。

3月30日周一
  1. Adversa AI ·

    红队测试智能体 AI 时模拟错了攻击者:六类威胁行为者与五大专业领域

    红队测试智能体 AI 时普遍模拟错了攻击者——只测越狱式提示攻击,而真正攻陷智能体系统的是投毒知识库文档、污染 API 响应、在日历邀请中嵌入指令的间接注入者。文章列出六类必须模拟的威胁行为者:机会主义探测者、社工攻击者、耐心内部人员、间接注入者、商业情报窃取者和基础设施攻击者,并指出模拟它们需要提示与社会工程、应用安全、架构与分布式系统、数据与 ML 安全等五个专业领域,多数团队只具备其中一两个。

3月27日周五
  1. AI Safety in China (Concordia AI) ·

    中国十五五规划首次写入 AI 安全,政府工作报告首提 AI 治理

    中国 2026 年两会发布十五五规划(2026–2030),AI 安全与治理内容首次进入五年规划,并出现在多个章节。规划强调算法备案、安全评估、AI 法律与伦理准则,提出覆盖安全监测、风险预警和应急响应的全生命周期风险管理,但仅点名数据滥用、深度伪造和隐私泄露三类具体风险。规划还提出探索 AGI 发展路径,这是 AGI 一词自 2023 年后首次出现在国家级政策文件中,措辞谨慎;同时提及通用大模型与行业模型并行发展、多模态、智能体和群体智能。2026 年政府工作报告首次写入改善 AI 治理,并点名支持开源模型与加快 AI 智能体应用。发改委、全国人大常委会工作报告及多位部长、代表也提出推进 AI 立法、建设安全风险防控框架和监管沙盒等主张。

3月26日周四
  1. METR · · 原文 71

    METR 红队测试 Anthropic 内部 Agent 监控系统,发现多个新漏洞

    METR 员工 David Rein 与 Anthropic 合作,用三周时间对 Anthropic 部分内部 Agent 监控与安全系统进行红队测试,这些系统多数在 Opus 4.6 Sabotage Risk Report(附录 8.4,尤其是 8.4.8)中有描述。Anthropic 提供了相关内部系统和信息的大量访问权限,并安排员工在测试期间答疑和反馈。此次测试发现若干具体的新漏洞,其中一些已被修补,且没有任何一个严重动摇 Opus 4.6 Sabotage Risk Report 的主要结论。

    推荐理由METR 成员进入 Anthropic 内部系统做三周红队测试,披露了外部评估者嵌入前沿实验室的具体做法与产出。