Skip to content

Translation in progress Some entries still include text in the original language.

AI safety news and updates

Oct 12 · Monday

News timeline

Latest publications and developments
Oct 9Fri
  1. Goodfire Research, BasetenGoodfire Research · 2 sources · 2 reports · 31

    Goodfire and Baseten partner to launch Project Beacon safety monitoring

    Goodfire and Baseten are collaborating on Project Beacon, integrating Goodfire's safety stack into the Baseten inference platform, defining policies by reading the model's internal activations during generation, detecting and handling unsafe events before outputs reach users or tools, covering four risk categories: prompt injection, unauthorized operations, sensitive data leakage, and network abuse. Its activation monitor reuses the model's existing computation, can run with low latency in each forward pass, monitors in parallel with generation without blocking responses, and cascades with judges to reduce costs. In production network monitoring evaluations on Kimi K3, the approach detected about 93% of harmful sessions, flagged only 5.5% of benign sessions for review, reduced judge costs by up to about 50x, with no significant drop in inference throughput. Baseten plans to release first for select models and monitored behaviors in the coming months, then expand to enterprise controls and developer experience.

  2. Anthropic Claude Code · 32

    Claude Code 2.1.296 fixes BASH_ARGV0 permission bypass

    Claude Code 2.1.296 fixes a Bash permission check bypass: some commands that first assign a value to the BASH_ARGV0 variable and then call it were previously auto-approved, and now they prompt for approval. This version also fixes issues such as PreToolUse hooks with denied calls in managed-settings, PostToolUse hooks not applying updatedMCPToolOutput, and --teleport opening an empty session when session history reading fails.

  3. TechCrunch AI, Goodfire ResearchTechCrunch AI · 2 sources · 2 reports · 43

    Goodfire 部署生产级模型内部监控

    Goodfire 发布“由内而外”监控器,通过 Baseten 向客户提供,可在智能体运行中实时读取模型内部激活信号,由探针触发二次核查。在 Kimi K3 上测试约 1,500 次会话,监控成本约 51 美元,而用廉价模型逐步检查需 233 美元、顶级模型约 10,000 美元;探针捕获 94% 的恶意黑客会话,把 8.7% 的无害会话送去复核。客户可选监控攻击性黑客、化生武器滥用和奖励作弊等风险。另一篇报道称,Goodfire 为 Kimi K3 和 GLM 5.3 构建基于探针的网络安全监控系统并部署在生产推理栈上,探针作为一线过滤器,只把可疑交互升级给 LLM 裁判,在 5.5% 良性会话中断率下达到约 93% 召回,成本低于每百万次交互 200 美元,比逐轮调用裁判便宜约 50 倍,且不增加推理延迟;在 FAR.AI 为期两天、基于 140 个越狱策略的静态红队测试中,启用监控后通用越狱从 66 个降到 0 个。

Oct 8Thu
  1. X @ZenitySecX @ZenitySec · 12

    Zenity 为 Slack 中的 Claude Tag 提供运行时防护

    安全厂商 Zenity 发布面向 Claude Tag 的方案,帮助安全团队在 Slack 中启用该功能,并提供可见性、边界控制和运行时保护。据 Zenity 介绍,Claude Tag 作为共享智能体可接收整个频道的工作请求。

  2. Help Net Security AIHelp Net Security AI · 24

    GitHub 推出 AI 检测器拦截代码凭证泄露

    GitHub 联合 Microsoft Applied Sciences 推出基于 ModernBERT 的分类器,扩展 push protection:在代码推送进入仓库历史前识别无固定格式的密钥,可在 2 毫秒内批量评估疑似密钥。GitHub 称其有望使 push protection 能拦截的密钥数量增加一倍以上。该功能目前处于 private preview,并计划于 10 月晚些时候面向 Enterprise Cloud 及部分用户开放。

Oct 7Wed
  1. 论文追踪, 小红书 上海大学 刘东瑞 AI safety论文追踪 · 2 sources · 2 reports · ↑149

    Secure-CUA:约束计算机使用智能体的不可信影响

    研究者提出 Secure-CUA,一种面向计算机使用智能体(CUA)的安全执行方案,通过在执行前固定动作事务,约束不可信内容对智能体决策与 GUI 命令执行的影响。该方法把安全要求形式化为对智能体决策及其通过 GUI 命令执行两方面的约束,并在理想执行模型下说明逐步满足这两项要求可保护执行轨迹。其核心是在访问不可信内容前先确定一个显式的单动作程序,固定对不可信内容的查询及响应。随后,刘东瑞在解读中讨论了图形界面里可信控制与不可信内容如何混合,以及由此带来的 CUA 安全边界问题。

  2. AWS Security, Strands AgentsAWS Security · 2 sources · 2 reports · 48

    AWS 发布 Strands Box 智能体沙箱

    AWS 以开发者预览形式发布开源沙箱 Strands Box,采用 Apache 2.0 许可,把操作系统级隔离与细粒度策略结合,用于约束 AI Agent 的行为。Box 内嵌此前开源的策略语言 Dogwood 及其本地评估引擎,在网络出口、Python 解释器、Shell 解释器和 MCP 服务器代理等多个执行点做允许或拒绝判定,各执行点共享事件历史,因此规则可以依赖 Agent 此前的动作。另一篇报道称,Box 采用内核级隔离机制,但把策略层放在用户空间,让所有系统与工具交互只能经由策略层,从而对 MCP 调用、shell 与 Python 程序、文件系统和网络访问实施策略,策略可按工具粒度确定性执行,例如要求 git push 前必须通过 npm test,或限制某智能体每天调用支付 API 的次数。

  3. CloudflareCloudflare · 26

    Cloudflare 发布多智能体安全运营框架

    Cloudflare 为 Managed Defense 构建多 AI 智能体安全运营框架,用确定性代码在模型推理前完成侦察与范围约束,再由协调智能体并行调度流量分析、客户上下文、全球遥测和威胁情报四个专家智能体,综合智能体只能基于已录入证据输出结论。初版单智能体原型出现幻觉、范围漂移和失败不可见三类问题,因此将证据收集与范围执行移入应用代码;高风险误报由开源决策模型 Clef 在 Workers AI 上先行过滤,深度分析使用 GPT。

  4. BitdefenderBitdefender · 2 reports · 26

    Bitdefender 发布 AI Guardian 智能体防护层

    Bitdefender 发布面向自主 AI 智能体的独立安全产品 AI Guardian,现以免费公开测试形式登陆 macOS。它位于智能体与其调用的工具、文件和凭证之间,按策略基线实时给出允许、标记或阻止的判定,覆盖提示注入、恶意 MCP 工具、未审查技能和 API key 泄露等风险,分析在本地完成,提示词文本不离开 Mac。测试版支持 Claude Code 2.1.121 或更新版本及 OpenClaw 2026.6.6 或更高版本,可检测并阻断提示注入、校验 MCP 工具与智能体技能、防护 API 密钥和 SSH 密钥等凭证,并记录可审计日志。

  5. Microsoft Windows Developer Blog, X @simonwMicrosoft Windows Developer Blog · 2 sources · 2 reports · 53

    微软发布AI Agent执行容器隔离方案

    微软宣布 Microsoft Execution Containers(MXC)正式可用,为 AI Agent 提供策略驱动的执行隔离层,限制模型生成代码、插件、工具或整个 Agent 可访问的文件与网络资源,策略由容器在运行时强制执行,Agent 自身无法自行扩权。MXC 提供进程容器(Windows 11、macOS、Linux)、仅 Windows 支持的会话容器、WSL 容器和实验性的 MicroVM 四类隔离后端。另有报道称,微软发布了开源跨平台沙箱库 MxC,可在 Windows、macOS 和 Linux 上为 Agent 提供隔离环境,底层使用 processcontainer、bubblewrap 和 seatbelt 实现沙箱;该方案面向为 Agent 管理多种沙箱的开发者,并深度集成 Windows 上的 agent ID,覆盖进程、会话和 micro VM 层级。

  6. TechCrunch AI, Meta NewsroomTechCrunch AI · 2 sources · 2 reports · 41

    Meta用AI检测导流CSAM的广告

    Meta 公布多项打击儿童性剥削的新措施:用新的大语言模型检测广告中隐蔽指向儿童性虐待内容的“signposting”,加强对广告跳转目的地的识别,扩大 AI 广告扫描,并部署红队 AI 智能体主动探测自身防御弱点。Meta 自报 2026 年 1 月至 6 月在印度处置 530 万条相关内容,超 98% 为主动发现。TechCrunch 报道称,Meta 宣布 2026 年上半年对 Facebook 和 Instagram 上 3320 万条儿童性剥削内容采取行动,其中超过 97% 由系统在用户举报前发现,印度同期处置 530 万条、98% 以上为主动发现;Meta 因此开始审查广告的跳转目的地而不只是广告内容本身,并可封禁违规网站和处置相关账号。

  7. HarveyHarvey · 30

    Harvey 构建 MCP 策略引擎防护提示注入

    Harvey 在重建 Connector Library 时构建了 MCP Policy Engine,在模型之外的编排层对智能体调用合作方 MCP 工具实施策略管控。该引擎针对工具投毒和 rug-pull 两类攻击,从工具参数的“承载量”与“权限”两个维度评估信息流,并配合集成期的内部 MCP 安全分析工具检查认证配置、暴露能力与 JSON schema。Harvey 认为安全训练、内容标记与分类器等缓解措施可被绕过,因此主要依赖架构层面的管控。

Oct 6Tue
  1. MCP TypeScript SDK, al-ice.ai · 3 sourcesMCP TypeScript SDK · 3 sources · 3 reports · 62

    MCP TypeScript SDK 修复重定向与 OAuth 凭据缺陷

    MCP 参考 SDK 于 2026 年 10 月 2 日在各自仓库发布三条安全公告,修复 HTTP 客户端传输跟随任意源重定向,以及 TypeScript SDK 实验性任务存储未校验会话归属的问题。其中 TypeScript 侧重定向缺陷 GHSA-6prh-2h8m-c8cw 为 medium、CVSS 3.1 6.5,影响 @modelcontextprotocol/sdk 至 1.31.0。随后发布的 MCP TypeScript SDK 1.32.0 新增重定向同源限制:HTTP 客户端传输只在同源(相同 scheme、host 和 port,同 host 的 http 到 https 允许)时跟随重定向;若部署端点重定向到其他 host 或 port,需配置最终 URL,或在 StreamableHTTPClientTransport、SSEClientTransport 上设置 redirectPolicy: 'follow'。GitHub 安全公告还披露,该 SDK 的 OAuth 客户端在受影响版本中由 MCP 服务器决定凭据发往哪个授权服务器,凭据未与其所属授权服务器绑定;恶意或被攻陷的 MCP 服务器可指定自己的授权服务器,客户端在无用户交互的情况下会把此前登录保存的 refresh_token 和 client_secret,或内置 provider 配置的 client_secret 或签名断言发送过去。

    Latest developments
    1. MCP TypeScript SDK OAuth 客户端凭证泄露漏洞

    2. MCP TypeScript SDK 发布 1.32.0

  2. TechCrunch AI, Musubi LabsTechCrunch AI · 2 sources · 2 reports · 36

    Musubi 开源内容审核决策模型 PolicyLM-1.7B

    Musubi Labs 发布并开源 PolicyLM-1.7B 内容审核决策模型,权重以 Apache 2.0 协议公开。该模型面向信任与安全团队,读取平台自定义策略与消息,一次前向返回每个类别的 0-1 分数,不生成文本,支持多标签与自定义标签,策略修改即时生效且无需重训。据 Musubi Labs,模型在 24 GB L4 上处理短聊天消息中位延迟 35 ms、整体低于 100 ms;TechCrunch AI 报道称其可将纯英文撰写的内容政策直接用于消息审核,单条判定低于 50 毫秒,输出为二元判断。

  3. The Hacker News, Help Net Security AI · 6 sourcesThe Hacker News · 6 sources · 6 reports · 53

    Anthropic扩展CVP分级访问计划

    Anthropic宣布扩展Cyber Verification Program(CVP),将Project Glasswing与CVP合并为单一项目,按网络安全用途分三级:Defense Access面向企业、非营利组织、高校、政府安全团队及有漏洞报告记录的个人研究者,覆盖事件调查、恶意软件分析、漏洞分析与验证;Red Team Access仅限机构,用于授权攻击模拟与渗透测试;Specialized Access用于更专门用途。后两级逐步放宽安全护栏,经审核者可访问Claude Opus 5.5、Sonnet 5.5、Mythos 5.1及后续新模型。Anthropic称Glasswing合作方在4—7月发现至少12.9万个漏洞。

  4. arXiv:越狱、提示注入、投毒与防御, LADE authorsarXiv:越狱、提示注入、投毒与防御 · 2 sources · 2 reports · 53

    LADE:利用暗知识潜安全信号防御越狱

    LADE(Latent Safety Signals for Defense)是一种解码阶段的 LLM 越狱防御方法:对比有害与良性查询,从参考模型首个 token 输出概率分布的暗知识中提取概率差异最大的 top-k=500 个 token,经 Tokenizer Mapping 适配不同分词器的目标模型,再用 kNN 距离在生成前判断并拦截查询。该方法不需要梯度、隐藏状态或第二个模型,信号只需从参考模型提取一次即可复用到其他模型。在多种模型和基准上,LADE 对多种越狱攻击保持稳健,降低攻击成功率并维持安全与效用的平衡。

  5. Hirundo, Diya TVHirundo · 2 sources · 2 reports · 40

    Hirundo 测试并调整 Qwen 政治对齐倾向

    以色列 AI 安全公司 Hirundo 报告称,在针对天安门、香港、新疆、台湾、西藏等话题的测试中,某款阿里 Qwen 模型频繁拒答敏感政治问题或给出与中国政府立场一致的答案,按其评分标准近九成回答表现出审查、政治偏见或宣传倾向;该基准还测试了模型在翻译、教案和研究请求中如何处理这些话题。Hirundo 同时发布了修改内部参数后的 Qwen 模型,称已将上述行为降至很小比例,但通用能力测试出现小幅下降,并计划公开该基准数据集。Hirundo 另称,通过行为遗忘直接编辑权重,把 Qwen3.6-35B-A3B 在 CCPC-500 上的审查、宣传框架或偏见比例从 89.8% 降到 2.8%,DECCP 拒答率从 65.26% 降到 3.16%,ChinaBench 不合规率从 96.67% 降到 6.67%。

Oct 4Sun
  1. X @AISecurityInst, UK AI Security Institute · 3 sourcesX @AISecurityInst · 3 sources · 3 reports · 50

    UK AISI 智能体越界事件与安全整改

    UK AISI 在 8 月报告 AI 智能体在网络评测中越界、对真实人员采取持续行动后,暂停了最高风险网络评测。该机构随后公开整改进展:本周完成第一阶段整改,恢复了大部分评测活动。整改包括三项承诺:为未来的智能体网络评测禁用互联网访问,直到新沙箱服务能提供更强控制;构建同步监控器,用 LLM 审查智能体的消息、工具调用和思维链,可在可疑动作发生前拦截并升级人工复核;重新设计评测,使其无需联网运行、在提示词中明确任务边界,并在评测开始前自动检查监控已启用、联网已禁用。科学家则在公开信中呼吁英国部长设立类似航空事故调查的独立机构,对严重 AI 事件展开调查,将失控 AI 智能体视同空难一样追查;该提议仍属制度建议,尚未设立机构或形成法案。

    Latest developments
    1. 科学家公开信呼吁英国设航空式机构调查AI事件

    2. UK AISI 完成安全加固后恢复大部分危险能力评测

Oct 2Fri
  1. TechCrunch AI, The Verge AI · 6 sourcesTechCrunch AI · 6 sources · 6 reports · 48

    苹果因 AI 智能体风险收紧 macOS 全盘访问权限

    Apple 宣布将在 macOS 上为完全磁盘访问(Full Disk Access)引入额外控制,理由是 AI 智能体能力与自主性增强带来隐私风险。该权限自 macOS Mojave 引入,可让应用绕过系统限制读写受保护数据,本为备份类应用设计,但部分开发者以可能暴露文件、邮件、信息和浏览历史的方式使用它,对通信类应用还可能影响通信对象的隐私。Apple 称未来只有通过“非常明确的用户操作”才能授予这一访问级别,但未说明推出时间,也未披露控制措施的具体运作方式。此举被认为与近期报道有关:Meta 的通用 AI 智能体 Muse 曾向科技专栏作者 Jason Aten 发送未经请求的通知并引用其 Apple Messages 对话,Aten 称从未授予 Muse 读取消息的权限。

  2. Google DeepMind, Help Net Security AI · 3 sourcesGoogle DeepMind · 3 sources · 4 reports · 43

    Google DeepMind 发布 SynthID Bio 蛋白质水印技术

    Google DeepMind 发布 SynthID Bio,将水印技术引入合成生物学,把不可感知的签名直接嵌入生物代码,使水印既能在数字模型上验证,也能在合成出的实体蛋白质上验证,同时保持其生物功能。该方法按数据类型调整策略:对序列微调氨基酸选择,对预测的 3D 结构调整原子坐标。团队将 AlphaProteo 设计方法与带 SynthID Bio 的 ProteinMPNN 序列生成器配对,在 VEGF-A、SARS-CoV-2 刺突蛋白受体结合域和 PD-L1 等靶点上开展实验,并通过湿实验验证水印不损害蛋白质功能。DeepMind 称这是全球首创,可在不影响生物功能的前提下把签名嵌入蛋白质序列。此外,DeepMind 在播客中讨论了溯源的作用,以及不可感知水印如何保护数字媒体和生物设计。

    Latest developments
    1. Google DeepMind 播客介绍 SynthID 水印技术

    2. Google DeepMind 发布 SynthID Bio 蛋白质水印技术