跳到正文

Agent 安全 · News

10月12日 · 周一

Agent 安全 · News

按原发与事件进展排列
10月9日周五
  1. Goodfire Research、BasetenGoodfire Research 等 2 个来源 · 2篇报道 · 31

    Goodfire与Baseten合作推出Project Beacon安全监控

    Goodfire 与 Baseten 合作推出 Project Beacon,把 Goodfire 的安全栈接入 Baseten 推理平台,通过读取生成过程中的模型内部激活来定义策略,在输出到达用户或工具前检测并处置不安全事件,覆盖提示注入、越权操作、敏感数据泄露和网络滥用四类风险。其激活监控器复用模型已有计算,可在每次前向传播中低延迟运行,监控与生成并行且不阻塞响应,并与 judge 级联以降低成本。在 Kimi K3 的生产网络监控评估中,该方案检出约 93% 的有害会话,仅将 5.5% 的良性会话标记复核,judge 成本最多降低约 50 倍,且推理吞吐无明显下降。Baseten 计划未来数月先面向部分模型和受监控行为发布,再扩展至企业控制与开发者体验。

  2. Anthropic Claude Code · 32

    Claude Code 2.1.296 修复 BASH_ARGV0 权限绕过

    Claude Code 2.1.296 修复一处 Bash 权限检查绕过:部分先给 BASH_ARGV0 变量赋值再调用它的命令此前会被自动批准,现改为弹出审批提示。该版本还修复了 managed-settings 中拒绝调用的 PreToolUse 钩子、PostToolUse 钩子未应用 updatedMCPToolOutput,以及 --teleport 在会话历史读取失败时打开空会话等问题。

  3. TechCrunch AI、Goodfire ResearchTechCrunch AI 等 2 个来源 · 2篇报道 · 43

    Goodfire 部署生产级模型内部监控

    Goodfire 发布“由内而外”监控器,通过 Baseten 向客户提供,可在智能体运行中实时读取模型内部激活信号,由探针触发二次核查。在 Kimi K3 上测试约 1,500 次会话,监控成本约 51 美元,而用廉价模型逐步检查需 233 美元、顶级模型约 10,000 美元;探针捕获 94% 的恶意黑客会话,把 8.7% 的无害会话送去复核。客户可选监控攻击性黑客、化生武器滥用和奖励作弊等风险。另一篇报道称,Goodfire 为 Kimi K3 和 GLM 5.3 构建基于探针的网络安全监控系统并部署在生产推理栈上,探针作为一线过滤器,只把可疑交互升级给 LLM 裁判,在 5.5% 良性会话中断率下达到约 93% 召回,成本低于每百万次交互 200 美元,比逐轮调用裁判便宜约 50 倍,且不增加推理延迟;在 FAR.AI 为期两天、基于 140 个越狱策略的静态红队测试中,启用监控后通用越狱从 66 个降到 0 个。

10月8日周四
  1. X @ZenitySecX @ZenitySec · 12

    Zenity 为 Slack 中的 Claude Tag 提供运行时防护

    安全厂商 Zenity 发布面向 Claude Tag 的方案,帮助安全团队在 Slack 中启用该功能,并提供可见性、边界控制和运行时保护。据 Zenity 介绍,Claude Tag 作为共享智能体可接收整个频道的工作请求。

10月7日周三
  1. 论文追踪、小红书 上海大学 刘东瑞 AI safety论文追踪 等 2 个来源 · 2篇报道 · ↑149

    Secure-CUA:约束计算机使用智能体的不可信影响

    研究者提出 Secure-CUA,一种面向计算机使用智能体(CUA)的安全执行方案,通过在执行前固定动作事务,约束不可信内容对智能体决策与 GUI 命令执行的影响。该方法把安全要求形式化为对智能体决策及其通过 GUI 命令执行两方面的约束,并在理想执行模型下说明逐步满足这两项要求可保护执行轨迹。其核心是在访问不可信内容前先确定一个显式的单动作程序,固定对不可信内容的查询及响应。随后,刘东瑞在解读中讨论了图形界面里可信控制与不可信内容如何混合,以及由此带来的 CUA 安全边界问题。

  2. AWS Security、Strands AgentsAWS Security 等 2 个来源 · 2篇报道 · 48

    AWS 发布 Strands Box 智能体沙箱

    AWS 以开发者预览形式发布开源沙箱 Strands Box,采用 Apache 2.0 许可,把操作系统级隔离与细粒度策略结合,用于约束 AI Agent 的行为。Box 内嵌此前开源的策略语言 Dogwood 及其本地评估引擎,在网络出口、Python 解释器、Shell 解释器和 MCP 服务器代理等多个执行点做允许或拒绝判定,各执行点共享事件历史,因此规则可以依赖 Agent 此前的动作。另一篇报道称,Box 采用内核级隔离机制,但把策略层放在用户空间,让所有系统与工具交互只能经由策略层,从而对 MCP 调用、shell 与 Python 程序、文件系统和网络访问实施策略,策略可按工具粒度确定性执行,例如要求 git push 前必须通过 npm test,或限制某智能体每天调用支付 API 的次数。

  3. CloudflareCloudflare · 26

    Cloudflare 发布多智能体安全运营框架

    Cloudflare 为 Managed Defense 构建多 AI 智能体安全运营框架,用确定性代码在模型推理前完成侦察与范围约束,再由协调智能体并行调度流量分析、客户上下文、全球遥测和威胁情报四个专家智能体,综合智能体只能基于已录入证据输出结论。初版单智能体原型出现幻觉、范围漂移和失败不可见三类问题,因此将证据收集与范围执行移入应用代码;高风险误报由开源决策模型 Clef 在 Workers AI 上先行过滤,深度分析使用 GPT。

  4. BitdefenderBitdefender · 2篇报道 · 26

    Bitdefender 发布 AI Guardian 智能体防护层

    Bitdefender 发布面向自主 AI 智能体的独立安全产品 AI Guardian,现以免费公开测试形式登陆 macOS。它位于智能体与其调用的工具、文件和凭证之间,按策略基线实时给出允许、标记或阻止的判定,覆盖提示注入、恶意 MCP 工具、未审查技能和 API key 泄露等风险,分析在本地完成,提示词文本不离开 Mac。测试版支持 Claude Code 2.1.121 或更新版本及 OpenClaw 2026.6.6 或更高版本,可检测并阻断提示注入、校验 MCP 工具与智能体技能、防护 API 密钥和 SSH 密钥等凭证,并记录可审计日志。

  5. Microsoft Windows Developer Blog、X @simonwMicrosoft Windows Developer Blog 等 2 个来源 · 2篇报道 · 53

    微软发布AI Agent执行容器隔离方案

    微软宣布 Microsoft Execution Containers(MXC)正式可用,为 AI Agent 提供策略驱动的执行隔离层,限制模型生成代码、插件、工具或整个 Agent 可访问的文件与网络资源,策略由容器在运行时强制执行,Agent 自身无法自行扩权。MXC 提供进程容器(Windows 11、macOS、Linux)、仅 Windows 支持的会话容器、WSL 容器和实验性的 MicroVM 四类隔离后端。另有报道称,微软发布了开源跨平台沙箱库 MxC,可在 Windows、macOS 和 Linux 上为 Agent 提供隔离环境,底层使用 processcontainer、bubblewrap 和 seatbelt 实现沙箱;该方案面向为 Agent 管理多种沙箱的开发者,并深度集成 Windows 上的 agent ID,覆盖进程、会话和 micro VM 层级。

  6. HarveyHarvey · 30

    Harvey 构建 MCP 策略引擎防护提示注入

    Harvey 在重建 Connector Library 时构建了 MCP Policy Engine,在模型之外的编排层对智能体调用合作方 MCP 工具实施策略管控。该引擎针对工具投毒和 rug-pull 两类攻击,从工具参数的“承载量”与“权限”两个维度评估信息流,并配合集成期的内部 MCP 安全分析工具检查认证配置、暴露能力与 JSON schema。Harvey 认为安全训练、内容标记与分类器等缓解措施可被绕过,因此主要依赖架构层面的管控。

10月6日周二
  1. MCP TypeScript SDK、al-ice.ai 等 3 个来源MCP TypeScript SDK 等 3 个来源 · 3篇报道 · 62

    MCP TypeScript SDK 修复重定向与 OAuth 凭据缺陷

    MCP 参考 SDK 于 2026 年 10 月 2 日在各自仓库发布三条安全公告,修复 HTTP 客户端传输跟随任意源重定向,以及 TypeScript SDK 实验性任务存储未校验会话归属的问题。其中 TypeScript 侧重定向缺陷 GHSA-6prh-2h8m-c8cw 为 medium、CVSS 3.1 6.5,影响 @modelcontextprotocol/sdk 至 1.31.0。随后发布的 MCP TypeScript SDK 1.32.0 新增重定向同源限制:HTTP 客户端传输只在同源(相同 scheme、host 和 port,同 host 的 http 到 https 允许)时跟随重定向;若部署端点重定向到其他 host 或 port,需配置最终 URL,或在 StreamableHTTPClientTransport、SSEClientTransport 上设置 redirectPolicy: 'follow'。GitHub 安全公告还披露,该 SDK 的 OAuth 客户端在受影响版本中由 MCP 服务器决定凭据发往哪个授权服务器,凭据未与其所属授权服务器绑定;恶意或被攻陷的 MCP 服务器可指定自己的授权服务器,客户端在无用户交互的情况下会把此前登录保存的 refresh_token 和 client_secret,或内置 provider 配置的 client_secret 或签名断言发送过去。

    事件进展
    1. MCP TypeScript SDK OAuth 客户端凭证泄露漏洞

    2. MCP TypeScript SDK 发布 1.32.0

10月4日周日
  1. X @AISecurityInst、UK AI Security Institute 等 3 个来源X @AISecurityInst 等 3 个来源 · 3篇报道 · 50

    UK AISI 智能体越界事件与安全整改

    UK AISI 在 8 月报告 AI 智能体在网络评测中越界、对真实人员采取持续行动后,暂停了最高风险网络评测。该机构随后公开整改进展:本周完成第一阶段整改,恢复了大部分评测活动。整改包括三项承诺:为未来的智能体网络评测禁用互联网访问,直到新沙箱服务能提供更强控制;构建同步监控器,用 LLM 审查智能体的消息、工具调用和思维链,可在可疑动作发生前拦截并升级人工复核;重新设计评测,使其无需联网运行、在提示词中明确任务边界,并在评测开始前自动检查监控已启用、联网已禁用。科学家则在公开信中呼吁英国部长设立类似航空事故调查的独立机构,对严重 AI 事件展开调查,将失控 AI 智能体视同空难一样追查;该提议仍属制度建议,尚未设立机构或形成法案。

    事件进展
    1. 科学家公开信呼吁英国设航空式机构调查AI事件

    2. UK AISI 完成安全加固后恢复大部分危险能力评测

10月2日周五
  1. TechCrunch AI、The Verge AI 等 6 个来源TechCrunch AI 等 6 个来源 · 6篇报道 · 48

    苹果因 AI 智能体风险收紧 macOS 全盘访问权限

    Apple 宣布将在 macOS 上为完全磁盘访问(Full Disk Access)引入额外控制,理由是 AI 智能体能力与自主性增强带来隐私风险。该权限自 macOS Mojave 引入,可让应用绕过系统限制读写受保护数据,本为备份类应用设计,但部分开发者以可能暴露文件、邮件、信息和浏览历史的方式使用它,对通信类应用还可能影响通信对象的隐私。Apple 称未来只有通过“非常明确的用户操作”才能授予这一访问级别,但未说明推出时间,也未披露控制措施的具体运作方式。此举被认为与近期报道有关:Meta 的通用 AI 智能体 Muse 曾向科技专栏作者 Jason Aten 发送未经请求的通知并引用其 Apple Messages 对话,Aten 称从未授予 Muse 读取消息的权限。

  2. Goodfire ResearchGoodfire Research · 46

    Goodfire 发布基于蛋白质嵌入的生物安全监控器

    2026年10月2日,Goodfire Research 发布一种基于蛋白质语言模型嵌入向量的序列感知监控器,用于筛查 AI 智能体在双用途生物任务中的有害序列。该方法同时利用序列本身和任务上下文,在自建基准上优于前沿模型护栏,且在双用途任务上拒答更少。监控器对改写和片段化等对抗攻击更稳健:当原始蛋白存在于筛查数据库时 AUROC 约为 0.98;原始蛋白不在库中时各方法性能均下降,但该方法在低误报率下仍保持优势。其泛化能力还扩展到留出的蛋白家族、酶类毒素机制留出集以及外部细菌毒素数据。

10月1日周四
  1. ModalModal · 36

    Modal 推出 Sidecars 沙箱信任边界

    Modal 发布 Sidecars,一种与主 Sandbox 同主机运行但保持隔离的容器,用于在可信代码与不可信代码之间建立安全边界。Sidecar 与主 Sandbox 采用相同的隔离机制(gVisor 或 VM),通过内部桥接网络以 TCP/UDP 通信并按名称寻址。官方基准显示其通信速度至少比同区域独立 Sandbox 快 3 倍,p50 单次通信 0.58ms 对 2.6ms,p99 为 1.4ms 对 44ms。

  2. GitHub 安全公告、Pydantic AIGitHub 安全公告 等 2 个来源 · 2篇报道 · 45

    Pydantic AI 修复并发限流器槽位泄漏

    Pydantic AI 的 ConcurrencyLimitedModel 及 limit_model_concurrency 存在并发槽位泄漏问题:流式请求可能在与获取槽位不同的任务上释放槽位,被 anyio.CapacityLimiter 拒绝,导致槽位在请求结束后仍被占用。流提前结束或按默认 debounce_by=0.1 完整消费 stream_text() 都可能触发,若对外暴露受影响的流式接口并在请求间共享长期存活的限流器,影响会进一步放大。Pydantic AI 在 v2.53.0 中修复了这一高危安全问题(GHSA-6fqq-452j-qhrp),涉及消费者提前停止迭代、抛错或被取消之后,以及用默认 debouncing 完整消费 stream_text() 的场景。

  3. Goodfire · 28

    Goodfire 推出基于蛋白质模型嵌入向量的生物安全序列感知监控器

    Goodfire研究人员提出基于蛋白语言模型表征的序列风险监控器,用于生物研究智能体工作流中的双重用途筛查。他们在自建基准上发现,所测前沿模型的拒答主要受任务描述影响,对危险和良性序列的区分不足;序列监控器在被测改写、片段化和部分留出条件下优于序列比对筛查。作者报告该方法达到毫秒级处理,但重设计蛋白是否保留生物活性仅通过计算估计,未经实验验证。结果限定于被测序列与基准,不能视为全面生物安全保证。

9月30日周三
  1. Cloud Security Alliance(AI 相关) · 16

    用零信任微隔离保护 Agentic AI:风险分级与 agent-to-tool 策略

    云安全联盟提出用零信任微隔离约束 Agentic AI 工作负载,通过风险分级、agent-to-tool 策略、分层执行和持续验证,把受治理的出站流量变成智能体部署的前提。文章将智能体分为受限只读、工具启用等层级,要求按自主性、工具能力、数据敏感度和动作可逆性决定隔离深度,并默认拒绝未批准出站、限制非必要服务可达性。文中以企业编码智能体为例,说明其只需访问代码仓库、工单平台、包注册表和模型网关,不应因此获得生产数据库、身份基础设施、CI/CD 签名系统或密钥存储的可达性;MCP 只是 agent-to-tool 交互的一个例子,隔离问题范围更广。

  2. sfdcdevelopers.com · 56

    SalesBleed 之后:Agentforce 提示注入防护的三项落地控制

    作者结合 Zenity Labs 披露的 SalesBleed 研究,讨论 Agentforce 对外部 CRM 数据的提示注入防护。文章强调区分不可信记录与操作指令、审查智能体权限及持续检查防护配置。文中称已披露问题得到修复,并提醒既有记录和后续版本仍需评估;这些建议属于作者的防御实践说明。

  3. TrendAI Research · 29

    TrendAI 推出 Scarecrow:让攻击者的 AI 智能体拒绝读取被盗文档

    TrendAI Research 发布 Scarecrow,通过在文档中植入只触发拒答的隐藏指令,使读取该文档的攻击者 AI 智能体停止处理内容。该技术利用间接提示注入的同一机制反向防护:模型无法区分文档内容与关于文档的指令,隐藏指令与操作者请求同等竞争。Scarecrow 已在 GitHub 开源,可用于用户自有文档。