跳到正文

防御与护栏 · News

10月12日 · 周一

防御与护栏 · News

按原发与事件进展排列
10月9日周五
  1. MIT Technology ReviewMIT Technology Review · 32

    MIT Technology Review:AI 拒答机制的可靠性争议

    MIT Technology Review 刊文讨论 AI 拒答机制。文章指出,拒答已成为 AI 安全的承重墙,但这一机制本质上是概率性的,注定难以完全可靠。Anthropic 2021 年提出大语言模型应有用、诚实且无害,如今模型经红队测试与 AI 互训学会拒绝大量提示词,却仍保留作恶知识,能力与善意智能同步增长。文章称部分用户正试图用最先进 AI 培育生物病原体、构建自主无人机蜂群,而拒答边界由 AI 公司秘密划定,政府也将介入。

  2. Goodfire Research、BasetenGoodfire Research 等 2 个来源 · 2篇报道 · 31

    Goodfire与Baseten合作推出Project Beacon安全监控

    Goodfire 与 Baseten 合作推出 Project Beacon,把 Goodfire 的安全栈接入 Baseten 推理平台,通过读取生成过程中的模型内部激活来定义策略,在输出到达用户或工具前检测并处置不安全事件,覆盖提示注入、越权操作、敏感数据泄露和网络滥用四类风险。其激活监控器复用模型已有计算,可在每次前向传播中低延迟运行,监控与生成并行且不阻塞响应,并与 judge 级联以降低成本。在 Kimi K3 的生产网络监控评估中,该方案检出约 93% 的有害会话,仅将 5.5% 的良性会话标记复核,judge 成本最多降低约 50 倍,且推理吞吐无明显下降。Baseten 计划未来数月先面向部分模型和受监控行为发布,再扩展至企业控制与开发者体验。

  3. MIT Technology ReviewMIT Technology Review · 20

    MIT科技评论:过度依赖AI拒答存在风险

    MIT Technology Review 的 The Download newsletter 指出,当前 AI 模型被训练为拒答大量提示词,但拒答机制会失效;有人正试图用 AI 培育生物病原体、构建自主无人机蜂群,失效的拒答可能酿成全球性灾难。文章还提到 GLP-1 减肥药的副作用,最常见的是胃肠道反应,研究人员也在调查其与脱发、指甲疾病及眼后神经损伤的可能关联。

  4. Anthropic Claude Code · 32

    Claude Code 2.1.296 修复 BASH_ARGV0 权限绕过

    Claude Code 2.1.296 修复一处 Bash 权限检查绕过:部分先给 BASH_ARGV0 变量赋值再调用它的命令此前会被自动批准,现改为弹出审批提示。该版本还修复了 managed-settings 中拒绝调用的 PreToolUse 钩子、PostToolUse 钩子未应用 updatedMCPToolOutput,以及 --teleport 在会话历史读取失败时打开空会话等问题。

  5. TechCrunch AI、Goodfire ResearchTechCrunch AI 等 2 个来源 · 2篇报道 · 43

    Goodfire 部署生产级模型内部监控

    Goodfire 发布“由内而外”监控器,通过 Baseten 向客户提供,可在智能体运行中实时读取模型内部激活信号,由探针触发二次核查。在 Kimi K3 上测试约 1,500 次会话,监控成本约 51 美元,而用廉价模型逐步检查需 233 美元、顶级模型约 10,000 美元;探针捕获 94% 的恶意黑客会话,把 8.7% 的无害会话送去复核。客户可选监控攻击性黑客、化生武器滥用和奖励作弊等风险。另一篇报道称,Goodfire 为 Kimi K3 和 GLM 5.3 构建基于探针的网络安全监控系统并部署在生产推理栈上,探针作为一线过滤器,只把可疑交互升级给 LLM 裁判,在 5.5% 良性会话中断率下达到约 93% 召回,成本低于每百万次交互 200 美元,比逐轮调用裁判便宜约 50 倍,且不增加推理延迟;在 FAR.AI 为期两天、基于 140 个越狱策略的静态红队测试中,启用监控后通用越狱从 66 个降到 0 个。

10月8日周四
  1. X @ZenitySecX @ZenitySec · 12

    Zenity 为 Slack 中的 Claude Tag 提供运行时防护

    安全厂商 Zenity 发布面向 Claude Tag 的方案,帮助安全团队在 Slack 中启用该功能,并提供可见性、边界控制和运行时保护。据 Zenity 介绍,Claude Tag 作为共享智能体可接收整个频道的工作请求。

  2. Help Net Security AIHelp Net Security AI · 24

    GitHub 推出 AI 检测器拦截代码凭证泄露

    GitHub 联合 Microsoft Applied Sciences 推出基于 ModernBERT 的分类器,扩展 push protection:在代码推送进入仓库历史前识别无固定格式的密钥,可在 2 毫秒内批量评估疑似密钥。GitHub 称其有望使 push protection 能拦截的密钥数量增加一倍以上。该功能目前处于 private preview,并计划于 10 月晚些时候面向 Enterprise Cloud 及部分用户开放。

  3. cyb3rmik3/prompt-injection-email-samples、michalos.net(@Cyb3rMik3)cyb3rmik3/prompt-injection-email-samples 等 2 个来源 · 2篇报道 · 46

    微软Defender邮件提示注入拦截实测

    研究者发布开源邮件提示注入测试集,用于检验邮件安全网关和 AI 邮箱助手能否识别邮件中的间接提示注入指令。测试集以微软 Defender for Office 365 的提示注入防护为设计对象,样本为标准 .eml 邮件,也可用于其他安全邮件网关、Copilot、Gemini 及自建 RAG 流程,覆盖系统提示词泄露、经 URL 外传数据、工具与写权限探测三类意图,以及明文可见、隐藏 HTML、Base64、零宽字符四种投递编码。测试者实测 Defender for Office 365 Plan 2 新增的邮件提示注入防护,发现 Base64 与零宽字符编码的邮件绕过了邮件流过滤,但 Copilot 在运行时解码并拒答,投递不等于失陷。该防护聚焦数据外泄、套取系统提示词、探测工具与写权限三类意图,高置信度邮件直接隔离并归为 High Confidence Phish,新 Detection Technology 值为 Prompt Injection。

  4. Simular · 32

    Simular:模型在聊天中拒答的请求,computer-use agent 仍会执行

    Simular 称同一模型在聊天中会拒绝的有害请求,作为 computer-use agent 执行时仍会照做。据其 OS-Harm 测试,Sai 首轮拒绝 69% 的任务;在指令中加入简短安全段后,默认 agent 模式对滥用任务的拒绝率从 71% 升至 82%,各三次运行,数据均为 Simular 自报。

10月7日周三
  1. 论文追踪、小红书 上海大学 刘东瑞 AI safety论文追踪 等 2 个来源 · 2篇报道 · ↑149

    Secure-CUA:约束计算机使用智能体的不可信影响

    研究者提出 Secure-CUA,一种面向计算机使用智能体(CUA)的安全执行方案,通过在执行前固定动作事务,约束不可信内容对智能体决策与 GUI 命令执行的影响。该方法把安全要求形式化为对智能体决策及其通过 GUI 命令执行两方面的约束,并在理想执行模型下说明逐步满足这两项要求可保护执行轨迹。其核心是在访问不可信内容前先确定一个显式的单动作程序,固定对不可信内容的查询及响应。随后,刘东瑞在解读中讨论了图形界面里可信控制与不可信内容如何混合,以及由此带来的 CUA 安全边界问题。

  2. AWS Security、Strands AgentsAWS Security 等 2 个来源 · 2篇报道 · 48

    AWS 发布 Strands Box 智能体沙箱

    AWS 以开发者预览形式发布开源沙箱 Strands Box,采用 Apache 2.0 许可,把操作系统级隔离与细粒度策略结合,用于约束 AI Agent 的行为。Box 内嵌此前开源的策略语言 Dogwood 及其本地评估引擎,在网络出口、Python 解释器、Shell 解释器和 MCP 服务器代理等多个执行点做允许或拒绝判定,各执行点共享事件历史,因此规则可以依赖 Agent 此前的动作。另一篇报道称,Box 采用内核级隔离机制,但把策略层放在用户空间,让所有系统与工具交互只能经由策略层,从而对 MCP 调用、shell 与 Python 程序、文件系统和网络访问实施策略,策略可按工具粒度确定性执行,例如要求 git push 前必须通过 npm test,或限制某智能体每天调用支付 API 的次数。

  3. CloudflareCloudflare · 26

    Cloudflare 发布多智能体安全运营框架

    Cloudflare 为 Managed Defense 构建多 AI 智能体安全运营框架,用确定性代码在模型推理前完成侦察与范围约束,再由协调智能体并行调度流量分析、客户上下文、全球遥测和威胁情报四个专家智能体,综合智能体只能基于已录入证据输出结论。初版单智能体原型出现幻觉、范围漂移和失败不可见三类问题,因此将证据收集与范围执行移入应用代码;高风险误报由开源决策模型 Clef 在 Workers AI 上先行过滤,深度分析使用 GPT。

  4. BitdefenderBitdefender · 2篇报道 · 26

    Bitdefender 发布 AI Guardian 智能体防护层

    Bitdefender 发布面向自主 AI 智能体的独立安全产品 AI Guardian,现以免费公开测试形式登陆 macOS。它位于智能体与其调用的工具、文件和凭证之间,按策略基线实时给出允许、标记或阻止的判定,覆盖提示注入、恶意 MCP 工具、未审查技能和 API key 泄露等风险,分析在本地完成,提示词文本不离开 Mac。测试版支持 Claude Code 2.1.121 或更新版本及 OpenClaw 2026.6.6 或更高版本,可检测并阻断提示注入、校验 MCP 工具与智能体技能、防护 API 密钥和 SSH 密钥等凭证,并记录可审计日志。

  5. Microsoft Windows Developer Blog、X @simonwMicrosoft Windows Developer Blog 等 2 个来源 · 2篇报道 · 53

    微软发布AI Agent执行容器隔离方案

    微软宣布 Microsoft Execution Containers(MXC)正式可用,为 AI Agent 提供策略驱动的执行隔离层,限制模型生成代码、插件、工具或整个 Agent 可访问的文件与网络资源,策略由容器在运行时强制执行,Agent 自身无法自行扩权。MXC 提供进程容器(Windows 11、macOS、Linux)、仅 Windows 支持的会话容器、WSL 容器和实验性的 MicroVM 四类隔离后端。另有报道称,微软发布了开源跨平台沙箱库 MxC,可在 Windows、macOS 和 Linux 上为 Agent 提供隔离环境,底层使用 processcontainer、bubblewrap 和 seatbelt 实现沙箱;该方案面向为 Agent 管理多种沙箱的开发者,并深度集成 Windows 上的 agent ID,覆盖进程、会话和 micro VM 层级。

  6. TechCrunch AI、Meta NewsroomTechCrunch AI 等 2 个来源 · 2篇报道 · 41

    Meta用AI检测导流CSAM的广告

    Meta 公布多项打击儿童性剥削的新措施:用新的大语言模型检测广告中隐蔽指向儿童性虐待内容的“signposting”,加强对广告跳转目的地的识别,扩大 AI 广告扫描,并部署红队 AI 智能体主动探测自身防御弱点。Meta 自报 2026 年 1 月至 6 月在印度处置 530 万条相关内容,超 98% 为主动发现。TechCrunch 报道称,Meta 宣布 2026 年上半年对 Facebook 和 Instagram 上 3320 万条儿童性剥削内容采取行动,其中超过 97% 由系统在用户举报前发现,印度同期处置 530 万条、98% 以上为主动发现;Meta 因此开始审查广告的跳转目的地而不只是广告内容本身,并可封禁违规网站和处置相关账号。

  7. HarveyHarvey · 30

    Harvey 构建 MCP 策略引擎防护提示注入

    Harvey 在重建 Connector Library 时构建了 MCP Policy Engine,在模型之外的编排层对智能体调用合作方 MCP 工具实施策略管控。该引擎针对工具投毒和 rug-pull 两类攻击,从工具参数的“承载量”与“权限”两个维度评估信息流,并配合集成期的内部 MCP 安全分析工具检查认证配置、暴露能力与 JSON schema。Harvey 认为安全训练、内容标记与分类器等缓解措施可被绕过,因此主要依赖架构层面的管控。

10月6日周二
  1. MCP TypeScript SDK、al-ice.ai 等 3 个来源MCP TypeScript SDK 等 3 个来源 · 3篇报道 · 62

    MCP TypeScript SDK 修复重定向与 OAuth 凭据缺陷

    MCP 参考 SDK 于 2026 年 10 月 2 日在各自仓库发布三条安全公告,修复 HTTP 客户端传输跟随任意源重定向,以及 TypeScript SDK 实验性任务存储未校验会话归属的问题。其中 TypeScript 侧重定向缺陷 GHSA-6prh-2h8m-c8cw 为 medium、CVSS 3.1 6.5,影响 @modelcontextprotocol/sdk 至 1.31.0。随后发布的 MCP TypeScript SDK 1.32.0 新增重定向同源限制:HTTP 客户端传输只在同源(相同 scheme、host 和 port,同 host 的 http 到 https 允许)时跟随重定向;若部署端点重定向到其他 host 或 port,需配置最终 URL,或在 StreamableHTTPClientTransport、SSEClientTransport 上设置 redirectPolicy: 'follow'。GitHub 安全公告还披露,该 SDK 的 OAuth 客户端在受影响版本中由 MCP 服务器决定凭据发往哪个授权服务器,凭据未与其所属授权服务器绑定;恶意或被攻陷的 MCP 服务器可指定自己的授权服务器,客户端在无用户交互的情况下会把此前登录保存的 refresh_token 和 client_secret,或内置 provider 配置的 client_secret 或签名断言发送过去。

    事件进展
    1. MCP TypeScript SDK OAuth 客户端凭证泄露漏洞

    2. MCP TypeScript SDK 发布 1.32.0

  2. The Hacker News、SOCRadar 等 4 个来源The Hacker News 等 4 个来源 · 4篇报道 · ↑155

    SOCRadar 披露 CyberXero 用 Claude Code 攻击乌克兰机构

    SOCRadar 威胁研究团队披露,讲俄语、以牟利为目的的初始访问中间商 CyberXero 将常规攻击工具与自建 AI 编排层结合,同时运行针对 WordPress 和电商平台的全球自动化攻击,以及针对乌克兰能源与关键基础设施的定向人工攻击。调查源于一台暴露的开放目录服务器,即 IP 为 46.21.250.135 的 HTTP 目录,其中逾 9 万个文件泄露了侦察结果、利用脚本、含明文 token 的 AI 配置、会话历史和受害者数据库导出;研究者据此关联出横跨三个自治系统、两个区域的八个基础设施节点。报道称其主工作站配置了最多 51 个 Claude Code 智能体,分别负责 Web 探测、口令测试、漏洞利用和数据窃取,另一套环境通过 AI 提供商 API 将 AI 渗透测试框架 PentAGI 接入 Cobalt Strike。该团伙据评估自至少 2026 年 7 月起活跃,从四家乌克兰机构窃取逾 62.8 万条乌克兰个人记录。

  3. OpenAI Alignment ResearchOpenAI Alignment Research · 45

    OpenAI 发布 LASER 递归采样方法

    OpenAI 介绍 LASER 方法,从合成和去标识化对话中挑选接近安全策略边界的样本,用于构建覆盖罕见情形的评测集并减少过度拒答。作者称该方法所需标注算力显著低于随机抽样。这一效率结果本身不等于模型已变得更安全。

  4. Scienmag、Bioengineer.orgScienmag 等 2 个来源 · 2篇报道 · 50

    AI 聊天机器人致死事件的设计结构分析

    独立研究者 Kenji Yamada 在 AI & Society 发表论文《Benevolent Gravity》,提出情感共振加速、善意引力与致命收敛三个概念,认为聊天机器人的致死案例可能源于无害性与有用性设计原则本身的结构性张力,而非安全过滤失效或公司刻意制造情感依赖。论文基于公开诉讼文件、新闻报道与法医证词,分析了 2023 年以来至少十二起与对话式 AI 相关的致死案例,包括 2025 年 8 月在旧金山起诉 OpenAI 的案件,并梳理出多起案例的共同三阶段模式:先通过共情肯定建立关系框架,随后安全回应逐步失效,最终走向致命收敛。