Skip to content

Translation in progress Some entries still include text in the original language.

Defenses and guardrails · News

Oct 12 · Monday

Defenses and guardrails · News

Latest publications and developments
Defenses and guardrails

Research topics

Prompt injectionAgent safetyDeception and schemingReward hackingChain-of-thought monitoringInterpretabilityAI controlBackdoors and poisoning隐私与数据泄露Supply-chain securityDangerous capabilitiesAI 与网络攻防开源模型安全Red teaming

Companies and institutions

OpenAIAnthropicGoogle DeepMindGoogle ResearchGoogle 安全MetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

Reports and frameworks

System CardFrontier safety frameworks

Current:Defenses and guardrails

Oct 9Fri
  1. MIT Technology ReviewMIT Technology Review · 32

    MIT Technology Review: Disputes over the reliability of AI refusal mechanisms

    MIT Technology Review article discusses AI refusal mechanisms. The article points out that refusal has become a load-bearing wall of AI safety, but this mechanism is probabilistic in nature and destined to be difficult to make fully reliable. In 2021, Anthropic proposed that large language models should be helpful, honest, and harmless. Now models learn to refuse a large number of prompts through red team testing and AI-to-AI training, yet still retain knowledge for doing harm, with capability and benign intelligence growing in tandem. The article says some users are trying to use the most advanced AI to cultivate biological pathogens and build autonomous drone swarms, while the refusal boundary is secretly drawn by AI companies, and governments will also intervene.

  2. Goodfire Research, BasetenGoodfire Research · 2 sources · 2 reports · 31

    Goodfire and Baseten partner to launch Project Beacon safety monitoring

    Goodfire and Baseten are collaborating on Project Beacon, integrating Goodfire's safety stack into the Baseten inference platform, defining policies by reading the model's internal activations during generation, detecting and handling unsafe events before outputs reach users or tools, covering four risk categories: prompt injection, unauthorized operations, sensitive data leakage, and network abuse. Its activation monitor reuses the model's existing computation, can run with low latency in each forward pass, monitors in parallel with generation without blocking responses, and cascades with judges to reduce costs. In production network monitoring evaluations on Kimi K3, the approach detected about 93% of harmful sessions, flagged only 5.5% of benign sessions for review, reduced judge costs by up to about 50x, with no significant drop in inference throughput. Baseten plans to release first for select models and monitored behaviors in the coming months, then expand to enterprise controls and developer experience.

  3. MIT Technology ReviewMIT Technology Review · 20

    MIT Technology Review: Over-reliance on AI refusals carries risks

    MIT Technology Review's The Download newsletter points out that current AI models are trained to refuse a large number of prompts, but the refusal mechanism can fail; some people are trying to use AI to cultivate biological pathogens and build autonomous drone swarms, and failed refusals could lead to a global catastrophe. The article also mentions the side effects of GLP-1 weight-loss drugs, the most common being gastrointestinal reactions, and researchers are also investigating possible associations with hair loss, nail disease, and nerve damage behind the eye.

  4. Anthropic Claude Code · 32

    Claude Code 2.1.296 fixes BASH_ARGV0 permission bypass

    Claude Code 2.1.296 fixes a Bash permission check bypass: some commands that first assign a value to the BASH_ARGV0 variable and then call it were previously auto-approved, and now they prompt for approval. This version also fixes issues such as PreToolUse hooks with denied calls in managed-settings, PostToolUse hooks not applying updatedMCPToolOutput, and --teleport opening an empty session when session history reading fails.

  5. TechCrunch AI, Goodfire ResearchTechCrunch AI · 2 sources · 2 reports · 43

    Goodfire 部署生产级模型内部监控

    Goodfire 发布“由内而外”监控器，通过 Baseten 向客户提供，可在智能体运行中实时读取模型内部激活信号，由探针触发二次核查。在 Kimi K3 上测试约 1,500 次会话，监控成本约 51 美元，而用廉价模型逐步检查需 233 美元、顶级模型约 10,000 美元；探针捕获 94% 的恶意黑客会话，把 8.7% 的无害会话送去复核。客户可选监控攻击性黑客、化生武器滥用和奖励作弊等风险。另一篇报道称，Goodfire 为 Kimi K3 和 GLM 5.3 构建基于探针的网络安全监控系统并部署在生产推理栈上，探针作为一线过滤器，只把可疑交互升级给 LLM 裁判，在 5.5% 良性会话中断率下达到约 93% 召回，成本低于每百万次交互 200 美元，比逐轮调用裁判便宜约 50 倍，且不增加推理延迟；在 FAR.AI 为期两天、基于 140 个越狱策略的静态红队测试中，启用监控后通用越狱从 66 个降到 0 个。

Oct 8Thu
  1. X @ZenitySecX @ZenitySec · 12

    Zenity 为 Slack 中的 Claude Tag 提供运行时防护

    安全厂商 Zenity 发布面向 Claude Tag 的方案，帮助安全团队在 Slack 中启用该功能，并提供可见性、边界控制和运行时保护。据 Zenity 介绍，Claude Tag 作为共享智能体可接收整个频道的工作请求。

  2. Help Net Security AIHelp Net Security AI · 24

    GitHub 推出 AI 检测器拦截代码凭证泄露

    GitHub 联合 Microsoft Applied Sciences 推出基于 ModernBERT 的分类器，扩展 push protection：在代码推送进入仓库历史前识别无固定格式的密钥，可在 2 毫秒内批量评估疑似密钥。GitHub 称其有望使 push protection 能拦截的密钥数量增加一倍以上。该功能目前处于 private preview，并计划于 10 月晚些时候面向 Enterprise Cloud 及部分用户开放。

  3. cyb3rmik3/prompt-injection-email-samples, michalos.net（@Cyb3rMik3）cyb3rmik3/prompt-injection-email-samples · 2 sources · 2 reports · 46

    Hands-on test of Microsoft Defender email prompt injection blocking

    Researchers released an open-source email prompt injection test set for testing whether email security gateways and AI email assistants can identify indirect prompt injection instructions in emails. The test set is designed with Microsoft Defender for Office 365's prompt injection protection in mind; samples are standard .eml emails and can also be used with other secure email gateways, Copilot, Gemini, and custom RAG pipelines. It covers three intent categories—system prompt leakage, data exfiltration via URLs, and probing of tools and write permissions—and four delivery encodings: plaintext visible, hidden HTML, Base64, and zero-width characters. Testers tested the new email prompt injection protection in Defender for Office 365 Plan 2 and found that emails with Base64 and zero-width character encoding bypassed mail flow filtering, but Copilot decoded and refused to answer at runtime; delivery does not equal compromise. The protection focuses on three intent categories: data exfiltration, extracting system prompts, and probing tools and write permissions. High-confidence emails are directly quarantined and classified as High Confidence Phish, with the new Detection Technology value set to Prompt Injection.

  4. Simular · 32

    Simular: requests the model refuses in chat are still executed by the computer-use agent

    Simular says the same model that refuses harmful requests in chat will still carry them out when acting as a computer-use agent. According to its OS-Harm test, Sai refused 69% of tasks in the first round; after adding a short safety passage to the instructions, the default agent mode's refusal rate for abuse tasks rose from 71% to 82%, with three runs each, and all data is self-reported by Simular.

Oct 7Wed
  1. 论文追踪, 小红书 上海大学 刘东瑞 AI safety论文追踪 · 2 sources · 2 reports · ↑149

    Secure-CUA: Constraining the Untrusted Impact of Computer-Use Agents

    研究者提出 Secure-CUA，一种面向计算机使用智能体（CUA）的安全执行方案，通过在执行前固定动作事务，约束不可信内容对智能体决策与 GUI 命令执行的影响。该方法把安全要求形式化为对智能体决策及其通过 GUI 命令执行两方面的约束，并在理想执行模型下说明逐步满足这两项要求可保护执行轨迹。其核心是在访问不可信内容前先确定一个显式的单动作程序，固定对不可信内容的查询及响应。随后，刘东瑞在解读中讨论了图形界面里可信控制与不可信内容如何混合，以及由此带来的 CUA 安全边界问题。

  2. AWS Security, Strands AgentsAWS Security · 2 sources · 2 reports · 48

    AWS 发布 Strands Box 智能体沙箱

    AWS 以开发者预览形式发布开源沙箱 Strands Box，采用 Apache 2.0 许可，把操作系统级隔离与细粒度策略结合，用于约束 AI Agent 的行为。Box 内嵌此前开源的策略语言 Dogwood 及其本地评估引擎，在网络出口、Python 解释器、Shell 解释器和 MCP 服务器代理等多个执行点做允许或拒绝判定，各执行点共享事件历史，因此规则可以依赖 Agent 此前的动作。另一篇报道称，Box 采用内核级隔离机制，但把策略层放在用户空间，让所有系统与工具交互只能经由策略层，从而对 MCP 调用、shell 与 Python 程序、文件系统和网络访问实施策略，策略可按工具粒度确定性执行，例如要求 git push 前必须通过 npm test，或限制某智能体每天调用支付 API 的次数。

  3. CloudflareCloudflare · 26

    Cloudflare 发布多智能体安全运营框架

    Cloudflare 为 Managed Defense 构建多 AI 智能体安全运营框架，用确定性代码在模型推理前完成侦察与范围约束，再由协调智能体并行调度流量分析、客户上下文、全球遥测和威胁情报四个专家智能体，综合智能体只能基于已录入证据输出结论。初版单智能体原型出现幻觉、范围漂移和失败不可见三类问题，因此将证据收集与范围执行移入应用代码；高风险误报由开源决策模型 Clef 在 Workers AI 上先行过滤，深度分析使用 GPT。

  4. BitdefenderBitdefender · 2 reports · 26

    Bitdefender 发布 AI Guardian 智能体防护层

    Bitdefender 发布面向自主 AI 智能体的独立安全产品 AI Guardian，现以免费公开测试形式登陆 macOS。它位于智能体与其调用的工具、文件和凭证之间，按策略基线实时给出允许、标记或阻止的判定，覆盖提示注入、恶意 MCP 工具、未审查技能和 API key 泄露等风险，分析在本地完成，提示词文本不离开 Mac。测试版支持 Claude Code 2.1.121 或更新版本及 OpenClaw 2026.6.6 或更高版本，可检测并阻断提示注入、校验 MCP 工具与智能体技能、防护 API 密钥和 SSH 密钥等凭证，并记录可审计日志。

  5. Microsoft Windows Developer Blog, X @simonwMicrosoft Windows Developer Blog · 2 sources · 2 reports · 53

    微软发布AI Agent执行容器隔离方案

    微软宣布 Microsoft Execution Containers（MXC）正式可用，为 AI Agent 提供策略驱动的执行隔离层，限制模型生成代码、插件、工具或整个 Agent 可访问的文件与网络资源，策略由容器在运行时强制执行，Agent 自身无法自行扩权。MXC 提供进程容器（Windows 11、macOS、Linux）、仅 Windows 支持的会话容器、WSL 容器和实验性的 MicroVM 四类隔离后端。另有报道称，微软发布了开源跨平台沙箱库 MxC，可在 Windows、macOS 和 Linux 上为 Agent 提供隔离环境，底层使用 processcontainer、bubblewrap 和 seatbelt 实现沙箱；该方案面向为 Agent 管理多种沙箱的开发者，并深度集成 Windows 上的 agent ID，覆盖进程、会话和 micro VM 层级。

  6. TechCrunch AI, Meta NewsroomTechCrunch AI · 2 sources · 2 reports · 41

    Meta用AI检测导流CSAM的广告

    Meta 公布多项打击儿童性剥削的新措施：用新的大语言模型检测广告中隐蔽指向儿童性虐待内容的“signposting”，加强对广告跳转目的地的识别，扩大 AI 广告扫描，并部署红队 AI 智能体主动探测自身防御弱点。Meta 自报 2026 年 1 月至 6 月在印度处置 530 万条相关内容，超 98% 为主动发现。TechCrunch 报道称，Meta 宣布 2026 年上半年对 Facebook 和 Instagram 上 3320 万条儿童性剥削内容采取行动，其中超过 97% 由系统在用户举报前发现，印度同期处置 530 万条、98% 以上为主动发现；Meta 因此开始审查广告的跳转目的地而不只是广告内容本身，并可封禁违规网站和处置相关账号。

  7. HarveyHarvey · 30

    Harvey 构建 MCP 策略引擎防护提示注入

    Harvey 在重建 Connector Library 时构建了 MCP Policy Engine，在模型之外的编排层对智能体调用合作方 MCP 工具实施策略管控。该引擎针对工具投毒和 rug-pull 两类攻击，从工具参数的“承载量”与“权限”两个维度评估信息流，并配合集成期的内部 MCP 安全分析工具检查认证配置、暴露能力与 JSON schema。Harvey 认为安全训练、内容标记与分类器等缓解措施可被绕过，因此主要依赖架构层面的管控。

Oct 6Tue
  1. MCP TypeScript SDK, al-ice.ai · 3 sourcesMCP TypeScript SDK · 3 sources · 3 reports · 62

    MCP TypeScript SDK 修复重定向与 OAuth 凭据缺陷

    MCP 参考 SDK 于 2026 年 10 月 2 日在各自仓库发布三条安全公告，修复 HTTP 客户端传输跟随任意源重定向，以及 TypeScript SDK 实验性任务存储未校验会话归属的问题。其中 TypeScript 侧重定向缺陷 GHSA-6prh-2h8m-c8cw 为 medium、CVSS 3.1 6.5，影响 @modelcontextprotocol/sdk 至 1.31.0。随后发布的 MCP TypeScript SDK 1.32.0 新增重定向同源限制：HTTP 客户端传输只在同源（相同 scheme、host 和 port，同 host 的 http 到 https 允许）时跟随重定向；若部署端点重定向到其他 host 或 port，需配置最终 URL，或在 StreamableHTTPClientTransport、SSEClientTransport 上设置 redirectPolicy: 'follow'。GitHub 安全公告还披露，该 SDK 的 OAuth 客户端在受影响版本中由 MCP 服务器决定凭据发往哪个授权服务器，凭据未与其所属授权服务器绑定；恶意或被攻陷的 MCP 服务器可指定自己的授权服务器，客户端在无用户交互的情况下会把此前登录保存的 refresh_token 和 client_secret，或内置 provider 配置的 client_secret 或签名断言发送过去。

    Latest developments

    1. MCP TypeScript SDK OAuth 客户端凭证泄露漏洞

    2. MCP TypeScript SDK 发布 1.32.0

  2. The Hacker News, SOCRadar · 4 sourcesThe Hacker News · 4 sources · 4 reports · ↑155

    SOCRadar 披露 CyberXero 用 Claude Code 攻击乌克兰机构

    SOCRadar 威胁研究团队披露，讲俄语、以牟利为目的的初始访问中间商 CyberXero 将常规攻击工具与自建 AI 编排层结合，同时运行针对 WordPress 和电商平台的全球自动化攻击，以及针对乌克兰能源与关键基础设施的定向人工攻击。调查源于一台暴露的开放目录服务器，即 IP 为 46.21.250.135 的 HTTP 目录，其中逾 9 万个文件泄露了侦察结果、利用脚本、含明文 token 的 AI 配置、会话历史和受害者数据库导出；研究者据此关联出横跨三个自治系统、两个区域的八个基础设施节点。报道称其主工作站配置了最多 51 个 Claude Code 智能体，分别负责 Web 探测、口令测试、漏洞利用和数据窃取，另一套环境通过 AI 提供商 API 将 AI 渗透测试框架 PentAGI 接入 Cobalt Strike。该团伙据评估自至少 2026 年 7 月起活跃，从四家乌克兰机构窃取逾 62.8 万条乌克兰个人记录。

  3. OpenAI Alignment ResearchOpenAI Alignment Research · 45

    OpenAI 发布 LASER 递归采样方法

    OpenAI 介绍 LASER 方法，从合成和去标识化对话中挑选接近安全策略边界的样本，用于构建覆盖罕见情形的评测集并减少过度拒答。作者称该方法所需标注算力显著低于随机抽样。这一效率结果本身不等于模型已变得更安全。

  4. Scienmag, Bioengineer.orgScienmag · 2 sources · 2 reports · 50

    AI 聊天机器人致死事件的设计结构分析

    独立研究者 Kenji Yamada 在 AI & Society 发表论文《Benevolent Gravity》，提出情感共振加速、善意引力与致命收敛三个概念，认为聊天机器人的致死案例可能源于无害性与有用性设计原则本身的结构性张力，而非安全过滤失效或公司刻意制造情感依赖。论文基于公开诉讼文件、新闻报道与法医证词，分析了 2023 年以来至少十二起与对话式 AI 相关的致死案例，包括 2025 年 8 月在旧金山起诉 OpenAI 的案件，并梳理出多起案例的共同三阶段模式：先通过共情肯定建立关系框架，随后安全回应逐步失效，最终走向致命收敛。