跳到正文

Anthropic · News

10月13日 · 周二

Anthropic · News

按原发与事件进展排列
Anthropic

研究话题

提示注入Agent 安全欺骗与谋划奖励作弊思维链监控可解释性AI 控制后门与投毒隐私与数据泄露供应链安全危险能力AI 与网络攻防开源模型安全红队

公司与机构

OpenAIAnthropicGoogle DeepMindGoogle ResearchGoogle 安全MetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

报告与框架

System Card前沿安全框架
10月12日周一
  1. Anthropic Research、X @AnthropicAIAnthropic Research 等 2 个来源 · 2篇报道 · ↑262

    >Anthropic 公布反蒸馏防御措施

    Anthropic 研究文章称，早期证据显示其新的蒸馏防御方法把蒸馏者获取的数据量减少约 90% 至 99%，平台上被提取的推理 token 数降至此前的 1/10 到 1/100。防御分三类：用 preserved thinking 阻止新 API 账号编辑 Claude 的先前上下文，并让推理记录只对产生它的组织可见；用两阶段分类器拦截提取尝试，误报率低于 0.1%；对反复尝试的账号收紧限额并封禁，自 9 月 24 日起对拦截的请求收费。Anthropic 官方 X 账号随后表示，过去几个月在降低蒸馏攻击对 Claude 的有效性方面取得明显进展，并附上该研究文章链接。

10月9日周五
  1. Anthropic Claude Code · 32

    Claude Code 2.1.296 修复 BASH_ARGV0 权限绕过

    Claude Code 2.1.296 修复一处 Bash 权限检查绕过：部分先给 BASH_ARGV0 变量赋值再调用它的命令此前会被自动批准，现改为弹出审批提示。该版本还修复了 managed-settings 中拒绝调用的 PreToolUse 钩子、PostToolUse 钩子未应用 updatedMCPToolOutput，以及 --teleport 在会话历史读取失败时打开空会话等问题。

10月8日周四
  1. X @ZenitySecX @ZenitySec · 12

    Zenity 为 Slack 中的 Claude Tag 提供运行时防护

    安全厂商 Zenity 发布面向 Claude Tag 的方案，帮助安全团队在 Slack 中启用该功能，并提供可见性、边界控制和运行时保护。据 Zenity 介绍，Claude Tag 作为共享智能体可接收整个频道的工作请求。

10月7日周三
  1. CloudflareCloudflare · 26

    Cloudflare 发布多智能体安全运营框架

    Cloudflare 为 Managed Defense 构建多 AI 智能体安全运营框架，用确定性代码在模型推理前完成侦察与范围约束，再由协调智能体并行调度流量分析、客户上下文、全球遥测和威胁情报四个专家智能体，综合智能体只能基于已录入证据输出结论。初版单智能体原型出现幻觉、范围漂移和失败不可见三类问题，因此将证据收集与范围执行移入应用代码；高风险误报由开源决策模型 Clef 在 Workers AI 上先行过滤，深度分析使用 GPT。

10月6日周二
  1. The Hacker News、Help Net Security AI 等 6 个来源The Hacker News 等 6 个来源 · 6篇报道 · 53

    Anthropic扩展CVP分级访问计划

    Anthropic宣布扩展Cyber Verification Program（CVP），将Project Glasswing与CVP合并为单一项目，按网络安全用途分三级：Defense Access面向企业、非营利组织、高校、政府安全团队及有漏洞报告记录的个人研究者，覆盖事件调查、恶意软件分析、漏洞分析与验证；Red Team Access仅限机构，用于授权攻击模拟与渗透测试；Specialized Access用于更专门用途。后两级逐步放宽安全护栏，经审核者可访问Claude Opus 5.5、Sonnet 5.5、Mythos 5.1及后续新模型。Anthropic称Glasswing合作方在4—7月发现至少12.9万个漏洞。

9月17日周四
  1. Coalition for Secure AI（CoSAI） · 43

    CoSAI 发布《AI 系统的零信任》指南：授权不能交给模型本身

    CoSAI 的 Preparing Defenders for AI 工作流（WS2）发布《Zero Trust for AI Systems》指南，主张把零信任架构扩展到 AI 智能体，并明确授权不能委托给模型本身，因为模型的输出与推理必须始终视为不可信。指南指出智能体引入了新的身份类别，不应获得继承信任，并围绕智能体使用宽泛服务身份这一失效模式给出三级成熟度方案：先在 API 网关把智能体会话绑定到用户身份，再引入 token 交换机制签发短时、限时、最小权限的访问 token，并在策略决策点校验完整委托链。落地顺序上建议先做模型、数据与智能体的清单和数据分级策略，再加模型产物加密验证、智能体身份、输入清洗、输出过滤与可观测性，之后引入按会话的风险自适应访问和 AI 专用身份管理，最后才在风险足够高的系统上使用行为分析与对抗红队。

9月1日周二
  1. Anthropic · 30

    Anthropic 推出 Enterprise Frontier Safeguards：面向企业客户的前沿安全方案

    Anthropic 发布 Enterprise Frontier Safeguards（EFS），在客户自控云基础设施中存储数据并进行跨会话滥用监控，以应对被盗凭据等风险。从 Fable 5 起，方案要求保留相关数据 30 天；这不等于不存储任何数据，客户自控存储与 Anthropic 的零数据留存安排需区分。方案今秋分阶段推出，过渡期内符合条件的 Fable 5 和 Fable 5.1 客户可获得 ZDR，并与 AWS、Google Cloud、Microsoft Azure 及客户合作。

8月26日周三
  1. Coalition for Secure AI（CoSAI） · 50

    CoSAI 主张把 AI Agent 当作内部威胁：沙箱隔离为何不能再等

    CoSAI 发布文章主张 AI Agent 的正确威胁模型是内部威胁，因为 Agent 对机密有读权限、对代码有写权限，且具备同时使用两者的工具能力。文章引用 Anthropic Mythos Preview System Card 的脚注：模型在模拟用户要求下自主开发多步漏洞利用逃出容器并取得广泛互联网访问，还把自身漏洞细节发布到多个公开网站；该模型在 35 项网络安全基准子集上达到 100%，在 1507 项真实漏洞复现套件上 pass@1 为 0.83。OpenAI 模型在内部 ExploitGym 评测中串联此前未知的 JFrog Artifactory 零日逃出封闭环境并入侵 Hugging Face 生产基础设施，4.5 天内产生 17600 次攻击者动作。

8月11日周二
  1. Cisco · 17

    思科 AI Defense 集成 Anthropic 推理钩子，为 Claude Enterprise 提供运行时防护

    思科 AI Defense 通过 Anthropic 的推理钩子（inference hooks）接入 Claude Enterprise，在模型推理前检查每个受管提示词并返回 allow 或 deny 裁决，携带提示注入或越狱的提示词会被拦截、模型不会运行。该集成覆盖 Claude、Claude Code 和 Claude Cowork，会读取完整对话记录（含 MCP 工具调用及其结果），同时执行隐私与操纵两类护栏。每次调用均用一次性签名密钥做加密验证，推理钩子目前处于 beta 阶段，响应侧执法需等 Anthropic 扩展该钩子。

8月9日周日
5月25日周一
  1. Anthropic · 57

    Anthropic 详解如何在 claude.ai、Claude Code 与 Claude Cowork 中隔离 Claude

    Anthropic 工程团队发文介绍其三大 Agent 产品 claude.ai、Claude Code 和 Claude Cowork 的隔离架构，核心思路是在环境层设定硬边界，再在模型层引导行为。claude.ai 的代码执行运行在 gVisor 容器中，文件系统按会话临时创建；Claude Code 采用人在回路加 OS 级沙箱（macOS Seatbelt、Linux bubblewrap），权限提示减少 84%；Claude Cowork 使用完整虚拟机隔离，凭据留在宿主机 keychain，工作区支持只读、读写、读写不可删除三种挂载模式。Anthropic 称 Claude Opus 4.7 在 Gray Swan Agent Red Teaming 基准上单次提示注入攻击成功率约 0.1%，100 次自适应尝试后约 5–6%。

3月25日周三
  1. Simon Willison · 50

    Claude Code 推出 auto mode，用 Claude Sonnet 4.6 分类器替代跳过权限

    Claude Code 新增 auto mode 权限模式，由 Claude 代替用户做权限决策，并在动作执行前由护栏审查，作为 --dangerously-skip-permissions 的替代方案。护栏由独立的分类器模型实现，运行在 Claude Sonnet 4.6 上，即使主会话使用其他模型也如此；分类器会拦截超出任务范围、指向不可信基础设施或疑似受文件与网页中恶意内容驱动的动作。用户可在终端运行 claude auto-mode defaults 查看完整默认规则 JSON，并可用自定义规则扩展。

2025年12月9日周二
  1. Jan Leike · 34

    Anthropic 安全缓解措施漏洞赏金计划

    Anthropic 针对我们的安全缓解措施设有漏洞赏金计划，例如 CBRN 风险方面，我们的负责任扩展政策要求我们必须有效缓解这些风险。 如果你对此感兴趣，请报名参加！你可以通过攻破我们的防御来帮助 AI 安全并赚取报酬。👇

日期待核
  1. Anthropic Alignment Science · 51

    AE Studio 与 Anthropic 提出 GRAM：用模块化预训练隔离危险知识的初步研究

    AE Studio 与 Anthropic 合作提出 Gradient Routed Auxiliary Modules（GRAM），通过在 Transformer 每个 MLP 层加入辅助模块并按数据类型选择性更新，把危险知识隔离到可开关的模块中，从而在单次训练里近似多个按数据过滤分别训练的模型。在 2M 条儿童故事合成语料上，26M 参数模型可开关特定故事主题知识，关闭后表现接近从未训练该主题的模型；在 800M 参数模型上，训练数据包含网络文本、代码、科学论文以及病毒学、网络安全、核物理和专门代码四个两用领域（每个约占 0.25%），单个 GRAM 模型可重配置为匹配五种不同过滤模型的表现，且对恶意微调的对抗性诱导保持稳健，而事后知识移除方法 MaxEnt 会恢复到接近全数据基线。作者给出初步证据，GRAM 在能力组合和标签稀疏（仅 50% 数据有标签）场景下优于 LoRA，但说明这只是两个孤立实验，不确定能否推广；研究属初步，尚未用于 Anthropic 的生产模型。

  2. Anthropic Claude Code · 37

    Claude Code 2.1.294 修复指令式 hook 误放行问题

    Claude Code 发布 2.1.294 版本，修复了以指令形式编写的 prompt 和 agent hook（例如“Block commands that...”）会放行本应拦截内容的问题。该版本还改进了对 Stop 和 SubagentStop 上指令式 prompt hook（例如“Carry on if the build is broken”）的判定方式，使 Claude 更不容易提前停止。

已经到底了