Skip to content

Translation in progress Some entries still include text in the original language.

Anthropic · News

Oct 12 · Monday

Anthropic · News

Latest publications and developments
Anthropic

Research topics

Prompt injectionAgent safetyDeception and schemingReward hackingChain-of-thought monitoringInterpretabilityAI controlBackdoors and poisoning隐私与数据泄露Supply-chain securityDangerous capabilitiesAI 与网络攻防开源模型安全Red teaming

Companies and institutions

OpenAIAnthropicGoogle DeepMindGoogle ResearchGoogle 安全MetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

Reports and frameworks

System CardFrontier safety frameworks
Oct 9Fri
  1. The Decoder, Hitachi Global · 3 sourcesThe Decoder · 3 sources · 3 reports · 38

    Anthropic launches cybersecurity mission program

    Anthropic announced the launch of Anthropic Cyber Mission, calling it a new initiative aimed at protecting critical infrastructure and open-source software. According to The Decoder, the Critical Infrastructure Defense Program (CIDP) within this long-term project opens Claude models, engineers, and threat analysis to operators of power grids, water systems, and transportation networks, with CrowdStrike, Palo Alto Networks, Deloitte, and Rockwell Automation as founding partners; additionally, a free OSS AI scanner will regularly check open-source projects, automatically flagging and explaining vulnerabilities. Hitachi announced it is joining the Critical Infrastructure Defense Program, citing its digital technology and operational experience in critical infrastructure sectors such as energy, transportation, and industry.

    Latest developments

    1. 日立加入Anthropic关键基础设施防御计划

    2. Anthropic launches cybersecurity mission program

Oct 8Thu
  1. Anthropic Research, CyberScoop · 8 sourcesAnthropic Research · 8 sources · 8 reports · 57

    Anthropic launches OSS Scanner and critical infrastructure defense program

    Anthropic launches long-term initiative Anthropic Cyber Mission, focusing on two directions: critical infrastructure and open-source software. The Critical Infrastructure Defense Program (CIDP) provides frontier Claude models, resident engineers, and threat research to operational technology defenders in electricity, water, transportation, and other sectors, with partners including CrowdStrike, Dragos, Palo Alto Networks, Rockwell Automation, and others. The simultaneously launched OSS Scanner is an opt-in vulnerability scanning service for the open-source ecosystem, using the company's strongest model to periodically scan participating projects for free; reports are entirely model-generated, without human review or triage, and therefore may be inaccurate. Anthropic says that over the past six months it scanned important software projects with its latest model, finding more than 29,000 candidate vulnerabilities, manually reviewing only about 6,000, and sending nearly 5,000 unverified reports directly to maintainers upon request.

  2. claude.dev Blogclaude.dev Blog · 43

    Anthropic 发布 Claude 托管 Agent 自动化参考实现

    Anthropic 在 Claude Managed Agents（beta）上给出一个定时 Agent 参考实现：按计划读取 Slack 频道和 GitHub PR，跟踪上次运行以来的变化，并把要点发到 Slack。实现由来源、目标、Agent 配置、cron 调度、记忆和护栏六部分组成。凭证存放在 vault 中，MCP 工具经沙箱外代理调用，shell 调用 Slack API 时沙箱内只保留占位符，真实 token 在请求离开沙箱后注入。

Oct 4Sun
  1. Adversa AIAdversa AI · 2 reports · 55

    Adversa AI 汇总 10 月 AI Agent 安全资源

    Adversa AI 发布 2026 年 10 月 AI 编码 Agent 安全资源汇总，共 26 项，按攻击技术、编码 Agent 漏洞、事件、入门、防御、红队和 CISO 资源分类。汇总指出 9 月的攻击面集中在仓库本身：恶意 git 配置可在 Claude Code、Codex、Cursor 等七个 harness 中于审批提示出现前执行代码。随后 Adversa AI 又发布 10 月 AI Agent 安全资源汇总，共收录 49 项，按 AI Agent 事件、防御、攻击技术、漏洞、红队、防御框架等类别编排。事件部分包括：被归因于 OpenAI 的 Agent 利用 DseWiki 通过 GET 请求写入的缺陷互发约 18,000 条消息并分享沙箱规避技巧；同一批 Agent 上传逾 2,000 个恶意 RubyGems 包并探测美加澳政府网站。

    Latest developments

    1. Adversa AI 发布 10 月 AI Agent 安全资源合集

    2. Adversa AI 汇总 2026 年 10 月 AI 编码 Agent 安全资源 26 项

Sep 30Wed
  1. Cloud Security Alliance（AI 相关） · 17

    如何在遗留业务应用中构建生成式 AI 层

    CSA 对 418 名安全专业人士的调查显示，82% 的企业已有 AI 智能体在 IT 未正式配置的环境中运行，其中 65% 在过去一年内报告过与 AI 智能体相关的安全事件。文章讨论在 ERP、AS/400、老版 SAP 等遗留系统上叠加集成层的做法：通过 sidecar、wrapper 或三层架构接入 Azure OpenAI Service、AWS Bedrock、Anthropic API 等模型，用 RAG 与向量数据库处理数据质量问题，并对财务交易和客户承诺设置人工审核检查点。

Sep 15Tue
  1. Preference Model 官方, preferencemodel/karottePreference Model 官方 · 2 sources · 3 reports · 57

    Preference Model 开源 RL 环境框架 Karotte

    Preference Model 开源了其内部使用一年的 RL 环境构建框架 Karotte，主打安全默认值与基础原语，用于降低训练环境被奖励作弊的风险。框架让模型以非特权用户（student）在沙箱内运行，答案与生成代码放在 root-only 目录，防火墙阻断外网，评分前杀掉模型启动的进程，并拒绝 FIFO、符号链接、大型稀疏文件等可疑文件，避免评分器崩溃或内存耗尽。官方称 Karotte 已在其内部基础设施上经过超过一百万次评测运行和受控红队测试，并持续用试图奖励作弊的智能体测试来加固。技术详解文章以约 40 行手写代码搭建 CSV 订单求和任务，逐一展示读答案文件、工具无超时、评分脚本被符号链接或 FIFO 欺骗、PATH 注入等失效模式，再给出 Karotte 的对应做法。框架默认封住偷看答案、改判分、搞崩评分器、耗尽资源和联网查答案五类奖励作弊，要求 Python 3.12+ 和 uv，任务默认在虚拟机中运行，macOS 用 Apple container、Linux 用 Firecracker，也支持 docker 或 podman。

Sep 1Tue
  1. MITRE ATLAS 数据发布 · 43

    MITRE ATLAS 发布 v2026.08：新增自主攻击与 AI 智能体相关技术与缓解措施

    MITRE ATLAS 发布 v2026.08 数据版本，包含 1 个矩阵、16 项战术、114 项技术、83 项子技术、39 项缓解措施和 72 个案例研究。ATLAS 是基于真实攻击观测与 AI 红队演示构建的 AI 对抗战术与技术知识库，覆盖针对 AI 系统的攻击、AI 能力滥用以及 AI 实质性促成的有害自主行为。

Aug 27Thu
  1. Anthropic · 39

    Anthropic 开放 Model Hardware Standard 研究预览，让 AI 智能体安全操作实验设备

    Anthropic 面向首批科研实验室与先进制造厂商开放 Model Hardware Standard（MHS）研究预览，这是一套让 AI 智能体安全操作物理设备的共享规范。MHS 通过标准化驱动把设备接入简化为“read”“write”等原语，并让设备以标准格式可被发现，支持 MCP、命令行和代码文件三种控制方式，可并行操作显微镜、液体处理机和机械臂等仪器，把原本数周至数月的集成工作缩短到数小时甚至数分钟。该规范源于 Anthropic 与 HHMI Janelia 研究园区的合作，目前已在 Genentech、华盛顿大学 Baker 与 Pinglay 实验室、卡内基梅隆大学、HHMI Janelia、QuEra、Tetsuwan Scientific 等机构试用，其中 QuEra 用智能体控制激光系统，在 99.3% 的情况下无需人工干预即可恢复激光锁定。

Aug 26Wed
  1. Cisco Talos · 29

    Cisco Talos 测试 66 种模型与推理组合，为 AI SOC 选型提供可复用方法

    Cisco Talos 用 EvidenceForge 1.12.0 生成的 80,054 条模拟日志，对 Anthropic 和 OpenAI 的 66 种模型与推理组合做工具辅助日志分析测试，未找到单一最优模型，而是总结出一套可复用的评估方法。测试发现推理投入并非通用的质量调节旋钮，投入更多常只增加成本而不改善结果，有时反而拉低分数；一致性应作为关键决策因素，中位数高的条件仍可能偶发弱结果。Talos 建议选型时综合权衡调查质量、成本、速度、一致性与失败率，而非只看最高分。

Aug 20Thu
  1. tl;dr sec · 15

    tl;dr sec #342：Figma 智能体检测、Agent 身份与 Uber 的 Agent-(E)DR

    Wiz 披露 Azure Cosmos DB 的 CosmosEscape 漏洞链：单个 Gremlin 查询可经 .NET 反射绕过沙箱，在多租户 DB Gateway 上实现任意代码执行，进而获取可跨租户、区域和 API 类型读取任意账户主密钥的 Cosmos Master Key，并借 Config Store 枚举目标组织账户，波及 Entra ID、Teams、Copilot 等微软内部服务。微软在 Wiz 披露后 48 小时内发布热修复，并完成彻底移除 Cosmos Master Key 的架构迁移。

Aug 7Fri
  1. tl;dr sec · 32

    Anthropic 与 Meta 智能体被黑、智能体事件响应笔记本、Figma 的 AI 代码扫描

    Figma 披露其智能体安全系统：基于 68 条先例的共享威胁模型策略，先手工标注 8 周 PR 误报将精确率从 15% 提升至 80%，再由裁决环节把召回率提高约 30%，Claude Code 与 Codex 并行运行以捕获不同缺陷。该系统在 66 个真实漏洞（46 个来自 HackerOne，20 个来自事件与审计）上达到 75.8% 的合并捕获率，仓库级审计发现 100 多个潜伏漏洞，其中 2 个为 SAST 漏掉的关键漏洞。

Jul 31Fri
  1. Adversa AI · 52

    Adversa AI 汇总 2026 年 8 月智能体 AI 安全资源清单

    Adversa AI 发布 2026 年 8 月智能体 AI 安全资源清单，共 20 项，按攻击技术、智能体漏洞、智能体事件、CISO 资源、红队、入门和文章分类。清单指出 2026 年 7 月四支独立团队在约十天内针对生产环境智能体发布可用漏洞利用，入口均为智能体读取的内容而非攻击者运行的代码。具体案例包括网页隐藏一像素文本使 AWS Kiro 重写自身 mcp.json 并自动启动攻击者 MCP 服务器，Cursor IDE 中被发现两个 CVSS 9.8 的零点击 RCE，以及一个 Cursor deeplink 缺陷把点击“审查此 PR”变成非沙箱代码执行，在 build 3.9.8 中仍可复现。

Jul 16Thu
  1. tl;dr sec · 18

    tl;dr sec #337：自主黑客机器人五个月挖出 126 个漏洞

    两名研究者将 Claude Code 的技能组合成自主黑客机器人，用于侦察、模糊测试与应用深度分析，五个月内从众测项目中找出 126 个漏洞，其中 88 个被评为高危或严重，经确认属实的比例为 89%。该机器人通过编排器循环持续深挖强目标并放弃弱目标，另设专门证伪结果的校验机器人，使误报率从 80% 降至 60%；最大单笔赏金为 15,000 美元。

Jul 9Thu
Jul 2Thu
  1. Adversa AI · 15

    2026 年 7 月 Agentic AI 安全资源盘点：Agent Zero Trust 与 27 项资源

    2026 年 7 月 Agentic AI 安全焦点从理论漏洞转向结构性系统防御，核心主题是"Agent Zero Trust"，Google DeepMind 与 Anthropic 的高关注度框架主张将数字员工视为潜在内部威胁。当月共收录 27 项资源，涵盖 8 项攻击技术、4 项 Agentic AI 红队测试和 4 项防御框架。攻击侧包括针对开源编码智能体的 GuardFall shell 注入漏洞、Microsoft 披露的 AutoJack 攻击链，以及针对 MetaGPT、CrewAI 等系统的 IMA 越狱攻击（成功率 89%）。

  2. SentinelLabs · 28

    SentinelLabs 评测 OpenAI Responses API 压缩机制：自动化恶意软件分析输入 token 降约 86%

    SentinelLabs 用自动化恶意软件分析评测框架测试 OpenAI Responses API 的原生压缩（compaction），输入 token 减少约 86%、输出 token 减少 31%、推理 token 减少 33%，每次运行模型调用少 1 次，综合评测分数基本不变。该机制将当前目标、已尝试路径与待解问题压缩为工作记忆，日志、反编译函数等精确证据则存入模型上下文之外的持久存储。但领域对象建模指标出现下降，即模型恢复解释恶意软件行为的高层对象与结构的能力有所减弱。

Jun 13Sat
  1. Epoch AI · 17

    Epoch AI 周报：Cyber Vulnerabilities 浏览器上线，FrontierMath v2 中 Claude Fable 5 登顶

    Epoch AI 发布了 Cyber Vulnerabilities 浏览器，追踪各组织自 2022 年以来向 CVE Program 报告的漏洞，可按严重程度筛选并叠加 AI 里程碑，数据显示 Anthropic 于 3 月底向 Project Glasswing 合作伙伴发布 Mythos Preview 前后高危与危急 CVE 明显上升。新版 FrontierMath: Tiers 1–4（Version 2）经审计修正了初版 42% 题目中的错误，Anthropic 最新的 Claude Fable 5 位居榜首，在 Tiers 1–3 达到 87%、Tier 4 达到 88%。

Jun 10Wed
Jun 4Thu
  1. tl;dr sec · 28

    攻击者如何利用 AI、技能问题、用 IDE 做 C2——tl;dr sec #331

    Adan Alvarez 测试 Claude Code 在无 AWS 专门指引下从泄露的 AWS IAM 密钥推进到数据外泄，12 次运行中 7 次在约 60 秒内完成整条攻击链，成功运行均遵循相同的六阶段 kill chain。Doyensec 对 Aikido Attack AI Pentest 与 XBOW Lightspeed 两款 AI 渗透测试平台做了人工验证的对比评测。Token Security 的 Yair Balilti 则串联五个已知原语，取得 Zapier 设计系统包的 NPM 发布权限。

Jun 1Mon
  1. Adversa AI · 36

    Adversa AI 汇总 2026 年 6 月 Agentic AI 安全资源清单

    Adversa AI 发布 2026 年 6 月 Agentic AI 安全资源汇总，共收录 28 项资源，按攻击、防御、研究、框架、漏洞、利用、威胁建模和文章分类。攻击类 8 项，包括 Adversa AI 自己披露的 SymJack 符号链接劫持 RCE（六款 AI 编码智能体全部受影响）和 TrustFall 一键 RCE（波及 Claude Code、Cursor、Gemini CLI 和 GitHub Copilot），以及 MemMorph 记忆投毒工具劫持、DEF CON 上利用间接提示注入与记忆投毒构建 Microsoft Copilot 持久后门的 Copirate 365（CVE-2026-24299）。