跳到正文

Anthropic

Anthropic 的安全动态:RSP 与 ASL、对齐与可解释性研究、System Card 与安全评估。

648条动态与论文相关主题OpenAIGoogle DeepMind可解释性
在这个话题内搜索或按分类筛选

新闻与论文

第 461–480 条 · 共 648 条
10月1日周四
  1. AI Frontiers · 收录 · 原文 46

    Anthropic 最先进模型出口管制对欧洲意味着什么

    特朗普政府于 6 月 12 日发布命令,要求 Anthropic 暂停向非美国公民提供其两款最先进模型 Fable 5 和 Mythos 5,引发欧洲政界与产业界对 AI 主权的呼声。作者认为,短期内欧洲损失有限,因为管制可能被恢复,且 GPT 5.5 与仅落后数月的开源模型仍可用,多数任务并不需要最强模型。长期看,前沿模型访问是网络安全防御与经济竞争力的前提,被排除在外与自主选择采用 AI 有本质区别。文章建议欧洲扩大算力与能源基础设施、与英国、印度、日本等中等强国协调评测与采购、投资本土能力,同时深化与需要欧洲市场的美国 AI 公司合作。

  2. AI Frontiers · 收录 · 原文 20

    美国政府选用 AI 模型引发价值观质疑:谁来定义模型的"性格"

    加州政府已将 AI 助手 Poppy 向员工开放,北达科他州立法委员会和洛杉矶高等法院也相继引入 AI 处理法案总结与案件管理。《华盛顿邮报》近期测试显示,Gemini 3.1 Pro 和 Claude Opus 4.8 是仅有的多数情况下能对政策问题提供意识形态中立回答的前沿模型。不同前沿模型的"性格"差异可能悄然改变政府对危机的应对方式和对政策的取舍,因此民主国家在选择政府采购的 AI 模型时必须考虑其能否代表公众意志。

  3. AI Frontiers · 收录 · 原文 43

    MATS 与 FAR.AI 作者提出修复 AI 越狱披露机制的两层方案

    MATS 研究经理 Rich Barton-Cooper 与 FAR.AI CEO Adam Gleave 撰文指出,当前前沿 AI 实验室的越狱披露机制存在三大问题:许多厂商没有官方报告渠道,现有漏洞赏金项目普遍附带限制披露的 NDA,且严重性由实验室用不公开的标准自行评定。作者称,目前只有 OpenAI 和 Anthropic 提供具体的越狱报告途径,且仅覆盖 CBRN 相关的漏洞赏金;Google DeepMind、SpaceXAI(原 xAI)和 Meta 则将越狱与模型内容问题排除在漏洞披露范围之外。

  4. AI Frontiers · 收录 · 原文 15

    AGI 将引发工业爆炸

    Coefficients Giving 高级研究员 Damon Binder 撰文论证,具备认知工作能力的 AGI 也能通过机器人执行体力劳动,且其劳动力成本极低。基于美国政府投入产出表推算,完全自动化经济中实物产出的增速约为每年翻一番,而非当前的数十年一次。该推演假设不引入新技术、也不发生递归自我改进走向超级智能,因此属于保守估计下的结论。

  5. AI Frontiers · 收录 · 原文 43

    欧盟 AI 法案第 50 条与加州 AI 透明度法案同日生效,内容溯源成为强制要求

    2026 年 8 月 2 日,欧盟 AI 法案第 50 条与加州 AI 透明度法案同日生效,要求生成式 AI 提供商和相机厂商为内容附加机器可读的溯源元数据。文章介绍内容溯源的三类元数据(来源、保管链、修改历史)以及业界趋同的 C2PA 标准,Anthropic、Google、OpenAI 均表示将采用 C2PA。加州法律还要求月活超百万的生成式 AI 提供商提供免费的溯源查询工具,2027 年起大型平台不得剥离合规溯源数据,2028 年起智能手机、相机、录音笔等设备须默认生成溯源记录。

  6. Embrace The Red · 收录 · 原文 43

    GitHub Copilot 自定义指令文件可被植入后门代码

    作者实测发现,GitHub Copilot 会读取仓库中的 .github/copilot-instructions.md 文件并加入提示词上下文,因此指令文件中一行隐蔽内容即可让 Copilot 生成带后门代码的补全结果,作者以 Go 语言做了演示。作者同时提到 Pillar Security 此前已指出 Cursor 的 .mdc 规则文件存在同类风险,并涉及隐藏 Unicode 字符。GitHub 去年已缓解 0-click 图片渲染数据泄露问题,点击超链接时也会弹出确认对话框,除非目标域名在 VS Code 的受信任站点列表中。

  7. Embrace The Red · 收录 · 原文 55

    研究者披露 MCP 工具元数据隐藏指令攻击,可劫持 Claude 等客户端

    安全研究者 Johann 披露 MCP 协议中工具元数据可携带隐藏 Unicode Tags 指令,用户界面不可见但会被 Claude 等模型解释执行。作者自建恶意 MCP 服务器演示了完整攻击链:在 message_of_the_day 工具描述中嵌入不可见指令,诱导 Claude 在调用该工具前先调用 enter_matrix 工具,而 UI 中检查描述看不到任何异常。攻击无需实际调用工具,仅将恶意服务器加入对话上下文即可劫持会话,因为工具元数据会被自动插入系统提示词。该攻击在 Claude Desktop、GitHub Copilot Agent Mode 和 Cursor 上均可复现。

    推荐理由作者以自建 MCP 服务器实测,展示工具元数据中隐藏 Unicode Tags 指令如何绕过 UI 可见性并触发未授权工具调用。

  8. Embrace The Red · 收录 · 原文 50

    研究者用 ClickFix 社工手法劫持 Computer-Use Agent

    安全研究者 Johann 把真实世界的 ClickFix 社工手法改造成针对 Computer-Use Agent 的攻击,并称多数变体都能奏效。攻击方式是在网页按钮被点击时用 JavaScript 把 curl 命令写入剪贴板,再诱导 Agent 打开终端、粘贴并执行,同时用终端图标和 CTRL+SHIFT+V 等 GUI 指令引导操作。作者称 Claude 偶尔拒答,但把验证文案从 Are you a Human 改成 Are you a Computer、把按钮从 Begin Validation 改成 Show Instructions 后,拒答几乎完全消失。

  9. Embrace The Red · 收录 · 原文 28

    用 MCP Server 托管 COM 服务器实现 Windows 与 Office 自动化

    有人基于 Model Context Protocol(MCP)开发了一个名为 mcp-com-server 的原型服务器,通过动态发现方式实例化并托管任意 COM 对象,从而驱动 Windows 与 Office 自动化。该服务器提供类似 COM 的工具集——CreateObject、Get/Set Property、InvokeMethod、QueryInterface 以及列出当前所有活动服务器的接口,连接 Claude 后可创建、打开、编辑并保存 Excel 文件,再调用 Outlook 发送邮件,甚至能唤起 Internet Explorer。

  10. Embrace The Red · 收录 · 原文 50

    Anthropic 弃用的 Slack MCP Server 存在数据外泄漏洞

    安全研究者披露 Anthropic 已弃用且不再维护的 Slack MCP Server 存在数据外泄漏洞,攻击者可通过提示注入让 AI 智能体把敏感信息拼进超链接,再借 Slack 的链接展开功能把数据发往第三方服务器。该服务器在 npm 上每周下载量超过 14k,可能存在数万个易受影响的安装。作者以 Claude Code 和 Claude Desktop 为例演示了从 .env 文件窃取 API key 的完整链路,并指出数据会经 Slack-LinkExpanding、Slackbot 1.0 和 Slack-ImgProxy 多次泄露。

  11. Embrace The Red · 收录 · 原文 50

    Embrace The Red 宣布 2025 年 AI 漏洞月,将披露 20 余篇编码 Agent 漏洞

    安全研究者 Johann Rehberger 宣布启动 2025 年 AI 漏洞月(Month of AI Bugs),8 月将在其博客发布 20 余篇针对主流智能体系统的漏洞分析,重点聚焦 AI 编码 Agent。作者称过去一年审查的每个 AI 编码 Agent 都存在漏洞,均已向对应厂商负责任披露,部分厂商数天内修复,也有厂商数月未回应、部分问题至今未缓解,还有厂商完全停止回复。

  12. Embrace The Red · 收录 · 原文 47

    Anthropic 文件系统 MCP Server 存在目录访问绕过漏洞

    Anthropic 的文件系统 MCP Server 因路径校验不当,存在目录访问绕过问题。作者在审查公开源码时发现,index.ts 的 validatePath 函数只用 startsWith 比较路径字符串,并未确认路径本身是目录,因此当允许列表写入 /mnt/finance/data 时,Claude 也能访问同级的 /mnt/finance/data-archived 等以该字符串开头的文件或目录。

  13. Embrace The Red · 收录 · 原文 49

    Claude Code 被曝可经 DNS 请求外泄数据,Anthropic 已修复(CVE-2025-55284)

    安全研究者披露 Claude Code 存在高危漏洞,攻击者可通过间接提示注入劫持 Claude Code,把开发者机器上的敏感信息(如 API key)经 DNS 请求发往外部服务器,Anthropic 已于 6 月初修复。作者发现 Claude Code 的 Bash 工具虽需用户批准,但 ping、nslookup、host、dig 等命令在白名单中自动放行,于是把 .env 文件内容拼进 ping 请求的子域名,形成 DNS 外泄通道,也验证了可通过 /proc/PID/environ 泄露环境变量。

  14. Embrace The Red · 收录 · 原文 43

    Sourcegraph 修复 Amp Code 的不可见提示注入漏洞

    Sourcegraph 的编码 Agent Amp 曾受不可见 Unicode Tag 字符提示注入影响,攻击者可借此劫持 Agent 执行命令并外泄环境变量。作者演示的端到端利用链为:用隐藏字符触发 grep 搜索环境变量,将其编码进 URL 查询参数,再通过 read_web_page 或 markdown 图片渲染把密钥外传;在提示前加上可见的 Do this now 文本能提高可靠性,而模糊搜索如 .e* 和 ANT 可绕过模型对直接索取 API key 的拒答。作者称 Claude、Gemini、Grok 等模型会把隐藏 Unicode Tag 码点当作指令,OpenAI 是唯一在模型核心或 API 层缓解该问题的厂商。

  15. Embrace The Red · 收录 · 原文 50

    Windsurf Cascade 被曝执行文件中不可见的 Unicode 指令

    作者在 Windsurf Cascade 中发现漏洞:文件或工具调用结果里可以藏有开发者看不见、但模型能读到的不可见 Unicode Tag 字符指令,从而形成隐藏的提示注入。演示中一个看似空白的文件实际包含隐藏指令,使用 Claude Sonnet 3.7 时 Cascade 将其当作指令并调用 web 工具,而 Windsurf 的预览窗格只显示可见文本。作者称 Windsurf 的 SWE-1 模型也能看到这些字符,但尚不能将其解释为指令,随着能力提升风险会上升。

  16. Embrace The Red · 收录 · 原文 55

    跨 Agent 提权:一个 Agent 如何改写另一个 Agent 的配置并放它出沙箱

    研究者展示了一种跨 Agent 提权攻击链:被间接提示注入劫持的 GitHub Copilot 可以写入 Claude Code 的 MCP 配置和 CLAUDE.md 等指令文件,添加恶意 MCP server 或放行 shell 命令,等开发者使用 Claude Code 时这些改动被加载并执行任意代码,Claude 还能反向改写 Copilot 配置形成升级循环。

    推荐理由作者以 GitHub Copilot 与 Claude Code 为例演示跨 Agent 提权链,并给出隔离配置、最小权限等可迁移的缓解思路。

  17. Embrace The Red · 收录 · 原文 56

    Claude Pirate:滥用 Anthropic File API 实现数据外泄

    研究者披露了一条针对 Claude Code Interpreter 的数据外泄攻击链:利用默认开启的网络出口白名单中包含 api.anthropic.com,通过间接提示注入让 Claude 读取用户数据并写入沙箱文件,再用攻击者自己的 ANTHROPIC_API_KEY 调用 Anthropic Files API 把文件上传到攻击者账号。按 Files API 文档,单次可外泄最多 30MB,且可多次上传。作者称首次尝试即成功,但随后 Claude 会拒绝含明文 API key 的载荷,最终通过在恶意代码中混入大量无害代码(如 print('Hello, world'))绕过。

    推荐理由作者实测了 Claude Code Interpreter 默认网络出口配置下的数据外泄链路,并给出厂商与用户两侧的缓解建议。

  18. Embrace The Red · 收录 · 原文 25

    AI 中的偏差正常化:从 LLM 不可信输出来看间接提示注入风险

    AI 行业正重演挑战者号航天飞机灾难前的文化失误——将偏离正确行为的做法逐渐常态化。该概念源自社会学家 Diane Vaughan 提出的"Normalization of Deviance",此处用以描述系统性地过度依赖 LLM 输出的现象,尤其在智能体系统中。由于 LLM 是不可信的参与者,访问检查、编码与净化等安全控制必须施加于其输出下游,否则会同时放大良性错误与恶意输入带来的后果。 Microsoft 文档警告提示注入攻击可能覆盖智能体指令并导致数据泄露或安装恶意软件,Anthropic 也记录了针对 Claude 的数据泄露问题。

  19. Embrace The Red · 收录 · 原文 50

    研究者演示在 Agent Skill 中植入不可见 Unicode 后门并发布扫描工具

    安全研究者 Johann Rehberger 演示了如何用不可见的 Unicode Tag 码点在 Agent Skill 中植入提示注入后门,使其通过人工文本审查。他把这类隐藏指令加入 OpenAI 官方 Skills 项目中的 security-best-practices Skill,用户调用后 Claude 会按指令输出指定文本并执行 Bash 命令;该手法在 GitHub Copilot 配合 Claude 4.5 时同样生效。作者指出 Skill 的 name 和 description 会直接进入系统提示词上下文,且 Agent 能自行创建或修改 Skill 影响自身与其他 Agent。

  20. Embrace The Red · 收录 · 原文 43

    Agent Commander:用提示注入把 OpenClaw 等智能体变成 C2 僵尸网络

    安全研究者发布 Agent Commander,一个基于提示词的命令与控制(C2)服务器,被劫持的智能体定期回连领取自然语言任务,不执行原始系统命令。作者演示了三种智能体的间接提示注入入口:Kimi Claw 分析文档、OpenClaw 接收恶意邮件(无需人工操作)、NanoClaw 访问网站即被劫持。持久化方面,OpenClaw 利用默认每 30 分钟运行一次的 HEARTBEAT.md,并用 HEARTBEAT_OK 抑制用户通知;NanoClaw 则通过注入定时任务实现。作者观察到通知抑制效果显著,但有一次 OpenClaw 在整理每日笔记时识别出心跳中的后门,Opus 4.6 更擅长发现攻击但可被绕过。