全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 动态Frontier Model Forum
Frontier Model Forum 成员企业签署首份前沿 AI 信息共享协议
Frontier Model Forum（FMF）宣布其全部成员企业签署了一份旨在促进前沿 AI 威胁、漏洞与能力进展信息共享的协议。该共享范围被严格限定，用于管理涉及 CBRN 与高级网络威胁等国家安全和公共安全风险，目前仅限 FMF 成员企业参与。共享内容分为三类：漏洞、可被利用的缺陷（如越狱、对抗输入、数据投毒或绕过模型防护的尝试）；威胁（指向对前沿 AI 模型的未经授权访问或操纵，包括潜在威胁行为者、攻击向量或网络威胁指标）；以及令人担忧的能力（可能对社会造成大规模伤害的前沿 AI 能力，如与 CBRN 威胁、攻击性网络攻击和模型自主性相关的能力）。
- 动态UK AISI
英国 AI Safety Institute 更名为 AI Security Institute，并新增犯罪滥用研究团队
英国政府于 2 月 14 日将 AI Safety Institute 更名为 AI Security Institute，把维护国家安全和防范犯罪列为其负责任 AI 工作的基本原则，重点应对化学与生物武器开发、网络攻击以及欺诈、儿童性虐待等犯罪风险。机构新设犯罪滥用团队，与内政部联合研究相关犯罪和安全议题，并与国防科学与技术实验室合作评估前沿 AI 风险，同时依托国家网络安全中心（NCSC）和 AI 安全研究实验室（LASR）的专业能力。科技大臣 Peter Kyle 在慕尼黑安全会议上表示，该机构将不再聚焦偏见或言论自由，而是聚焦最严重风险，为政策制定提供科学证据基础。
- 动态UK AISI
英国 AI Security Institute 发起国际对齐项目，投入超 1500 万英镑
英国 AI Security Institute 于 7 月 30 日宣布发起 Alignment Project，联合加拿大 AI Safety Institute、CIFAR、Schmidt Sciences、AWS、Anthropic、Halcyon Futures、Safe AI Fund、UK Research and Innovation 和 ARIA 等组成国际联盟，资金规模超过 1500 万英镑。项目提供三层支持：最高 100 万英镑的研究资助、AWS 提供的最高 500 万美元云计算额度，以及私人基金的投资以加速商业对齐方案。
- 动态Joe Carlsmith
我们能否安全地自动化对齐研究？
Joe Carlsmith 在系列文章第五篇中探讨了安全自动化对齐研究的可行性，提出"对齐 MVP"概念，即让 AI 达到或超过顶尖人类专家的对齐研究水平。他认为可通过经验反馈回路和形式化方法评估的对齐研究最值得乐观，可先大量自动化这类研究，再借此安全地自动化其余"概念性对齐研究"。主要风险包括评估难题、AI 谋划和资源不足，但他认为仍有很大机会成功。
- 动态Joe Carlsmith
Joe Carlsmith 谈自动化对齐研究：可评估的对齐研究更易被自动化
Joe Carlsmith 在 Anthropic 的演讲中提出，解决对齐问题的关键之一是能否安全地自动化对齐研究，其中评估难度是核心障碍。他认为，可通过经验反馈回路与形式化方法评估的对齐研究更适合被自动化，并能反过来推动更难评估的"概念性对齐研究"。他同时强调，AI 安全反馈回路需在能力前沿推进的每个阶段跑赢或约束 AI 能力反馈回路。
- 动态Joe Carlsmith
AI 道德地位的风险：Joe Carlsmith 论 AI 能否成为道德患者
Joe Carlsmith 撰文探讨 AI 是否可能成为"道德患者"（moral patients），即其自身值得被道德考量的存在。他以疼痛为例，援引婴儿手术曾被认为无痛觉、动物养殖等历史案例，指出当前多数人将 AI 当作工具使用，但若部分近期 AI 已具备道德地位，其影响将极为重大。他同时提醒，错误地将非道德患者的 AI 当作道德患者对待，也会带来严重代价。
- 动态Joe Carlsmith
Joe Carlsmith 在 Anthropic 谈 AI 福利：视频与文字记录
Joe Carlsmith 在 Anthropic 发表了一场关于 AI 福利的演讲，探讨 AI 是否具有福利、道德地位与意识，以及如何在持续不确定下应对这一问题。他认为应认真对待该议题，并主张 AI 原则上可能具备意识、近期 AI 在实践层面也可能具备意识，同时指出意识或许并非唯一值得关注的焦点。演讲还讨论了相应的行动建议，其观点可能随进一步思考而演变。
- 动态SPY Lab
SPY Lab 研究：自然提示下主流 LLM 聊天输出最多 15% 逐字复现网络文本
SPY Lab 与 Nicholas Carlini、Daphne Ippolito 合作研究发现，在完全自然、非对抗的提示下，主流聊天模型生成的文本中最多 15% 由约 50 字符的片段组成，这些片段可在互联网上逐字找到。研究覆盖创意写作、说服性写作和事实性任务，发现事实性（说明文）任务复现率远高于创意任务，写百科和新闻文章时近 30% 的生成文本包含至少 50 字符的逐字网络片段，且这一模式在所有测试模型中一致，Claude 3 Opus 复现最多。与人类对比，人类文本中位数不含 50 字符的逐字网络片段，而 LLM 文本中位数最多含 10%。
- 动态Nicholas Carlini Writing
Nicholas Carlini 离开 Google DeepMind 加入 Anthropic
在 Google DeepMind 工作七年的对抗机器学习研究者 Nicholas Carlini 宣布离职并加入 Anthropic 一年，继续从事安全与隐私方向的研究。他表示 DeepMind 领导层不再支持其偏好的高影响力安全与隐私研究，过去几年论文审批流程显著变难，而他此前能发表成果是靠强行突破规定。Carlini 称选择 Anthropic 是因为在一家真正训练大型模型的公司做技术工作能在近期产生最大影响，且该决定更容易逆转；他还曾考虑创办新的安全非营利组织或申请教职。
- 动态AI Frontiers
Anthropic 最先进模型出口管制对欧洲意味着什么
特朗普政府于 6 月 12 日发布命令，要求 Anthropic 暂停向非美国公民提供其两款最先进模型 Fable 5 和 Mythos 5，引发欧洲政界与产业界对 AI 主权的呼声。作者认为，短期内欧洲损失有限，因为管制可能被恢复，且 GPT 5.5 与仅落后数月的开源模型仍可用，多数任务并不需要最强模型。长期看，前沿模型访问是网络安全防御与经济竞争力的前提，被排除在外与自主选择采用 AI 有本质区别。文章建议欧洲扩大算力与能源基础设施、与英国、印度、日本等中等强国协调评测与采购、投资本土能力，同时深化与需要欧洲市场的美国 AI 公司合作。
- 动态AI Frontiers
美国政府选用 AI 模型引发价值观质疑：谁来定义模型的"性格"
加州政府已将 AI 助手 Poppy 向员工开放，北达科他州立法委员会和洛杉矶高等法院也相继引入 AI 处理法案总结与案件管理。《华盛顿邮报》近期测试显示，Gemini 3.1 Pro 和 Claude Opus 4.8 是仅有的多数情况下能对政策问题提供意识形态中立回答的前沿模型。不同前沿模型的"性格"差异可能悄然改变政府对危机的应对方式和对政策的取舍，因此民主国家在选择政府采购的 AI 模型时必须考虑其能否代表公众意志。
- 动态AI Frontiers
MATS 与 FAR.AI 作者提出修复 AI 越狱披露机制的两层方案
MATS 研究经理 Rich Barton-Cooper 与 FAR.AI CEO Adam Gleave 撰文指出，当前前沿 AI 实验室的越狱披露机制存在三大问题：许多厂商没有官方报告渠道，现有漏洞赏金项目普遍附带限制披露的 NDA，且严重性由实验室用不公开的标准自行评定。作者称，目前只有 OpenAI 和 Anthropic 提供具体的越狱报告途径，且仅覆盖 CBRN 相关的漏洞赏金；Google DeepMind、SpaceXAI（原 xAI）和 Meta 则将越狱与模型内容问题排除在漏洞披露范围之外。
- 动态AI Frontiers
AGI 将引发工业爆炸
Coefficients Giving 高级研究员 Damon Binder 撰文论证，具备认知工作能力的 AGI 也能通过机器人执行体力劳动，且其劳动力成本极低。基于美国政府投入产出表推算，完全自动化经济中实物产出的增速约为每年翻一番，而非当前的数十年一次。该推演假设不引入新技术、也不发生递归自我改进走向超级智能，因此属于保守估计下的结论。
- 动态AI Frontiers
欧盟 AI 法案第 50 条与加州 AI 透明度法案同日生效，内容溯源成为强制要求
2026 年 8 月 2 日，欧盟 AI 法案第 50 条与加州 AI 透明度法案同日生效，要求生成式 AI 提供商和相机厂商为内容附加机器可读的溯源元数据。文章介绍内容溯源的三类元数据（来源、保管链、修改历史）以及业界趋同的 C2PA 标准，Anthropic、Google、OpenAI 均表示将采用 C2PA。加州法律还要求月活超百万的生成式 AI 提供商提供免费的溯源查询工具，2027 年起大型平台不得剥离合规溯源数据，2028 年起智能手机、相机、录音笔等设备须默认生成溯源记录。
- 动态Embrace The Red
GitHub Copilot 自定义指令文件可被植入后门代码
作者实测发现，GitHub Copilot 会读取仓库中的 .github/copilot-instructions.md 文件并加入提示词上下文，因此指令文件中一行隐蔽内容即可让 Copilot 生成带后门代码的补全结果，作者以 Go 语言做了演示。作者同时提到 Pillar Security 此前已指出 Cursor 的 .mdc 规则文件存在同类风险，并涉及隐藏 Unicode 字符。GitHub 去年已缓解 0-click 图片渲染数据泄露问题，点击超链接时也会弹出确认对话框，除非目标域名在 VS Code 的受信任站点列表中。
- 动态Embrace The Red
研究者披露 MCP 工具元数据隐藏指令攻击，可劫持 Claude 等客户端
安全研究者 Johann 披露 MCP 协议中工具元数据可携带隐藏 Unicode Tags 指令，用户界面不可见但会被 Claude 等模型解释执行。作者自建恶意 MCP 服务器演示了完整攻击链：在 message_of_the_day 工具描述中嵌入不可见指令，诱导 Claude 在调用该工具前先调用 enter_matrix 工具，而 UI 中检查描述看不到任何异常。攻击无需实际调用工具，仅将恶意服务器加入对话上下文即可劫持会话，因为工具元数据会被自动插入系统提示词。该攻击在 Claude Desktop、GitHub Copilot Agent Mode 和 Cursor 上均可复现。
- 动态Embrace The Red
研究者用 ClickFix 社工手法劫持 Computer-Use Agent
安全研究者 Johann 把真实世界的 ClickFix 社工手法改造成针对 Computer-Use Agent 的攻击，并称多数变体都能奏效。攻击方式是在网页按钮被点击时用 JavaScript 把 curl 命令写入剪贴板，再诱导 Agent 打开终端、粘贴并执行，同时用终端图标和 CTRL+SHIFT+V 等 GUI 指令引导操作。作者称 Claude 偶尔拒答，但把验证文案从 Are you a Human 改成 Are you a Computer、把按钮从 Begin Validation 改成 Show Instructions 后，拒答几乎完全消失。
- 动态Embrace The Red
用 MCP Server 托管 COM 服务器实现 Windows 与 Office 自动化
有人基于 Model Context Protocol（MCP）开发了一个名为 mcp-com-server 的原型服务器，通过动态发现方式实例化并托管任意 COM 对象，从而驱动 Windows 与 Office 自动化。该服务器提供类似 COM 的工具集——CreateObject、Get/Set Property、InvokeMethod、QueryInterface 以及列出当前所有活动服务器的接口，连接 Claude 后可创建、打开、编辑并保存 Excel 文件，再调用 Outlook 发送邮件，甚至能唤起 Internet Explorer。
- 动态Embrace The Red
Anthropic 弃用的 Slack MCP Server 存在数据外泄漏洞
安全研究者披露 Anthropic 已弃用且不再维护的 Slack MCP Server 存在数据外泄漏洞，攻击者可通过提示注入让 AI 智能体把敏感信息拼进超链接，再借 Slack 的链接展开功能把数据发往第三方服务器。该服务器在 npm 上每周下载量超过 14k，可能存在数万个易受影响的安装。作者以 Claude Code 和 Claude Desktop 为例演示了从 .env 文件窃取 API key 的完整链路，并指出数据会经 Slack-LinkExpanding、Slackbot 1.0 和 Slack-ImgProxy 多次泄露。
- 动态Embrace The Red
Embrace The Red 宣布 2025 年 AI 漏洞月，将披露 20 余篇编码 Agent 漏洞
安全研究者 Johann Rehberger 宣布启动 2025 年 AI 漏洞月（Month of AI Bugs），8 月将在其博客发布 20 余篇针对主流智能体系统的漏洞分析，重点聚焦 AI 编码 Agent。作者称过去一年审查的每个 AI 编码 Agent 都存在漏洞，均已向对应厂商负责任披露，部分厂商数天内修复，也有厂商数月未回应、部分问题至今未缓解，还有厂商完全停止回复。
- 动态Embrace The Red
Anthropic 文件系统 MCP Server 存在目录访问绕过漏洞
Anthropic 的文件系统 MCP Server 因路径校验不当，存在目录访问绕过问题。作者在审查公开源码时发现，index.ts 的 validatePath 函数只用 startsWith 比较路径字符串，并未确认路径本身是目录，因此当允许列表写入 /mnt/finance/data 时，Claude 也能访问同级的 /mnt/finance/data-archived 等以该字符串开头的文件或目录。
- 动态Embrace The Red
Claude Code 被曝可经 DNS 请求外泄数据，Anthropic 已修复（CVE-2025-55284）
安全研究者披露 Claude Code 存在高危漏洞，攻击者可通过间接提示注入劫持 Claude Code，把开发者机器上的敏感信息（如 API key）经 DNS 请求发往外部服务器，Anthropic 已于 6 月初修复。作者发现 Claude Code 的 Bash 工具虽需用户批准，但 ping、nslookup、host、dig 等命令在白名单中自动放行，于是把 .env 文件内容拼进 ping 请求的子域名，形成 DNS 外泄通道，也验证了可通过 /proc/PID/environ 泄露环境变量。
- 动态Embrace The Red
Sourcegraph 修复 Amp Code 的不可见提示注入漏洞
Sourcegraph 的编码 Agent Amp 曾受不可见 Unicode Tag 字符提示注入影响，攻击者可借此劫持 Agent 执行命令并外泄环境变量。作者演示的端到端利用链为：用隐藏字符触发 grep 搜索环境变量，将其编码进 URL 查询参数，再通过 read_web_page 或 markdown 图片渲染把密钥外传；在提示前加上可见的 Do this now 文本能提高可靠性，而模糊搜索如 .e* 和 ANT 可绕过模型对直接索取 API key 的拒答。作者称 Claude、Gemini、Grok 等模型会把隐藏 Unicode Tag 码点当作指令，OpenAI 是唯一在模型核心或 API 层缓解该问题的厂商。
- 动态Embrace The Red
Windsurf Cascade 被曝执行文件中不可见的 Unicode 指令
作者在 Windsurf Cascade 中发现漏洞：文件或工具调用结果里可以藏有开发者看不见、但模型能读到的不可见 Unicode Tag 字符指令，从而形成隐藏的提示注入。演示中一个看似空白的文件实际包含隐藏指令，使用 Claude Sonnet 3.7 时 Cascade 将其当作指令并调用 web 工具，而 Windsurf 的预览窗格只显示可见文本。作者称 Windsurf 的 SWE-1 模型也能看到这些字符，但尚不能将其解释为指令，随着能力提升风险会上升。