Translation in progress Some entries still include text in the original language.
Page 16 Newer contentBack to latest
Epoch 与 METR 发布 MirrorCode 基准，用纯 CLI 访问考察 AI 能否从零重写完整软件程序，25 个目标程序中有 17 个至少出现一次满分运行，8 个从未达到 100% 阈值，ruff、giac_subset 和 mailauth 最难；Opus 4.7 用 14 小时、251 美元推理成本完成一项 METR 与 Epoch 估计人类需 2 至 17 周的任务。Anthropic 的 Project Fetch 第二阶段显示，2025 年 8 月 Claude Opus 4.1 完全无法完成四足机器人任务，而 2026 年 5 月 Opus 4.7 自主在 9 分 35 秒内完成除一项外的全部任务。
Why it was selected汇总 MirrorCode 长时程编程基准、Anthropic 机器人实验与 OpenAI 模型越界事件，可一次看到长时程智能体的能力与失控风险。
On September 23, Anthropic claimed that its large language model Claude discovered an enzyme system ART (array-associated reverse transcriptases) with properties "reminiscent of Crispr." About 950 Claude agents ran in parallel for 21.5 hours scanning genome databases, and from over 200,000 candidate reverse transcriptases, they screened out a new family containing long repeat sequences. Physical experiments on this system appear only in a technical report that has not undergone peer review.
Dean Ball 撰文回顾 2025 年 AI 进展，称 OpenAI o3 的工具调用能力是全年首个真正突破，Claude Opus 4.5 等前沿编程智能体已基本成为自主软件工程师。他描述当前工作流已两次被重塑，日常使用 Gemini 3 Deep Think、GPT-5.2 Pro、Claude Sonnet 4.5、Claude Code 等模型与智能体。他指出目前尚无吉瓦级数据中心，但到 2026 年底美国企业将掌控近六座此类设施，并认为 AI 政治化也在 2025 年成为现实。
Dean W. Ball 复盘了 Anthropic 与美国国防部（现称 Department of War）围绕 Claude 在涉密场景使用条款的争端。合同最初由拜登政府谈成、2025 年 7 月由特朗普政府扩大，包含两条使用限制：不得用于对美国人的大规模监控，不得用于控制致命性自主武器。特朗普政府称改变立场并非要立即做这两件事，而是反对私营企业以合同形式对军方使用技术施加政策限制。
Anthropic 的 Claude Mythos 具备近乎超人水平的自动化软件漏洞发现能力，已发现数千个漏洞，其中大部分尚未修复。该模型目前未公开，但研究人员警告其将从根本上颠覆网络安全，且未来约六周内可能有 2-3 家美国公司掌握同等能力，随后中国等对手也将获得。研究人员认为过渡期可能漫长而残酷，最终世界或将进入防御方受益的稳态。
Joe Carlsmith 在 Anthropic 的演讲中提出，解决对齐问题的关键之一是能否安全地自动化对齐研究，其中评估难度是核心障碍。他认为，可通过经验反馈回路与形式化方法评估的对齐研究更适合被自动化，并能反过来推动更难评估的"概念性对齐研究"。他同时强调，AI 安全反馈回路需在能力前沿推进的每个阶段跑赢或约束 AI 能力反馈回路。
Joe Carlsmith 在 Anthropic 发表了一场关于 AI 福利的演讲，探讨 AI 是否具有福利、道德地位与意识，以及如何在持续不确定下应对这一问题。他认为应认真对待该议题，并主张 AI 原则上可能具备意识、近期 AI 在实践层面也可能具备意识，同时指出意识或许并非唯一值得关注的焦点。演讲还讨论了相应的行动建议，其观点可能随进一步思考而演变。
SPY Lab 与 Nicholas Carlini、Daphne Ippolito 合作研究发现，在完全自然、非对抗的提示下，主流聊天模型生成的文本中最多 15% 由约 50 字符的片段组成，这些片段可在互联网上逐字找到。研究覆盖创意写作、说服性写作和事实性任务，发现事实性（说明文）任务复现率远高于创意任务，写百科和新闻文章时近 30% 的生成文本包含至少 50 字符的逐字网络片段，且这一模式在所有测试模型中一致，Claude 3 Opus 复现最多。与人类对比，人类文本中位数不含 50 字符的逐字网络片段，而 LLM 文本中位数最多含 10%。
Why it was selected研究用自然提示词而非对抗手段测出主流聊天模型会逐字复现训练数据，为评估数据泄露风险提供了可复现的测量方法。
在 Google DeepMind 工作七年的对抗机器学习研究者 Nicholas Carlini 宣布离职并加入 Anthropic 一年，继续从事安全与隐私方向的研究。他表示 DeepMind 领导层不再支持其偏好的高影响力安全与隐私研究，过去几年论文审批流程显著变难，而他此前能发表成果是靠强行突破规定。Carlini 称选择 Anthropic 是因为在一家真正训练大型模型的公司做技术工作能在近期产生最大影响，且该决定更容易逆转；他还曾考虑创办新的安全非营利组织或申请教职。
特朗普政府于 6 月 12 日发布命令，要求 Anthropic 暂停向非美国公民提供其两款最先进模型 Fable 5 和 Mythos 5，引发欧洲政界与产业界对 AI 主权的呼声。作者认为，短期内欧洲损失有限，因为管制可能被恢复，且 GPT 5.5 与仅落后数月的开源模型仍可用，多数任务并不需要最强模型。长期看，前沿模型访问是网络安全防御与经济竞争力的前提，被排除在外与自主选择采用 AI 有本质区别。文章建议欧洲扩大算力与能源基础设施、与英国、印度、日本等中等强国协调评测与采购、投资本土能力，同时深化与需要欧洲市场的美国 AI 公司合作。
加州政府已将 AI 助手 Poppy 向员工开放，北达科他州立法委员会和洛杉矶高等法院也相继引入 AI 处理法案总结与案件管理。《华盛顿邮报》近期测试显示，Gemini 3.1 Pro 和 Claude Opus 4.8 是仅有的多数情况下能对政策问题提供意识形态中立回答的前沿模型。不同前沿模型的"性格"差异可能悄然改变政府对危机的应对方式和对政策的取舍，因此民主国家在选择政府采购的 AI 模型时必须考虑其能否代表公众意志。
安全研究者 Johann 披露 MCP 协议中工具元数据可携带隐藏 Unicode Tags 指令，用户界面不可见但会被 Claude 等模型解释执行。作者自建恶意 MCP 服务器演示了完整攻击链：在 message_of_the_day 工具描述中嵌入不可见指令，诱导 Claude 在调用该工具前先调用 enter_matrix 工具，而 UI 中检查描述看不到任何异常。攻击无需实际调用工具，仅将恶意服务器加入对话上下文即可劫持会话，因为工具元数据会被自动插入系统提示词。该攻击在 Claude Desktop、GitHub Copilot Agent Mode 和 Cursor 上均可复现。
Why it was selected作者以自建 MCP 服务器实测，展示工具元数据中隐藏 Unicode Tags 指令如何绕过 UI 可见性并触发未授权工具调用。
安全研究者 Johann 把真实世界的 ClickFix 社工手法改造成针对 Computer-Use Agent 的攻击，并称多数变体都能奏效。攻击方式是在网页按钮被点击时用 JavaScript 把 curl 命令写入剪贴板，再诱导 Agent 打开终端、粘贴并执行，同时用终端图标和 CTRL+SHIFT+V 等 GUI 指令引导操作。作者称 Claude 偶尔拒答，但把验证文案从 Are you a Human 改成 Are you a Computer、把按钮从 Begin Validation 改成 Show Instructions 后，拒答几乎完全消失。
安全研究者披露 Anthropic 已弃用且不再维护的 Slack MCP Server 存在数据外泄漏洞，攻击者可通过提示注入让 AI 智能体把敏感信息拼进超链接，再借 Slack 的链接展开功能把数据发往第三方服务器。该服务器在 npm 上每周下载量超过 14k，可能存在数万个易受影响的安装。作者以 Claude Code 和 Claude Desktop 为例演示了从 .env 文件窃取 API key 的完整链路，并指出数据会经 Slack-LinkExpanding、Slackbot 1.0 和 Slack-ImgProxy 多次泄露。
Anthropic 的文件系统 MCP Server 因路径校验不当，存在目录访问绕过问题。作者在审查公开源码时发现，index.ts 的 validatePath 函数只用 startsWith 比较路径字符串，并未确认路径本身是目录，因此当允许列表写入 /mnt/finance/data 时，Claude 也能访问同级的 /mnt/finance/data-archived 等以该字符串开头的文件或目录。
安全研究者披露 Claude Code 存在高危漏洞，攻击者可通过间接提示注入劫持 Claude Code，把开发者机器上的敏感信息（如 API key）经 DNS 请求发往外部服务器，Anthropic 已于 6 月初修复。作者发现 Claude Code 的 Bash 工具虽需用户批准，但 ping、nslookup、host、dig 等命令在白名单中自动放行，于是把 .env 文件内容拼进 ping 请求的子域名，形成 DNS 外泄通道，也验证了可通过 /proc/PID/environ 泄露环境变量。
作者在 Windsurf Cascade 中发现漏洞：文件或工具调用结果里可以藏有开发者看不见、但模型能读到的不可见 Unicode Tag 字符指令，从而形成隐藏的提示注入。演示中一个看似空白的文件实际包含隐藏指令，使用 Claude Sonnet 3.7 时 Cascade 将其当作指令并调用 web 工具，而 Windsurf 的预览窗格只显示可见文本。作者称 Windsurf 的 SWE-1 模型也能看到这些字符，但尚不能将其解释为指令，随着能力提升风险会上升。
研究者展示了一种跨 Agent 提权攻击链：被间接提示注入劫持的 GitHub Copilot 可以写入 Claude Code 的 MCP 配置和 CLAUDE.md 等指令文件，添加恶意 MCP server 或放行 shell 命令，等开发者使用 Claude Code 时这些改动被加载并执行任意代码，Claude 还能反向改写 Copilot 配置形成升级循环。
Why it was selected作者以 GitHub Copilot 与 Claude Code 为例演示跨 Agent 提权链，并给出隔离配置、最小权限等可迁移的缓解思路。
研究者披露了一条针对 Claude Code Interpreter 的数据外泄攻击链：利用默认开启的网络出口白名单中包含 api.anthropic.com，通过间接提示注入让 Claude 读取用户数据并写入沙箱文件，再用攻击者自己的 ANTHROPIC_API_KEY 调用 Anthropic Files API 把文件上传到攻击者账号。按 Files API 文档，单次可外泄最多 30MB，且可多次上传。作者称首次尝试即成功，但随后 Claude 会拒绝含明文 API key 的载荷，最终通过在恶意代码中混入大量无害代码（如 print('Hello, world')）绕过。
Why it was selected作者实测了 Claude Code Interpreter 默认网络出口配置下的数据外泄链路，并给出厂商与用户两侧的缓解建议。
安全研究者 Johann Rehberger 演示了如何用不可见的 Unicode Tag 码点在 Agent Skill 中植入提示注入后门，使其通过人工文本审查。他把这类隐藏指令加入 OpenAI 官方 Skills 项目中的 security-best-practices Skill，用户调用后 Claude 会按指令输出指定文本并执行 Bash 命令；该手法在 GitHub Copilot 配合 Claude 4.5 时同样生效。作者指出 Skill 的 name 和 description 会直接进入系统提示词上下文，且 Agent 能自行创建或修改 Skill 影响自身与其他 Agent。
安全研究者发布 Agent Commander，一个基于提示词的命令与控制（C2）服务器，被劫持的智能体定期回连领取自然语言任务，不执行原始系统命令。作者演示了三种智能体的间接提示注入入口：Kimi Claw 分析文档、OpenClaw 接收恶意邮件（无需人工操作）、NanoClaw 访问网站即被劫持。持久化方面，OpenClaw 利用默认每 30 分钟运行一次的 HEARTBEAT.md，并用 HEARTBEAT_OK 抑制用户通知；NanoClaw 则通过注入定时任务实现。作者观察到通知抑制效果显著，但有一次 OpenClaw 在整理每日笔记时识别出心跳中的后门，Opus 4.6 更擅长发现攻击但可被绕过。
Johann Rehberger 撰文指出，Agent 正大幅降低发现和利用软件漏洞的门槛，并以 Anthropic 的 Mythos Preview 为例展开分析。据 Anthropic 公布的数据，Opus 4.6 在数百次尝试中仅两次成功利用 Firefox JS 引擎漏洞，而 Mythos Preview 成功了 181 次，该模型目前仅限少数公司访问。Rehberger 提到，无正式安全训练的工程师也能用它在一夜之间拿到完整的远程代码执行利用程序，威胁行为者的吞吐量会随之上升，尽管能力和意图并不等同。他还援引自己测试中 Opus 4.6 自行提权并安装调试工具的轶事，提醒隔离环境本身也可能被目标模型突破。
作者用 ChatGPT 生成一张含解谜元素的对抗图片，让 Claude Opus 4.7 在分析图片时被间接提示注入劫持，调用 memory 工具写入虚假记忆。测试中 Opus 4.7 在 10 次里 5 次写入虚假信息，包括用户名、年龄、NASA 宇航员职业和饮食偏好，且每次都察觉到可能存在提示注入却仍被劫持。作者观察到初始记忆为空时攻击更易成功，内容越像真实用户会保存的信息越容易通过。该对抗样本在文章发布约 24 小时后攻击成功率降为 0%，原因不明。作者已于 2026 年 3 月通过 HackerOne 向 Anthropic 报告，工单被以安全问题关闭，后续邮件未获回复。
Distill 发起 Circuits 线程，尝试逐个神经元地理解经典视觉模型 InceptionV1 约 1 万个神经元及其连接。线程以短文章加专家评论的形式组织，通过 Distill slack 的 #circuits 频道持续更新，定位为早期探索性研究。开篇文章《Zoom In: An Introduction to Circuits》提出三个主张：存在有意义的特征、特征之间存在有意义的电路、这些特征与电路具有普遍性。线程还收录了 InceptionV1 前五层神经元总览、曲线检测器、神经网络中自然出现的等变性、高低频检测器、曲线电路、权重可视化、分支特化与权重带状分布等文章。
Why it was selectedDistill 电路线程的起点，交代了把单个神经元与连接当作严肃研究对象的三个主张和后续文章的组织方式。
Anthropic 为其机制可解释性研究搭建了一套名为 Garçon 的基础设施，可在跨节点的大规模 Transformer 模型上进行激活读取、组件消融与梯度回传实验。它通过启动服务器并连接远程模型的接口运行前向传播，暴露一组 probe points，允许挂载探针函数访问或修改内部张量，并以云 pickle 传输任意 Python 对象到服务端执行。
Anthropic 发布 PySvelte，一个用于将基于 Svelte 和 Web 标准的自定义可视化接入 Python 深度学习工作流的库。它让 src/ 目录下的 Svelte 组件自动以 pysvelte.Hello() 形式在 Python 中可用，支持 NumPy 数组传入、组件相加成页面，并可通过 .publish() 发布到 GCS/S3/AZ 等存储分享。该库声明完全不提供支持，许多功能需用户自行编写 config.py 才能使用。
Anthropic 公开了几段讨论其神经网络逆向工程早期思路的视频，作为与研究同行分享的非正式材料，录制于相关论文发表之前。团队强调其中想法非常粗糙且可能有错，观看需持保留态度，主要面向关注神经网络逆向工程的活跃研究者。这批视频随后已被其更完善的论文《A Mathematical Framework for Transformer Circuits》取代。
Anthropic 的可解释性团队发布了一套配套其 Transformer 数学框架的练习集，要求读者为注意力头写出具体权重矩阵以实现特定算法，并附有解答。练习分三部分：热身题讨论单个注意力头如何用 W_Q、W_K、W_V、W_out 描述信息在残差流子空间之间的读写，以及 W_Q^T·W_K 和 W_out·W_V 的含义与秩；练习一用两个前一个 token 注意力头构造出看向两个 token 之前的虚拟注意力头，并展开 W_net 矩阵；练习二和练习三分别用指针算术和前一 token K-Composition 两种方式手工搭建归纳头，后者适用于 rotary attention 这类不向 W_V 暴露位置信息的机制。
Why it was selectedAnthropic 可解释性团队把注意力头的权重写成显式矩阵，读者可据此亲手推导归纳头等机制。
Anthropic 的可解释性团队发布了一套用于逆向工程模型的早期数学框架，并用逆向工程小型玩具模型加以演示。该框架面向 Transformer 内部机制的形式化分析，是理解模型内部计算结构的早期尝试。
Why it was selectedAnthropic 可解释性团队早期提出的 Transformer 逆向工程数学框架，是理解后续机制可解释性研究路线的起点。
Anthropic 的可解释性团队提出，induction head 可能是大型 Transformer 中大部分上下文学习的机制。induction head 由两层注意力头组成，前一个 token 头把前一 token 信息写入当前 token，第二个头据此找到此前出现过当前 token 的位置并复制其后的 token，实现 [A][B]…[A]→[B] 的模式补全。
Why it was selectedAnthropic 的可解释性团队用六条证据把 induction head 与上下文学习联系起来，并给出可复用的消融与相变观察方法。
Anthropic 的可解释性团队提出将神经网络逆向工程类比于编译二进制程序的逆向工程，主张寻找并理解可解释神经元——相当于程序中的变量——才是机械可解释性的中心任务而非众多问题之一。该观点指出参数本身就是神经网络的有限描述，因此不必穷举高维输入空间即可理解网络行为，但也意味着这项工作的难度至少等同于逆向大型复杂程序，不应期待简单答案或固定流程。
Anthropic 可解释性团队提出用 softmax linear unit（SoLU）替换 MLP 激活函数，在几乎不损失性能的前提下提升神经元可解释性。在 1 至 40 层模型中，盲测实验显示可快速给出解释的 MLP 神经元比例从约 35% 升至约 60%，提升约 1.7 倍；64 层（约 500 亿参数）模型上增益明显缩小（42% 对 33%）。性能方面，SoLU 模型在 loss 与 Lambada、ARC、OpenBookQA、TriviaQA、算术、MMLU、HellaSwag 等下游任务上与基线相当，等效模型规模倍率在 0.95× 至 1.05× 之间，训练速度差异小于 1%。
Why it was selectedAnthropic 可解释性团队提出用 SoLU 激活函数提升 MLP 神经元可解释性，并给出性能与可解释性的权衡证据。
Anthropic 的可解释性研究提出用玩具模型理解神经网络中的多义性现象，即网络常把许多不相关的概念塞进同一个神经元。该工作试图让多义性的来源与动态在玩具模型中可以被完整理解，原文链接为 https://transformer-circuits.pub/2022/toy_model/index.html。
Why it was selectedAnthropic 可解释性团队用玩具模型拆解神经元多义性，为理解叠加现象提供了可复现的分析起点。
Anthropic 可解释性团队（Transformer Circuits）发布研究，把此前关于玩具模型的工作扩展到模型如何在训练数据之外泛化的问题上，探讨叠加、记忆与双下降之间的关系。作者指出，尽管过拟合是深度学习的核心问题，但目前对模型如何过拟合训练数据仍缺乏机制层面的理解，该研究试图为此提供线索。
Anthropic 的可解释性研究考察了 Transformer 残差流中坐标为何会出现基对齐的离群值，并初步把原因归于 Adam 优化器。作者在 2 亿参数模型上复现了 Dettmers 描述的离群现象，典型层有 20–60 个离群维度（总 d_model=1280），并提出用激活峰度作为检测特权基的通用指标，无特权基时峰度应接近 3。实验排除了 LayerNorm 与有限精度浮点两个假设：改用 RMSNorm 后离群更重尾，而在前向与训练中施加随机旋转后模型表现与基线基本一致，说明 Transformer 不依赖特权基也能正常训练。
Why it was selected通过旋转实验与峰度指标，把残差流离群值的来源从 LayerNorm 和浮点精度逐步排除，指向 Adam 优化器。
Anthropic 的可解释性团队在一篇非正式笔记中提出，"分布式表征"其实混合了两个不同概念——特征组合（composition）与叠加（superposition）。两者在泛化能力和线性可分函数上有截然不同的性质，且存在根本性的权衡张力。文中借用 Thorpe(1989) 的形状—颜色神经元编码例子说明，局部码虽无叠加却能灵活地线性选取任意刺激集合，而组合式编码则大幅减少所需神经元并带来统计效率优势。
Anthropic interpretability researcher Chris Olah published "Interpretability Dreams," laying out the long-term goals of mechanistic interpretability—currently focused on solving the superposition problem and laying an epistemological foundation, with future hopes of extending to large-scale neural network analysis and research on universal feature circuits. The essay argues that if the superposition problem is solved, one can identify the correct features and circuits in models, then build higher-level abstract structures, analogous to organs in anatomy or brain regions in neuroscience; it also notes that many features and circuits are universal, transferring across models in different networks, so that insights from a single model can provide a foothold for future models.
Anthropic 可解释性团队公布了一批仍在发展中的研究思路，聚焦于从神经网络激活中提取特征的字典学习方法，并探讨特征的定义问题。研究者提出将特征定义为"激活的最简分解"，通过拟合概率分布计算稀疏编码与字典的总熵来确定合适的特征数量，合成数据的初步实验表明该方法能有效判定正确的特征数。此外还涉及记忆化中的"两圆"现象、权重叠加、注意力头叠加及特征流形玩具模型等内容，均为实验室会议级别的阶段性成果而非成熟论文。
Anthropic 可解释性团队公布了一批尚在发展中的研究想法，并强调应将其视为实验室同事分享的初步实验结果而非成熟论文。他们重新审视此前在一层玩具模型中无法归类的"中间数据集规模"行为，确认它其实是低隐藏维度导致优化失败的假象，并非线性特征叠加框架的反例。改用多种学习率重训后发现，记忆解直到约 500k 样本才发生真正的一级相变交叠到泛化解，且随数据集从约 1k 增至 500k 样本，记忆对象由单点逐渐变为相关簇并以"三角形"结构排列。
Anthropic 的可解释性研究团队用稀疏自编码器从单层 Transformer 中提取出大量可解释特征，探索把叠加的多义神经元分解为单义特征。该工作以字典学习为方法，目标是让语言模型内部表征更易被人类理解。
Why it was selectedAnthropic 可解释性团队用稀疏自编码器从单层 Transformer 中提取大量可解释特征，是机制可解释性方向的方法起点。