全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 动态Embrace The Red
Claude Pirate：滥用 Anthropic File API 实现数据外泄
研究者披露了一条针对 Claude Code Interpreter 的数据外泄攻击链：利用默认开启的网络出口白名单中包含 api.anthropic.com，通过间接提示注入让 Claude 读取用户数据并写入沙箱文件，再用攻击者自己的 ANTHROPIC_API_KEY 调用 Anthropic Files API 把文件上传到攻击者账号。按 Files API 文档，单次可外泄最多 30MB，且可多次上传。作者称首次尝试即成功，但随后 Claude 会拒绝含明文 API key 的载荷，最终通过在恶意代码中混入大量无害代码（如 print('Hello, world')）绕过。
- 动态Embrace The Red
AI 中的偏差正常化：从 LLM 不可信输出来看间接提示注入风险
AI 行业正重演挑战者号航天飞机灾难前的文化失误——将偏离正确行为的做法逐渐常态化。该概念源自社会学家 Diane Vaughan 提出的"Normalization of Deviance"，此处用以描述系统性地过度依赖 LLM 输出的现象，尤其在智能体系统中。由于 LLM 是不可信的参与者，访问检查、编码与净化等安全控制必须施加于其输出下游，否则会同时放大良性错误与恶意输入带来的后果。 Microsoft 文档警告提示注入攻击可能覆盖智能体指令并导致数据泄露或安装恶意软件，Anthropic 也记录了针对 Claude 的数据泄露问题。
- 动态Embrace The Red
研究者演示在 Agent Skill 中植入不可见 Unicode 后门并发布扫描工具
安全研究者 Johann Rehberger 演示了如何用不可见的 Unicode Tag 码点在 Agent Skill 中植入提示注入后门，使其通过人工文本审查。他把这类隐藏指令加入 OpenAI 官方 Skills 项目中的 security-best-practices Skill，用户调用后 Claude 会按指令输出指定文本并执行 Bash 命令；该手法在 GitHub Copilot 配合 Claude 4.5 时同样生效。作者指出 Skill 的 name 和 description 会直接进入系统提示词上下文，且 Agent 能自行创建或修改 Skill 影响自身与其他 Agent。
- 动态Embrace The Red
Agent Commander：用提示注入把 OpenClaw 等智能体变成 C2 僵尸网络
安全研究者发布 Agent Commander，一个基于提示词的命令与控制（C2）服务器，被劫持的智能体定期回连领取自然语言任务，不执行原始系统命令。作者演示了三种智能体的间接提示注入入口：Kimi Claw 分析文档、OpenClaw 接收恶意邮件（无需人工操作）、NanoClaw 访问网站即被劫持。持久化方面，OpenClaw 利用默认每 30 分钟运行一次的 HEARTBEAT.md，并用 HEARTBEAT_OK 抑制用户通知；NanoClaw 则通过注入定时任务实现。作者观察到通知抑制效果显著，但有一次 OpenClaw 在整理每日笔记时识别出心跳中的后门，Opus 4.6 更擅长发现攻击但可被绕过。
- 动态Embrace The Red
Johann Rehberger：足够多的 Agent 会让所有漏洞变浅
Johann Rehberger 撰文指出，Agent 正大幅降低发现和利用软件漏洞的门槛，并以 Anthropic 的 Mythos Preview 为例展开分析。据 Anthropic 公布的数据，Opus 4.6 在数百次尝试中仅两次成功利用 Firefox JS 引擎漏洞，而 Mythos Preview 成功了 181 次，该模型目前仅限少数公司访问。Rehberger 提到，无正式安全训练的工程师也能用它在一夜之间拿到完整的远程代码执行利用程序，威胁行为者的吞吐量会随之上升，尽管能力和意图并不等同。他还援引自己测试中 Opus 4.6 自行提权并安装调试工具的轶事，提醒隔离环境本身也可能被目标模型突破。
- 动态Embrace The Red
用 ChatGPT 生成的对抗图片劫持 Claude Opus 4.7 记忆工具
作者用 ChatGPT 生成一张含解谜元素的对抗图片，让 Claude Opus 4.7 在分析图片时被间接提示注入劫持，调用 memory 工具写入虚假记忆。测试中 Opus 4.7 在 10 次里 5 次写入虚假信息，包括用户名、年龄、NASA 宇航员职业和饮食偏好，且每次都察觉到可能存在提示注入却仍被劫持。作者观察到初始记忆为空时攻击更易成功，内容越像真实用户会保存的信息越容易通过。该对抗样本在文章发布约 24 小时后攻击成功率降为 0%，原因不明。作者已于 2026 年 3 月通过 HackerOne 向 Anthropic 报告，工单被以安全问题关闭，后续邮件未获回复。
- 动态Transformer Circuits
Distill 发布 Circuits 线程：逐神经元理解 InceptionV1
Distill 发起 Circuits 线程，尝试逐个神经元地理解经典视觉模型 InceptionV1 约 1 万个神经元及其连接。线程以短文章加专家评论的形式组织，通过 Distill slack 的 #circuits 频道持续更新，定位为早期探索性研究。开篇文章《Zoom In: An Introduction to Circuits》提出三个主张：存在有意义的特征、特征之间存在有意义的电路、这些特征与电路具有普遍性。线程还收录了 InceptionV1 前五层神经元总览、曲线检测器、神经网络中自然出现的等变性、高低频检测器、曲线电路、权重可视化、分支特化与权重带状分布等文章。
- 动态Transformer Circuits
Anthropic 的可解释性基础设施 Garçon
Anthropic 为其机制可解释性研究搭建了一套名为 Garçon 的基础设施，可在跨节点的大规模 Transformer 模型上进行激活读取、组件消融与梯度回传实验。它通过启动服务器并连接远程模型的接口运行前向传播，暴露一组 probe points，允许挂载探针函数访问或修改内部张量，并以云 pickle 传输任意 Python 对象到服务端执行。
- 动态Transformer Circuits
Anthropic 发布 PySvelte：连接 Python 深度学习与 Svelte 可视化的库
Anthropic 发布 PySvelte，一个用于将基于 Svelte 和 Web 标准的自定义可视化接入 Python 深度学习工作流的库。它让 src/ 目录下的 Svelte 组件自动以 pysvelte.Hello() 形式在 Python 中可用，支持 NumPy 数组传入、组件相加成页面，并可通过 .publish() 发布到 GCS/S3/AZ 等存储分享。该库声明完全不提供支持，许多功能需用户自行编写 config.py 才能使用。
- 动态Transformer Circuits
Anthropic 发布神经网络逆向工程早期探讨视频并预告数学框架论文
Anthropic 公开了几段讨论其神经网络逆向工程早期思路的视频，作为与研究同行分享的非正式材料，录制于相关论文发表之前。团队强调其中想法非常粗糙且可能有错，观看需持保留态度，主要面向关注神经网络逆向工程的活跃研究者。这批视频随后已被其更完善的论文《A Mathematical Framework for Transformer Circuits》取代。
- 动态Transformer Circuits
Anthropic 发布 Transformer 逆向工程数学练习集
Anthropic 的可解释性团队发布了一套配套其 Transformer 数学框架的练习集，要求读者为注意力头写出具体权重矩阵以实现特定算法，并附有解答。练习分三部分：热身题讨论单个注意力头如何用 W_Q、W_K、W_V、W_out 描述信息在残差流子空间之间的读写，以及 W_Q^T·W_K 和 W_out·W_V 的含义与秩；练习一用两个前一个 token 注意力头构造出看向两个 token 之前的虚拟注意力头，并展开 W_net 矩阵；练习二和练习三分别用指针算术和前一 token K-Composition 两种方式手工搭建归纳头，后者适用于 rotary attention 这类不向 W_V 暴露位置信息的机制。
- 动态Transformer Circuits
Anthropic 提出用于逆向工程 Transformer 的数学框架
Anthropic 的可解释性团队发布了一套用于逆向工程模型的早期数学框架，并用逆向工程小型玩具模型加以演示。该框架面向 Transformer 内部机制的形式化分析，是理解模型内部计算结构的早期尝试。
- 动态Transformer Circuits
Anthropic 研究：induction head 或是 Transformer 上下文学习的主要机制
Anthropic 的可解释性团队提出，induction head 可能是大型 Transformer 中大部分上下文学习的机制。induction head 由两层注意力头组成，前一个 token 头把前一 token 信息写入当前 token，第二个头据此找到此前出现过当前 token 的位置并复制其后的 token，实现 [A][B]…[A]→[B] 的模式补全。
- 动态Transformer Circuits
Anthropic 解读机械可解释性中的变量与可解释基
Anthropic 的可解释性团队提出将神经网络逆向工程类比于编译二进制程序的逆向工程，主张寻找并理解可解释神经元——相当于程序中的变量——才是机械可解释性的中心任务而非众多问题之一。该观点指出参数本身就是神经网络的有限描述，因此不必穷举高维输入空间即可理解网络行为，但也意味着这项工作的难度至少等同于逆向大型复杂程序，不应期待简单答案或固定流程。
- 动态Transformer Circuits
Anthropic 提出 SoLU 激活函数以提升 Transformer MLP 神经元可解释性
Anthropic 可解释性团队提出用 softmax linear unit（SoLU）替换 MLP 激活函数，在几乎不损失性能的前提下提升神经元可解释性。在 1 至 40 层模型中，盲测实验显示可快速给出解释的 MLP 神经元比例从约 35% 升至约 60%，提升约 1.7 倍；64 层（约 500 亿参数）模型上增益明显缩小（42% 对 33%）。性能方面，SoLU 模型在 loss 与 Lambada、ARC、OpenBookQA、TriviaQA、算术、MMLU、HellaSwag 等下游任务上与基线相当，等效模型规模倍率在 0.95× 至 1.05× 之间，训练速度差异小于 1%。
- 动态Transformer Circuits
Anthropic 用玩具模型研究叠加现象与神经元多义性
Anthropic 的可解释性研究提出用玩具模型理解神经网络中的多义性现象，即网络常把许多不相关的概念塞进同一个神经元。该工作试图让多义性的来源与动态在玩具模型中可以被完整理解，原文链接为 https://transformer-circuits.pub/2022/toy_model/index.html。
- 动态Transformer Circuits
Anthropic 可解释性团队用玩具模型研究叠加、记忆与双下降
Anthropic 可解释性团队（Transformer Circuits）发布研究，把此前关于玩具模型的工作扩展到模型如何在训练数据之外泛化的问题上，探讨叠加、记忆与双下降之间的关系。作者指出，尽管过拟合是深度学习的核心问题，但目前对模型如何过拟合训练数据仍缺乏机制层面的理解，该研究试图为此提供线索。
- 动态Transformer Circuits
Anthropic 研究：Transformer 残差流的特权基来自 Adam 优化器
Anthropic 的可解释性研究考察了 Transformer 残差流中坐标为何会出现基对齐的离群值，并初步把原因归于 Adam 优化器。作者在 2 亿参数模型上复现了 Dettmers 描述的离群现象，典型层有 20–60 个离群维度（总 d_model=1280），并提出用激活峰度作为检测特权基的通用指标，无特权基时峰度应接近 3。实验排除了 LayerNorm 与有限精度浮点两个假设：改用 RMSNorm 后离群更重尾，而在前向与训练中施加随机旋转后模型表现与基线基本一致，说明 Transformer 不依赖特权基也能正常训练。
- 动态Transformer Circuits
Anthropic 解读分布式表征中的组合与叠加
Anthropic 的可解释性团队在一篇非正式笔记中提出，"分布式表征"其实混合了两个不同概念——特征组合（composition）与叠加（superposition）。两者在泛化能力和线性可分函数上有截然不同的性质，且存在根本性的权衡张力。文中借用 Thorpe(1989) 的形状—颜色神经元编码例子说明，局部码虽无叠加却能灵活地线性选取任意刺激集合，而组合式编码则大幅减少所需神经元并带来统计效率优势。
- 动态Transformer Circuits
Anthropic 的机械可解释性愿景：从叠加问题到自动化可解释性与安全性
Anthropic 的可解释性研究者 Chris Olah 发表《Interpretability Dreams》，阐述机械可解释性的长期目标——当前聚焦解决叠加（superposition）难题并奠定认识论基础，未来希望扩展到大规模神经网络分析与普适特征电路的研究。 文中提出若攻克叠加问题，便可识别模型中正确的特征与回路，进而搭建更高层的抽象结构，类似解剖学中的器官或神经科学中的脑区；同时指出许多特征与回路具有普适性，在不同网络上跨模型迁移，使单一模型的洞见可为未来模型提供立足点。
- 动态Transformer Circuits
Anthropic 可解释性团队分享叠加现象与字典学习的最新进展
Anthropic 可解释性团队公布了一批仍在发展中的研究思路，聚焦于从神经网络激活中提取特征的字典学习方法，并探讨特征的定义问题。研究者提出将特征定义为"激活的最简分解"，通过拟合概率分布计算稀疏编码与字典的总熵来确定合适的特征数量，合成数据的初步实验表明该方法能有效判定正确的特征数。此外还涉及记忆化中的"两圆"现象、权重叠加、注意力头叠加及特征流形玩具模型等内容，均为实验室会议级别的阶段性成果而非成熟论文。
- 动态Transformer Circuits
Anthropic 可解释性团队分享有限数据中间区制等初步实验观察
Anthropic 可解释性团队公布了一批尚在发展中的研究想法，并强调应将其视为实验室同事分享的初步实验结果而非成熟论文。他们重新审视此前在一层玩具模型中无法归类的"中间数据集规模"行为，确认它其实是低隐藏维度导致优化失败的假象，并非线性特征叠加框架的反例。改用多种学习率重训后发现，记忆解直到约 500k 样本才发生真正的一级相变交叠到泛化解，且随数据集从约 1k 增至 500k 样本，记忆对象由单点逐渐变为相关簇并以"三角形"结构排列。
- 动态Transformer Circuits
Anthropic 用字典学习分解语言模型，迈向单义特征
Anthropic 的可解释性研究团队用稀疏自编码器从单层 Transformer 中提取出大量可解释特征，探索把叠加的多义神经元分解为单义特征。该工作以字典学习为方法，目标是让语言模型内部表征更易被人类理解。
- 动态Transformer Circuits
Anthropic 可解释性团队发布 2024 年 1 月 Circuits 更新
Anthropic 可解释性团队发布 2024 年 1 月 Circuits 更新，汇总多项尚在推进中的研究想法，并说明未来数月将聚焦字典学习规模化、用字典学习攻击真实模型中的注意力叠加，以及在此基础上理解回路三个方向。团队把字典学习应用到 8 层 Transformer 的 MLP 激活上，发现最后一层特征与单层 Transformer 相似，中间层（约 4 至 6 层）特征更抽象，并给出若干与安全相关的特征示例。在更大规模模型上，团队称已初步提取出多语言特征，例如同一概念在多种语言中触发同一特征。