跳到正文

#工具/开源

今天还没有收录新动态

第 4 页更新的内容回到最新

12月23日周四
  1. Transformer Circuits(Anthropic 可解释性) ·

    Anthropic 发布 PySvelte:连接 Python 深度学习与 Svelte 可视化的库

    Anthropic 发布 PySvelte,一个用于将基于 Svelte 和 Web 标准的自定义可视化接入 Python 深度学习工作流的库。它让 src/ 目录下的 Svelte 组件自动以 pysvelte.Hello() 形式在 Python 中可用,支持 NumPy 数组传入、组件相加成页面,并可通过 .publish() 发布到 GCS/S3/AZ 等存储分享。该库声明完全不提供支持,许多功能需用户自行编写 config.py 才能使用。

12月22日周三
  1. Transformer Circuits(Anthropic 可解释性) ·

    Anthropic 的可解释性基础设施 Garçon

    Anthropic 为其机制可解释性研究搭建了一套名为 Garçon 的基础设施,可在跨节点的大规模 Transformer 模型上进行激活读取、组件消融与梯度回传实验。它通过启动服务器并连接远程模型的接口运行前向传播,暴露一组 probe points,允许挂载探针函数访问或修改内部张量,并以云 pickle 传输任意 Python 对象到服务端执行。

12月17日周五
  1. Transformer Circuits(Anthropic 可解释性) · · 原文 62

    Anthropic 发布 Transformer 逆向工程数学练习集

    Anthropic 的可解释性团队发布了一套配套其 Transformer 数学框架的练习集,要求读者为注意力头写出具体权重矩阵以实现特定算法,并附有解答。练习分三部分:热身题讨论单个注意力头如何用 W_Q、W_K、W_V、W_out 描述信息在残差流子空间之间的读写,以及 W_Q^T·W_K 和 W_out·W_V 的含义与秩;练习一用两个前一个 token 注意力头构造出看向两个 token 之前的虚拟注意力头,并展开 W_net 矩阵;练习二和练习三分别用指针算术和前一 token K-Composition 两种方式手工搭建归纳头,后者适用于 rotary attention 这类不向 W_V 暴露位置信息的机制。

    推荐理由Anthropic 可解释性团队把注意力头的权重写成显式矩阵,读者可据此亲手推导归纳头等机制。

已经到底了