Anthropic 开源注意力头可视化工具 HeadVis

Anthropic 可解释性团队发布交互式工具 HeadVis，用于研究大语言模型中的注意力头，并开源了前端代码与后端接口规范。工具通过注意力模式可视化、分布指标、低秩分量投影以及经 QK 和 OV 电路的 SAE 特征归因，帮助生成和检验关于注意力头功能的假设。作者用 Claude Haiku 3.5 做了四个案例：归纳头在特征基上表现为模糊归纳；此前研究的行宽头在完整分布上呈现年份、多 token 词和换行三种行为，PCA 显示 Q、K、O 激活可清晰聚类；答案选择头在更广分布上复用了同一套选择机制，虚拟权重分析提示它可能是单义的；同集合抑制头会抑制国家与其本国城市之间的注意力，在 185 句自造句子上有 98% 的情况成立。