Anthropic 提出 Jacobian lens，发现语言模型中的全局工作空间
Verbalizable Representations Form a Global Workspace in Language Models
AI 导读
Anthropic 可解释性团队提出 Jacobian lens（J-lens）新技术，用于识别语言模型中随时可被言语化的内部表征，并发现这些表征构成一个类似神经科学全局工作空间的子空间，称为 J-space。J-lens 通过计算激活对模型输出 token 的一阶因果效应并在大量上下文上取平均，改进了 logit lens，能在更早的层读出可解释内容。作者称 J-space 具备言语报告、定向调制、内部推理、灵活泛化和选择性五项功能属性，但只占激活总方差的一小部分。
推荐理由
Anthropic 提出 Jacobian lens 新方法，把模型可言语化的内部表征识别为一个类似全局工作空间的子空间，为审计模型未说出口的推理提供了可迁移工具。