HyperDAS：迈向用超网络自动实现机制可解释性

HyperDAS 是一种基于 Transformer 的超网络架构，可自动定位概念在残差流中实现的 token 位置，并为这些残差流向量构造特征，从而免去 DAS 对特征位置的暴力搜索。论文报告其在 Llama3-8B 上于 RAVEL 基准的隐藏状态概念解耦任务取得当前最佳表现。作者还回顾了为缓解 HyperDAS 可能向目标模型注入新信息、而非忠实解释这一担忧所做的设计取舍。