大语言模型用通用 filter head 处理列表

论文用因果中介分析研究大语言模型处理列表任务的机制，发现少量注意力头会在特定 token 的 query 状态中编码过滤谓词的紧凑表示，作者将这类注意力头称为 filter head。作者称该谓词表示通用且可移植，能够被提取并用于对不同集合执行同一过滤操作，集合可处于不同格式、语言甚至不同任务中。论文还发现，Transformer LM 在部分情形下会改用另一种策略，即提前判断某项是否满足谓词，并把这一中间结果作为 flag 直接存入该项的表示。作者认为，这说明 Transformer LM 可以发展出人类可解释的抽象计算实现，其泛化方式与传统函数式编程中的策略颇为相似。