用自然语言部分重写 Transformer

论文尝试用自然语言解释部分重写大语言模型。作者先用 transcoder 近似 LLM 中的一个前馈网络，再用自动化可解释性流程为这些稀疏激活神经元生成解释，并把该稀疏 MLP 的第一层替换为基于 LLM 的模拟器，由解释和上下文预测每个神经元的激活。测量结果显示，改写造成的损失增幅与直接把稀疏 MLP 输出替换为零向量在统计上相当；在同一层的残差流上用稀疏自编码器重复同一协议，得到类似结果。作者据此认为，需要更详细的解释才可能显著超过零消融基线。