Beyond Token Scale:面向可靠语义特征发现的片段级 SAE
论文提出一族片段级稀疏自编码器(SAE),将连续 token 片段上的激活做均值池化后编码,以替代 token 级目标。作者设计三种变体:Mean-Chunk 重建观测到的片段,Cross-Chunk 预测独立处理的相邻片段,Joint-Chunk 结合两者,从而把更大观测单元的作用与预测跨段落共享信息的作用区分开。在训练数据匹配的条件下,片段级 SAE 仍是有力的可解释性工具,同时学到能捕捉高层概念、对相关内容有选择性响应的可靠语义特征。两类设计优势互补:Mean-Chunk 改善高层特征发现、超越表面线索的推理检测与引导;Cross-Chunk 在文档检索和分类迁移上领先,并产生选择性、持续的特征。