Goodfire 提出协方差池化 Covariance Pooling，替代基因组基础模型的均值池化
Goodfire 提出基于二阶矩截断的协方差池化（covariance pooling），作为基因组基础模型中序列聚合的新基线，并在 NTv3 上的 Gene Ontology 预测与基因组轨迹预测中显著优于均值池化。该方法计算 token 激活的二阶矩而非一阶矩，保留了均值丢弃的特征联合激活结构，刻画逐 token 嵌入云团的形状而不只是质心，且无需标签或额外架构选择。通过重建二阶矩学习低秩分解，可将长激活序列压缩为固定大小的紧凑嵌入，既可用于无监督嵌入学习，也可端到端接入有监督探针或其混合方式。