Anthropic 解读分布式表征中的组合与叠加
Distributed Representations: Composition & Superposition
AI 导读
Anthropic 的可解释性团队在一篇非正式笔记中提出，"分布式表征"其实混合了两个不同概念——特征组合（composition）与叠加（superposition）。两者在泛化能力和线性可分函数上有截然不同的性质，且存在根本性的权衡张力。文中借用 Thorpe(1989) 的形状—颜色神经元编码例子说明，局部码虽无叠加却能灵活地线性选取任意刺激集合，而组合式编码则大幅减少所需神经元并带来统计效率优势。