神经网络并非已经干净

LessWrong 用户 leogao 撰文反驳 Nick Cammarata 关于神经元多义性被高估的判断，认为激活样例符合某个模式并不等于已经解释了这个神经元。文章以同时与狗和自行车相关的神经元为例，指出顶部激活样例可能只对应某个难以紧凑刻画的子集，反向关系并不必然成立。作者主张改用下游 KL、在大数据集上计算模拟分数：若用模拟值替换神经元后模型性能明显下降，说明解释不成立，这一口径也能把此前被当作多义解释的坏解释标出来。作者推测消融微弱激活同样会明显降低模型性能，因此不应完全忽略弱激活。作者同时认为解释神经元只是理解网络计算的一部分，概念以叠加方式存储，使电路研究仍难以解释模型行为的大部分方差。