神经网络比单个神经元所显示的更具模块性

单个神经元的混合选择性，并不等于网络计算没有功能模块。

• 问题场景：作者把模块性视为神经科学和人工网络的组织原则。其金标准是双重分离：一处损伤只损害一种功能，另一处损伤产生相反模式。实践中常用选择性代理，即单元或体素是否偏好某一功能。
• 现有判据的阴性结果：若要求不同任务占据互斥的选择性神经元，带逐元素非线性的网络可以出现专一单元（Yang et al., 2019）。作者称 tanh 网络和多数 transformer 普遍混合选择性，同一标准常给出阴性结论（Driscoll et al., 2024；Rigotti et al., 2013）。语言网络在体素级也未分开句法与语义（Fedorenko et al., 2020）。
• 作者的区分：作者认为“神经元不专一”和“计算不模块”是两件不同的事。功能独立的计算可以落在群体活动的可分子空间里，模块只是相对坐标轴旋转（Figure 1A）。
• 本文提出的层级：unit-level 要求不同计算占互斥神经元；orthogonal 问是否存在旋转，露出功能独立子空间；linear 问有界可逆线性映射能否把计算分到独立子空间，并允许非正交基。分解是否模块，由选择性消融是否形成双重分离判定。
• 应用范围：该框架用于多任务 RNN、预训练视觉模型的 content 与 style，以及语言模型的 syntax 与 semantics，并进一步看这些子空间与视皮层、语言皮层记录的对应。

神经科学中的模块性与选择性

• 双重分离：Moscovitch et al.（1997）、Damasio et al.（1982）把一处损伤只损一种功能、另一处相反，作为功能可分离的标准。Jacobs et al.（1991）、Zeki（1978）、Fodor（1983）、Kanwisher（2010）被作者引为模块性这一组织原则的来源。
• 选择性代理：Kanwisher et al.（1997）在面孔选择区得到阳性结果。Fedorenko et al.（2020）报告人类语言网络在单个体素上没有可靠的句法相对语义分离；作者称另一描述层级是否还能分开，仍是开放问题。

人工网络里的模块性

• 架构归纳偏置：Goyal and Bengio（2022）、Csordás et al.（2020）用路由、基于注意力的模块选择或其他偏置，把模块结构做进架构。
• 自发出现的单元模块：Yang et al.（2019）在带逐元素非线性的多任务网络里，用任务方差聚类找到功能专一神经元；同一标准下，他们结论是 tanh 网络缺少这种模块，并认为状态空间方法可能更合适。Driscoll et al.（2024）、Rigotti et al.（2013）描述平滑饱和非线性与混合选择性；作者称 Driscoll 等假设这类网络有不沿单元轴排列的功能结构。

分布式编码、叠加与特征发现

• 分布式编码与叠加：Elhage et al.（2022）、Henighan et al.（2023）讨论特征是否分布在许多神经元上，以及多个特征是否共享有限维度。作者称二者都不由双重分离定义，也不直接回答不同计算能否独立支撑。
• 稀疏自编码器：Bricken et al.（2023）、Templeton et al.（2026）、Huben et al.（2024）寻找更可解释或单义的新基。作者称自己的目标不是制造单义神经元或恢复单个特征，而是问现有表征里是否已有任务选择性功能子空间。

脑预测

• 编码模型与收敛：Yamins et al.（2014）、Schrimpf et al.（2020）被用来提出“为什么有的网络表征更能预测脑活动”。Huh et al.（2024）的跨模型收敛出现在 Discussion：作者认为子空间分解可以追问收敛是否由特定功能成分驱动。论文没有把这些工作当作分解方法的实验基线。

基线与数据：实验对照包括按 FTV 做的单元分配（Yang et al., 2019）、Mante et al.（2013）的 TDR 单轴，以及 permutation、orthogonal、invertible 三级变换本身。数据为 Yang 的 11 个认知任务、Mante 的情境依赖整合、MS-COCO 与 Paint by Numbers 的风格化配对、MSR Paraphrase Corpus、Pereira et al.（2018）和 Natural Scenes Dataset。

作者把本文定位为：不问特征是否分布式或叠加，而问现有表征在哪一层描述上存在可由双重分离检验的功能专门化。

整体做法是学习一个信息保持的线性映射，把纠缠表征拆成两块功能坐标和一块残差，再按层级收紧或放宽 Q 的约束。作者把这套分解与选择性干预合在一起，用来判断分离是统计现象还是功能模块。

三层嵌套分解

• 坐标分块：层表征为 h(x)。寻找 Q，使 z=Qh(x) 分成互不重叠的坐标块。写成 z=[z_A, z_B, z_res], d_A+d_B+d_r=D。含义是功能 A、功能 B 与其余结构各占一段，三段维度之和等于原维度。
• 为何保留残差：作者称任何表征都含两种目标功能以外的信息；丢掉残差会把压缩和分解混在一起。
• 三级约束：permutation 只重排坐标，不混合它们。orthogonal 满足 Q 转置乘 Q 为单位阵，做保内积、保范数的旋转。invertible 是条件数有上界的一般可逆矩阵，允许非正交基。嵌套关系是 permutation 属于 orthogonal，再属于 invertible。
• 诊断用法：作者称，能成功分开功能的最紧约束，说明计算在原表征里的几何组织方式。κmax 的具体数值正文未给出。

两种监督目标

• RNN 的任务充分性：对有输入输出的任务，把 Q 与线性读出头 fA、fB 一起训练，使 zA、zB 各自足够完成对应任务。损失是两个任务损失之和，再加层级相关的正则。Yang 任务用 MSE，Mante 任务用交叉熵。
• 视觉和语言的对比学习：没有成对任务标签时，用只沿一个轴变化的最小对。每个锚点配一个 A 对应样本和一个 B 对应样本，两个子空间各有一个对比损失，总损失为二者之和。作者称因为损失作用在不重叠坐标上，梯度更新 Q 的不同列，几何分离是构造出来的。
• 视觉配对：content 对应样本是同一场景的另一种风格化；style 对应样本是同一艺术风格下的不同场景。800 张 MS-COCO 图与 800 张 Paint by Numbers 风格图两两风格化，训练集 640,000 对；另留 100+100 张做验证和测试，各 10,000 对。
• 语言配对：语义对应样本是保持意义的改写，句法对应样本是同一语法模板、不同词汇。训练用 MSR Paraphrase Corpus 的 3,900 个锚点–改写对，并由 Gemini 2.5 flash 为每个锚点生成一个句法对应句。附录 Table E1、E2 给出完整生成提示词。

约束怎么实现

• 正交与可逆：用 GeoTorch。正交情形先把无约束参数做成反对称矩阵，再经矩阵指数或 Cayley 映射到特殊正交群。可逆情形用 SVD：两个正交因子加 softplus 后的正奇异值，使行列式为正。
• 置换：训练时用 Sinkhorn 把无约束矩阵松弛成双随机矩阵；推理时用匈牙利算法投到最近的置换矩阵。
• RNN 训练细节：分解训练 2,000 个 epoch，Adam，学习率 10^{-3}。Yang 任务用 FTV 排序初始化子空间；线性分解先训正交分解再初始化。每 100 个 epoch 用离线 DDI 代理存最佳检查点，使更灵活的层级不低于其初始化。
• 视觉和语言：在 RTX 4090 上训练。正交与可逆的学习率为 1×10^{-5}，置换为 1×10^{-2}。Sinkhorn 训练 20 个 epoch，batch size 为 8，每 32 个样本更新一次权重。

如何判定分离

• RNN 消融：每个时间步先乘 Q，把相应坐标置零，再用 Q 的逆映射回去，然后测任务准确率。双重分离指消融 zA 只损害功能 A 并保住 B，反之亦然。
• DDI：写成 DDI=max(min(Δ^sel₁,Δ^sel₂)−max(Δ^col₁,Δ^col₂),0)。它只在两次消融的目标降幅都大于附带损伤时为正，完全分离时接近 1。
• 检索：预训练模型没有单一任务分数时，在每个子空间取 top-k 近邻，看共享正确属性的比例。视觉定义 CM=(Cc-Sc)/Cc、SM=(Ss-Cs)/Ss，以及选择性比 Rs、Rc。语言用每个句子的 1 个目标对应句和 70 个对照句，定义 S1、S2。
• 默认表征：除非另作说明，使用倒数第二层；视觉做平均池化，语言对全部 token 取平均。

实验设置

• RNN：连续时间 RNN，256 个隐藏单元，Δt=20 ms，τ=100 ms，α=0.2。Yang 等的网络用 softplus 或 tanh；Mante 任务只用 tanh，10 个随机种子。
• 任务：Yang 为 11 个认知任务，主文双重分离报告互不共享计算的 Anti vs DM1。Mante 同时给运动与颜色证据，由二元情境决定报告哪一个。Yang 消融使用每任务 500 个 held-out trial。
• 视觉模型：附录 E.3.1 列出 ResNet、ConvNeXt、Swin、ViT、DINO 和 VGG 的多个规模；主文图以 Swin Base 为主。默认倒数第二层并平均池化。测试集中每张图另有 99 张同 content、99 张同 style。
• 语言模型：Pythia 160M、Pythia 410M（最终 checkpoint，step 143,000）和 GPT-2 XL。测试用 Pereira et al.（2018）的 627 句，每句生成 70 个语义对照和 70 个句法对照。生成模型是 Gemini 2.5 flash。
• 指标与判定：RNN 用任务准确率和 DDI，并报告 FTV。视觉用组内 Pearson 相关、CM、SM、Rs、Rc。语言用 S1、S2。这些成功判定不是 LLM 评审。
• 训练成绩：作者称 Yang 网络在两种激活、全部 11 个任务上准确率都高于 95%。Mante 非零相干试次上，运动为 87.5±1.2%，颜色为 87.1±1.7%（Table E3）。

主结果

表格较宽，可左右滑动

设置	unit 或 permutation	orthogonal	linear 或 invertible	出处
Yang tanh，Anti vs DM1，DDI	0.00	0.37	0.47	Figure 2
Yang softplus，Anti vs DM1，DDI	0.59	0.73	0.70	正文对 Figure 2
Swin Base，Rs	1.1032	7.2348	16.0815	Table 1
Swin Base，Rc	1.0216	2.5603	5.2594	Table 1
Pythia 410M，Top-1 S1	0.3333	0.8485	0.9375	Table 2
Pythia 410M，Top-1 S2	0.1564	0.6667	0.6556	Table 2

• 作者对 RNN 的解读：softplus 的 FTV 为双峰，|FTV|=0.74，74% 的单元专一；tanh 为单峰，|FTV|=0.39，30% 专一。作者称 tanh 的单元消融没有模块结构，正交和线性分解恢复双重分离，并称这与 Driscoll et al.（2024）的假设一致。tanh 的 Sinkhorn DDI 为 0.08。
• 层级并不处处单调：正文把 softplus 的 DDI 写成由 unit 经 orthogonal 到 linear 递增，但给出的 linear 数值低于 orthogonal。Table 2 的 Top-10 S1 为 orthogonal 0.9417、invertible 0.9259；Top-1 S2 也是 orthogonal 更高。
• 表题与例外：正文写 Table 2 属于 GPT-2 XL；表题和附录 Table E12 把同一组数字标为 Pythia 410M。作者称视觉上 invertible 分离最强，主要例外是 ResNet 族，其 style 检索在各类子空间上都弱。

Mante 任务与 TDR

• 线性分解：unit 与 orthogonal 在 d 取 2、5、10、15、20、50 时，作者称 DDI 近零。d=15 的 linear DDI 为 0.277±0.026（附录 E.6）。正文把约 39% 的目标降幅和低于 4% 的附带损伤写在这一结果后，并指向 Figure E4a,b；该图注写的是 d=50。
• Table E10：完整准确率运动/颜色为 0.872±0.016 / 0.872±0.022。消融运动子空间后为 0.508±0.072 / 0.836±0.034；消融颜色子空间后为 0.846±0.022 / 0.558±0.083。表题未写子空间维数。
• TDR：10 个种子上，运动与颜色轴的 R2 为 0.77±0.01、0.76±0.01，轴间余弦相似度为 -0.03±0.10。作者称消融任一单轴使准确率变化小于 0.5%，因此单轴可预测不等于因果上必要。

脑对齐

• 视皮层：编码模型拟合 NSD 中四名被试都看过的 1,000 张图，被试为 1、2、5、7。作者称 V1、V2 更由 style 子空间预测，较高的物体识别区更由 content 子空间预测（Figure 8B）。正文未给预测分数。
• 语言皮层：语言区用 words-versus-nonwords 定位。作者称 semantic 子空间高于 syntactic，同时含两者的原句表征总体预测最高（Figure 8E）。
• 跨模态：作者称图像描述的 semantic 表征预测视皮层优于 syntactic；由 Pereira 句子生成图像后，content 预测语言皮层优于 style，并接近原句表征（Figure 8C、D）。生成图像所用模型论文未说明。

对照与阴性任务对

• 随机标签：Swin Base 上打乱 content/style 标签后，invertible 的 Rs 为 0.9727、Rc 为 1.0286（Table E6）。作者称灵活线性映射不能给任意标签制造模块。
• Yang 的任务关系：Table E4 是各线性维数和条件数设置下的最大 DDI。inclusive 为 softplus 0.052、tanh 0.000；mixed 为 0.048、0.002。disjoint 的最大值为 softplus 0.704、tanh 0.472。作者称前两类即使取最有利设置仍非模块。
• 内在重叠功能：Stylized-MNIST 上，content–style 的 Top-1 style 匹配为 0.5741；content–category 的 Top-1 类别匹配为 -0.0800（Table E7）。作者称 content 与数字类别不独立，同一流程不能拆开。

其他消融与分析

• 附录 Table E12：Pythia 160M 的 invertible Top-1 S1/S2 为 0.9806/0.7970；GPT2 XL 1.5B 为 0.9452/0.7857，其 permutation Top-1 S1 为 0.0000。
• Mante 的谱匹配随机映射 DDI 为 0.0009±0.0004，打乱标签后为 0.010±0.008（Table E5，10 个网络）。linear DDI 随维数升至 d 约 15–20 后进入平台（Figure E4c）。
• 残差：content–category 设定下，style 检索 Top-1 在残差为 0.194，content 单元 0.141，category 单元 0.152（Table E9）。Table E10 消融残差后运动/颜色为 0.724±0.050 / 0.720±0.057。
• Swin Base 的维数分配：作者称两个功能子空间都不超过约 40% 维度时选择性仍高（Figure E7）。部分可逆解的条件数在 10^4 量级；正交变换的条件数为 1。
• 作者称在 Geirhos et al.（2018）的轮廓–边缘和冲突线索上，content 子空间偏向形状，style 子空间偏向纹理（附录 E.7、E.8）。作者称冲突线索上 style 检索在两个子空间都高，部分因为多个纹理被归入同一上级类别。
• 作者称 GPT-2 XL 各层的语义与句法选择性都还在（Appendix Figure E18），并不限于某一层。附录 Figure E3 中，作者称句法对照的同位 token 重叠集中在接近 0，语义改写的重叠分布更宽。

作者指出的局限与后续方向

• 优化敏感：学习分解需要非凸优化，对子空间维数、条件数上界和学习率敏感（Discussion）。
• 检索还不是行为：视觉和语言实验用检索选择性评估子空间。作者提出下一步补行为评估，例如投影掉 content 子空间后，物体识别是否选择性变差、纹理判断是否保留（Discussion）。
• 残差：作者称残差不是纯干扰，可以含有或支持任务相关信息，但这些信息是共享或冗余的，而不是选择性属于某一任务；其功能组织仍是开放方向（Discussion；附录 E.10）。Discussion 又把残差单元保留什么信息、如何组织留作后续。
• 三层含义：unit、orthogonal、linear 对稳健性、泛化和学习动态的进一步含义，作者称仍是开放问题（Discussion）。
• 动态与多路分解：子空间结构与维数如何随训练、随层变化，以及该层级能否自然扩到两个功能以上的分解，作者称尚未探索（Discussion）。

实验覆盖范围

• RNN：Yang 的 11 个认知任务，softplus 与 tanh，256 单元；主文双重分离数字来自 Anti vs DM1。Mante 为 tanh、10 个随机种子。附录 Table E4 给出 disjoint、inclusive、mixed 三类在线性设置下的最大 DDI。
• 视觉：附录 E.3.1 与 Table E11 包含 ResNet、ConvNeXt、Swin、ViT、DINO、VGG 的多个规模；主文图和 Table 1 以 Swin Base 为主。默认使用倒数第二层并做平均池化。
• 语言：被测模型为 Pythia 160M、Pythia 410M 和 GPT-2 XL。训练对来自 MSR Paraphrase Corpus 的 3,900 对，测试为 Pereira et al.（2018）的 627 句；句法与语义对照由 Gemini 2.5 flash 生成。
• 脑编码：NSD 使用四名被试共同看过的 1,000 张图，被试编号为 1、2、5、7。语言区由 words-versus-nonwords 对比定义。跨模态部分使用由 Pereira 句子生成的图像，论文未说明生成模型。
• 协议与未写明的量：RNN 在每个时间步消融，Yang 每任务 500 个 held-out trial。视觉和语言的主指标是检索。作者在 checklist 中称 3.1 与 3.4 加了误差条，并称第 1、2 节实验是单次划分、当时不能给误差条。论文未报告 κmax 的取值，也未报告 Yang 网络的随机种子数。

作者提出一套嵌套的模块性定义，用来把“神经元不专一”和“计算不可分”分开。

• 问题：双重分离是功能可分离的金标准，但常见做法是看单个神经元或体素的选择性。按这个代理，tanh 网络、多数 transformer，以及语言网络的句法与语义，都容易得到阴性结论。
• 方法：学习线性映射 Q，把一层表征分成两个功能子空间和残差。约束从置换到正交，再到条件数有界的可逆映射。RNN 用任务充分性训练，并以逐步置零做因果消融；视觉和语言用最小对对比学习，再用近邻检索评估。
• RNN 结果：Yang 的 tanh 网络在 Anti vs DM1 上，单元 DDI 为 0.00，Sinkhorn 为 0.08，正交为 0.37，线性为 0.47（Figure 2）。softplus 在 unit、正交、线性上为 0.59、0.73、0.70。Mante 任务在 d=15 的线性 DDI 为 0.277±0.026，unit 与正交被作者称为近零。
• 视觉和语言：Swin Base 的 Rs 在 permutation、正交、invertible 上为 1.1032、7.2348、16.0815（Table 1）。按表题，Pythia 410M 的 invertible Top-1 S1 为 0.9375；同表 Top-10 S1 与 Top-1 S2 是正交更高。正文把 Table 2 写成 GPT-2 XL。
• 边界：作者称 inclusive 与 mixed 任务对即使取最有利的线性设置仍非模块；tanh 的最大 DDI 为 0.000 与 0.002（Table E4）。随机标签和内容–类别这种内在重叠配对也没有得到双重分离。
• 作者的结论：作者认为缺少单元级模块常常与子空间级模块同时存在，因此不能只在一个描述层级上判断专门化。子空间级模块意味着，即使没有专一神经元，仍可通过已知线性变换选择性干预某一计算。作者还称 content/style、syntax/semantics 子空间与视皮层、语言皮层记录的对应不同，但正文没有给出脑预测分数。