大语言模型在类型学多样的语言间共享潜在语法概念的表示

大语言模型是否用跨语言共享的特征方向，编码数、性、时等形态句法概念。

• 场景：作者从人类双语者写起：不同语言的句法加工是否落在相近脑区，取决于二语习得时间与熟练度等因素。若要参数效率，语法数这类概念应共享表示，而不是每种语言各学一套。
• 已有工作的缺口：以往多是行为或基准分析，或在神经元上做机制分析。Stanczak et al. 观察到掩码语言模型常跨语言共享某一概念的神经元；作者认为对神经元做反事实干预常影响无关概念，因果验证因此困难。
• 假设：作者假设，先深入刻画较窄分布，有助于学到事后更能泛化的抽象；更平衡、更宽的语料可能先鼓励语言特定抽象。Llama 3 的语料超过 90% 为英语。对真实语言，作者预期特征共享会多于 Schäfer et al. 的合成语言对。
• 本文做的事：在 Llama-3-8B 与 Aya-23-8B 上训练 SAE，定位跨类型学语言共享的形态句法特征，用消融检验探针是否依赖这些特征，并在机器翻译中钳制特征以改变语法行为。作者认为，主要在英语数据上训练的模型也能形成跨语言的形态句法抽象。

多语言预训练与语料平衡

• XLM-R（Conneau et al., 2020）、mT5（Xue et al., 2021）、M2M（Mohammadshahi et al., 2022）与 Aya（Aryabumi et al., 2024）在多种语言相对平衡的语料上训练，论文称其动机是鼓励跨语言迁移。
• Llama 3（Dubey et al., 2024）以英语为中心，语料超过 90% 为英语。作者称，语料足够大时，这种平衡对多语言表示可能并非必要。
• 引言还把 Libovický et al. (2020)、Chang et al. (2022)、Hua et al. (2024) 归为跨语言迁移：一种语言中的知识可被另一语言使用，即便后者语料不含该信息。Schäfer et al. 在英语及其 token 级复制语上称，不平衡数据在低数据区间样本效率更高，两种语言表现也更高。

多语言模型里的概念表示

• Dhar and Bisazza (2021) 在循环网络中研究跨语言迁移，论文转述其结果：接触相关语言并不总是增加目标语言的语法知识。
• Ruzzetti et al. (2023) 比较单语编码器，称类型学相近的语言之间模型相似度更高。Wendler et al. (2024) 称，英语主导、不平衡语料上的模型，概念空间更接近英语。
• Ferrando (2024) 称主谓一致机制跨语言一致；Dumas et al. (2024) 称概念可与具体语言解耦，并在语言间迁移。

行为分析、神经元与探针

• 引言把 Gupta and Srikumar (2021)、Raganato et al. (2020) 等归为行为或基准分析，未逐篇写与本文的方法差别。
• Stanczak et al. (2022) 在 mBERT 与 XLM-R 上发现，不同语言的探针从相同神经元读出相同概念。de Varda and Marelli (2023) 考察响应句法现象的单个神经元的跨语言一致性。Feng et al. (2024) 称其命题探针可泛化到西班牙语。
• 作者认为神经元上的反事实干预常影响无关概念，因此改用 SAE 特征做因果分析。SAE、Gated SAE 与归因修补在 Background 中作为工具介绍，Related Work 未再逐篇比较。

基线与数据

• 论文没有外部方法的竞赛式基线。对照是同一概念跨语言的 top 特征重叠，以及消融单语、多语、大规模多语特征后的探针性能。
• 标注来自 Universal Dependencies 2.1；SAE 训练用 The Pile；重构检查用 mC4；翻译定性用 Flores-101；最小对改编自 Arora et al. (2024)。

作者称，本文把共享神经元的观察扩展到大规模模型，包括一个并非明确按多语言设计的模型，并给出这些概念表示在功能上有选择性的因果证据。讨论中作者进一步称，内部通用语可能是概念而非英语词本身，但这些概念仍可能偏向英语式处理。

在中间层残差流上训练 Gated SAE，用探针 logit 做归因修补，找出跨语言共享的形态句法特征，再消融这些特征，并在翻译生成中做单特征转向。

模型、数据与探针

• 模型与层：Llama-3-8B（主要为英语数据）与 Aya-23-8B（明确支持 23 种类型学和资源多样的语言）。取中间层末尾的残差流，L = 16。作者称该层预期捕获抽象、高层、可被人理解的特征。
• 标注：从 Universal Dependencies 2.1 取 23 种语言，与 Aya-23 的训练语言对应（名单在附录 B）。词有词性及 UniMorph 形态句法标注。只保留至少在六种语言中有标注的概念。
• 探针：每个“概念 × 语言”训一个 logistic regression。非 padding token 的激活先求和，再拟合。后文的归因修补以这些探针的 logit 为目标度量。

稀疏自编码器

• 在同一层、The Pile 的 2.5 亿 token 上收集激活，为两个模型各训一个 Gated SAE。Table 1：Adam，学习率 0.001，L1 系数 0.505，展开因子 8，batch 512，warmup 1,000 步。
• 隐藏状态被写成重构与误差之和。作者采用的分解是 x = x̂ + ϵ(x) = b + ∑_i f_i(x) v_i + ϵ(x)，即激活近似为稀疏系数乘单位方向，再加上偏差与重构误差。
• Gated SAE 把“选哪些特征”和“估计系数”分开，以减轻 L1 项为换取稀疏而损害重构的偏差。结构与损失在附录 D。
• 质量用 loss recovered 检查。附录 D.3 称评估数据为 mC4；Table 2 标题写 AllenAI C4 的语言子集。Llama-3-8B 的 SAE 在英语上为 0.9257，法语 0.9285，汉语 0.8122。作者称训练集以英语为主，但其他语言也能被重构。

定位并划分多语言特征

• 精确的激活修补要对每个组件单独前向。本文用归因修补估计间接效应：把 clean 上下文上的组件激活换成 patch 上的值后，目标度量的期望变化。附录 C 用积分梯度近似，K = 10 个等距插值系数。
• 作者称一小部分特征主导因果效应，其余是长尾，因此每种语言、每个概念只取 top-32。跨语言重叠是这些集合的 intersection over union。
• 多语言特征：出现在至少两种语言的 top 集中。大规模多语特征：先按相关语言数与平均因果强度排序，再取上四分位。消融分三档：全部单语特征、全部多语特征、仅这一上四分位。
• 另算不同概念-取值对（如阳性与单数）的多语言特征集合有多少交集，再对所有配对取平均。

翻译中的单特征转向

• 概念限于时（Past / Present）、性（Masc / Fem）、数（Sing / Plural）。语言为 English、French、German；Turkish 只做数和时，作者称土耳其语无语法性别屈折。句子是只在目标概念上不同的最小对，改编并翻译自 Arora et al. (2024)。只保留 Llama-3-8B 能做出语法正确预测的句子；作者称它几乎总是正确。Figure 5 图注未再写模型名。
• 干预时，残差流仍分成 SAE 重构与误差；只改重构中一个特征的激活，误差不动。该激活被设为 mC4 上 2000 万 token 里该特征最大激活的某个倍数。倍数按经验选取，论文未报告具体倍数。每个生成步只改最后一个 token，以避免退化输出。
• 每个概念从 §3 的多语言特征里手选一个，标准是激活模式最可解释。功效是干预后探针标签是否翻转；选择性是其他概念的探针是否保持不变。定性例子来自 Flores-101。附录 F 用 2-shot 提示评翻译，双反斜杠是字面符号而非换行。

实验设置

• 模型与层：Llama-3-8B、Aya-23-8B。表示取第 16 层残差流末尾。Llama 3 语料超过 90% 为英语；Aya-23 明确支持 23 种语言。
• 语言与概念：UD 2.1 的 23 种语言，与 Aya-23 训练语言对应（附录 B）：Arabic、Chinese、Czech、Dutch、English、French、German、Greek、Hebrew、Hindi、Indonesian、Italian、Japanese、Korean、Persian、Polish、Portuguese、Romanian、Russian、Spanish、Turkish、Ukrainian、Vietnamese。概念须至少在六种语言中有标注。
• 探针：每个概念–语言组合一个 logistic regression，非 padding 激活先求和。论文未报告训练样本量、类别比例、重复次数，也未报告与人工判断的一致性。
• SAE：Gated SAE，The Pile 上 2.5 亿 token；超参见 Table 1。重构数字见 Table 2，只报告了 Llama-3-8B。
• 特征定义：归因修补的目标是探针 logit，积分梯度的 K = 10。每语言每概念取 top-32。多语言特征至少覆盖两种语言的 top 集；大规模多语特征是按语言数与平均因果强度排序后的上四分位。
• 翻译：时、性、数；英、法、德，土耳其语只做数和时。只保留 Llama-3-8B 语法预测正确的句子。功效每设置 64 例。Flores-101 只做定性。附录 F 用 SacreBLEU 评两模型的 2-shot 翻译，数字在 Figure 15 与 16，正文未列出。

主结果

Swipe horizontally to read the table

结果	条件	数值	出处
跨语言特征重叠	两模型，各概念 top-32，IoU	最高 50%	§3.2，Figure 2
探针性能	Llama 3，只消融大规模多语特征	64%	§3.2
探针性能	Llama 3，消融全部多语特征	61%	§3.2
跨概念重叠	多语言特征集合的平均	13.9%（±10.7%）	§3.2
单数与阳性共享	二者的多语言特征	40.6%	§3.2
消融百分数	Aya-23-8B，与上两行相同的消融	未报告	Figure 4 有曲线，正文无数字

• 作者称，重叠在更多语言中出现的概念上更大，语法数是例子；两模型大体一致，负极性是文中点名的例外。特征 22860 在全部 15 种屈折语法性别的语言里，都属最有影响的特征。
• 作者认为分类器关键依赖多语言特征。论文写，只消融上四分位与消融全部多语特征相差 3%，尽管后者消融的特征数是四倍，并认为大规模多语特征解释了探针行为的大部分。
• 摘要写消融多语言特征后性能降至 near-chance；正文给出的是表中 Llama 3 的两行，未定义随机水平。作者称跨概念重叠相对低，但是预期之中，因为有些概念由同一形态形式同时实现；未说明 ±10.7% 是标准差还是别的量。

翻译中的功效与选择性

• 测了什么：翻译最小对时，每个概念干预一个手选的多语言特征，激活设为 mC4 的 2000 万 token 上最大激活的某个倍数。只改每个生成步的最后一个 token。论文未报告选用的倍数。
• 功效：正文定义为探针标签翻转的比例：生成有干预与无干预的译文后，再在无干预前向里比较探针标签。Figure 5 图注写成“生成含反事实概念值的译文”的成功率，每设置 64 例，方向被聚合；Figure 17 分方向。正文未给出各条百分数。作者称单特征常常足以改向目标概念，但对某些概念常常不够。
• 选择性：其他概念探针都不改变预测的翻译对比例（Figure 6）。作者称跨概念干扰通常很少。图注写土耳其语不屈折语法性别。该图未写样本量；正文称流程与功效实验相同。

可解释性与 Flores-101

• Figure 3 标出 Llama-3-8B 的两个特征：#31536 为复数名词，#10710 为过去时，并给出多种语言上的激活片段。作者称抽查到的许多特征可以按目标概念理解。
• Figure 7 从 Flores-101 取对齐句，对比干预前后译文。文中例子包括土耳其语到英语（过去时）、英语到德语（阴性）、法语到西班牙语（单数）；翻转相关的词被标为粗体。西班牙语不在定量翻译的语言集合里。
• 作者称部分干预未成功，有时生成退化，且激活值要按概念和语言调节。作者把这写成特征转向的常见问题：激活常须放到自然观察值之外，同时干预多个特征也可能得到意外或退化输出。

其他消融与分析

• Table 2，Llama-3-8B 的 loss recovered：法语 0.9285，英语 0.9257，印尼语 0.9205，德语 0.9026，荷兰语 0.9004，日语 0.8759，芬兰语 0.8582，土耳其语 0.8522，汉语 0.8122。芬兰语不在附录 B 的 23 种语言中。
• 附录 E：作者称一个特征所影响的语言数大致呈幂律；多数概念有多个几乎覆盖全部相关语言的特征。Figure 8–13 的各桶计数正文未列。
• 单语特征消融的百分数正文未报告，只在 Figure 4 与多语条件并列。
• Aya-23-8B 的 loss recovered 未列入 Table 2。
• 因果效应被描述为少数特征主导、其余为长尾；长尾比例未给出，分析因此固定取 top-32。

作者指出的局限与后续方向

• 转向（Limitations）：作者发现，SAE 转向通常要把特征激活钳到数据中观察到的范围之外；钳到极端值常常导致无意义生成，例如无限重复同一 token。作者称 SAE 做细粒度转向不如 difference-in-means 等替代（Wu et al., 2025; Marks and Tegmark, 2024），并写最优转向仍是未来工作要处理的问题。
• 理解与生成（Limitations）：探针测的是概念能否被线性分开，翻译实验测的是特征方向对生成的影响。作者称，有些对探针因果效应高的特征，对生成未必有相近效应，并假设这来自概念理解/表示与概念生成的内在差别。
• 人类概念（Limitations）：作者认为须谨慎把人类概念套到 LM 表示上。LM 的概念空间可能与人类不同，人类对特征的解释可能有偏，从而对特征何时激活做出次优预测。
• 非线性编码（Limitations）：SAE 只在概念被线性编码时恢复它。非线性编码时，稀疏特征可能无法覆盖该变量的全部范围。作者称稀疏特征更适合二元关系，有些特征可能呈环形等更复杂排布。
• 共享到何种程度（Discussion）：概念跨语言并非一一对应，例如芬兰语的格比德语多，同一名词在不同语言中的性也常不同。作者称，更语言特定的特征可能减少偏差，但需要更多参数；两种极端之间的最优点并不清楚。

实验覆盖范围

• 被分析模型为 Llama-3-8B 与 Aya-23-8B，层为残差流 L = 16（§3.1）。
• 语言是 UD 2.1 中与 Aya-23 训练语言对应的 23 种；概念限定为至少六种语言有标注（§3.1，附录 B）。
• SAE 在 The Pile 的 2.5 亿 token 上训练（Table 1）。loss recovered 只对 Llama-3-8B、Table 2 的九种语言给出。
• 重叠与消融使用 top-32 和归因修补。正文的消融百分数只写 Llama 3；Aya-23-8B 出现在 Figure 4，无对应百分数。
• 定量翻译的语言是英、法、德，以及土耳其语的数和时；功效按每设置 64 例描述流程，正文未列出 Figure 5 的百分数。Flores-101 是定性例子。论文未报告探针训练集规模和重复次数。

Llama-3-8B 与 Aya-23-8B 的中间层里，数、性、时等形态句法概念常常对应跨语言共享的 SAE 特征。作者要回答的是：这些概念是按语言重复编码，还是存在可跨类型学语言复用的抽象；这也关系到英语主导的模型为何仍能处理其他语言。

做法是在第 16 层残差流上，用 The Pile 的 2.5 亿 token 训练 Gated SAE，再以探针 logit 做归因修补，取每种语言的 top-32 特征。多语言特征定义为至少出现在两种语言的 top 集中。翻译实验把单个这类特征钳到 mC4 上最大激活的某个倍数，只作用于每个生成步的最后一个 token。

• 同一概念的 top-32 特征，跨语言重叠最高 50%（Figure 2）。特征 22860 在全部 15 种屈折语法性别的语言中，都属最有影响的特征。两模型的重叠大体一致，负极性是例外。
• Llama 3 上，只消融大规模多语特征后，探针平均性能为 64%；消融全部多语特征后为 61%。论文写两者相差 3%，而后者消融的特征数是前者的四倍。摘要另写 near-chance，正文未定义随机水平。
• 跨概念的多语言特征平均重叠为 13.9%（±10.7%）；单数与阳性共享 40.6%。作者认为部分重叠来自同一形态形式同时实现多个概念。
• 翻译中，作者称单特征干预常常能使探针标签翻向目标概念，但对某些概念常常不够。Figure 5 的分项百分数未在正文给出。部分 Flores-101 例子出现退化生成。

作者的结论是：大规模预训练即使语料不平衡，也能诱导跨语言的语法抽象；内部通用语可能是概念而非英语词，但这些概念仍可能偏向英语的处理方式。共享到何种程度最合适，作者认为并不清楚。