多语言 LLM 中的刻板印象如何从内部表征传导到输出：Llama-3.1-8B、Qwen3-8B 与 Gemma-2-9B 的机制对比

多语 LLM 里，刻板印象相关信息在何处可线性解码、在何处影响输出、消融所选稀疏特征又有何效果，三者是否指向同一计算。

• 场景：作者称多语 LLM 表现出随语言变化的刻板印象行为，幅度和方向即使在平行提示词、同一社会类别上也不一致。行为评测（BBQ、MBBQ、SeeGULL、SHADES）只看输出；作者引 Bai et al. (2025) 称，显式评测下看似无偏的模型仍可能保留有偏关联。
• 现有不足：线性探针能定位线性可及的信息，但探针表现并不建立该信息被用于预测（Alain and Bengio, 2018; Ravichander et al., 2021）。归因分析估计内部状态对输出的影响。先前多语研究同时发现语言特异与语言无关表示，但是否对跨语言行为有相似影响仍不清楚。
• 核心问题：可解码性、估计的输出影响、以及特征级干预效果，是否识别刻板印象相关行为的同一部分。
• 本文做法：在 Llama-3.1-8B、Qwen3-8B、Gemma-2-9B 上，跨四种语言、六类社会类别，比较逐层线性探针与 attribution patching，再用 SAE 选出候选特征，在独立基准 SHADES 上做特征消融，并检查效果是否跨语言与社会类别迁移。

行为评测

• BBQ 与 MBBQ：Parrish et al. (2022) 的 BBQ 用含糊与消歧问答评测社会偏见；Neplenbroek et al. (2024) 的 MBBQ 将其扩展到英语、西班牙语、荷兰语、土耳其语的平行条目。
• SeeGULL 与 SHADES：Bhutani et al. (2024) 的 SeeGULL Multilingual 覆盖二十种语言的地缘文化刻板印象；Mitchell et al. (2025) 的 SHADES 评测跨语言、跨社会群体的刻板印象关联。
• 综述：Gamboa et al. (2025) 指出多语偏见评测集中在有限语言，多语缓解实验相对较少。作者还引 Bai et al. (2025)：显式评测下看似无偏的模型仍可保留有偏关联。

多语表示的机制分析

• 概念空间与语言特异特征：Wendler et al. (2024) 称 Llama-2 把非英语提示词经更接近英语的抽象“concept space”处理；Deng et al. (2025) 用 SAE 识别语言特异特征；Dumas et al. (2025) 用 activation patching 识别语言无关的概念表示。
• 事实与时态：Wang et al. (2025) 称事实知识在网络大部分深度上大体语言独立，后期才转向语言特异表示；Tumurchuluun et al. (2025) 结合探针、因果追踪与 SAE steering 追踪多语时态表示。

社会与文化行为、可解释性方法

• 偏见与文化：Neplenbroek et al. (2025) 用基于探针的 steering 处理多语刻板印象；Simbeck and Mahran (2025) 分析与宗教相关的 SAE 特征；Yu et al. (2025) 用 patching 研究内部文化表示与 Western-dominance bias；Zou et al. (2026) 将 SAE 特征分析与消融、steering 用于文化知识。
• 方法边界：Alain and Bengio (2018) 用线性探针分离线性可及信息；Nanda (2023)、Syed et al. (2024) 的 attribution patching 是 activation patching（Meng et al., 2023）的一阶近似；SAE 把稠密激活分解为稀疏特征（Bricken et al., 2023; Cunningham et al., 2023; Gao et al., 2024）。Ravichander et al. (2021) 指出探针准确率并不建立任务相关性；Arora et al. (2024)、Huang et al. (2024) 用干预行为评测可解释性方法。Song et al. (2026) 主张把 run-to-run 特征一致性作为 SAE 评测轴。

基线方法与基准：层位分析与稀疏特征发现用 MBBQ；特征干预在留出的 SHADES 上评测。探针对照为 Hewitt and Liang (2019) 式随机标签控制任务，并以英语中心模型 OLMo-7B 作参照。SAE 套件为 Llama-Scope、Llama-Multi、Gemma-Scope、Qwen-Multi。

作者把本文定位为：在多语刻板印象设定中比较探针与归因曲线，再用直接消融检验所选 SAE 特征的效果是否跨语言、社会类别、模型与 SAE 套件重复；可解码性并不建立因果相关性这一点，在该设定下是否同样成立此前不清楚。

整体是一条从表示到输出的追踪：在 MBBQ 上比较线性可解码与 attribution patching，再用预训练 SAE 做对比特征选择，在 SHADES 上逐特征消融并计算语言/类别特异性。

问题设定与模型

• 四个问题：何处刻板印象信息最可解码；何处对输出影响最强；所选 SAE 特征对应哪些社会类别；消融效果及跨语言、跨类别迁移如何。
• 模型：Llama-3.1-8B、Gemma-2-9B、Qwen3-8B，规模相近、分属三个独立开发的 decoder-only 家族。另用英语中心的 OLMo-7B 检验深度曲线是否在多语支持较弱时仍出现。
• 数据：MBBQ 提供英、西、荷、土平行条目，覆盖 age、disability status、gender identity、physical appearance、SES、sexual orientation。SHADES 覆盖其中英、西、荷三种，用于干预评测，与特征发现分开。

线性探针

• 对比对：对每条 MBBQ 消歧条目，分别接上事实答案或刻板印象一致答案，形成 “<context> <Q> <correct_answer>” 与 “<context> <Q> <biased_answer>”。作者选用消歧而非含糊上下文，因为前者提供反对刻板印象一致补全的显式证据。
• 探针：每层对全序列隐藏状态做 mean-pool，用 scikit-learn 拟合 L2 正则逻辑回归，扫描 C ∈ {0.1, 1.0}，报告 macro-F1；除非另注，取 C=1.0。划分是 MBBQ 消歧行的 80/20。
• 对照：按 Hewitt and Liang (2019) 给每个词类型随机标签；检查性能峰值附近的探针权重范数，以及正则化敏感性。

Attribution patching

• 流程：每条 MBBQ 样本构造 clean 输入（期望得到正确答案）与 corrupted 输入（期望引出刻板行为），经 TransformerLens 跑两边并缓存每层残差流输出 resid_post。在 corrupted 运行上，用正确选项与最强竞争选项的 logit margin m 打分。
• 近似：Attr(ℓ) ≈ ∇_{a^corr_ℓ} m · (a^clean_ℓ − a^corr_ℓ)。需要一次 corrupted 反向与一次额外前向以缓存 clean 激活。
• 两种对比：evidence injection 比较带事实证据的消歧输入与对应含糊输入；stereotype routing 在消歧上下文下对比反刻板与亲刻板目标。按 (layer, category, language) 聚合，用梯形积分得到单一 AUC。比较聚焦最大可解码与最大归因的位置，不把信号起始层等同于因果使用。

SAE 特征选择与词汇锚定

• 四套预训练 SAE（Table 2）：Llama-Scope（Llama-3.1-8B，英语，L0=50）、Llama-Multi（同基座，多语，L0≈10,827）、Gemma-Scope（Gemma-2-9B，英语，L0≈158）、Qwen-Multi（Qwen3-8B，多语，L0≈26,893）。作者称套件在训练数据、稀疏度、词典配置和基座上同时不同，差异不能单独归于训练语言或稀疏度。语义家族分析只用 Llama-Scope，因为 Neuronpedia gloss 只覆盖其保留特征的一个子集。
• 对比选择：在 MBBQ 含糊上下文上，于答案 token 取刻板一致补全与控制补全的 SAE 激活，按两者分离给特征打分，以压低对两种补全反应相似、主要编码共享人口统计内容的特征。每个 (category, layer, stream) 保留 top k=3。保留数：Llama-Scope 1,741、Llama-Multi 1,841、Gemma-Scope 2,445、Qwen-Multi 738。锚定分析用全部保留特征；消融扫描用完成扫描的 535 个 Llama-Scope 残差流特征；家族分析用有 gloss 的 139 个。
• 词汇锚定：特征方向与 unembedding 每一行做余弦，最大相似度的 token 为 lexical anchor，对应值为 anchor cosine。零分布来自随机单位方向，以第 99 百分位为机会阈值：两套 Llama 均为 0.078，Qwen-Multi 0.080，Gemma-Scope 0.086。阈值依赖 d_model 与分词器。该方法与 logit-lens 一类分析对齐。

消融、特异性分数与成功判定

• 消融：在 SAE 编码基上做 feature-zero masking：编码残差流激活 a，用二值掩码把特征 f 置零，再解码回残差流，â = Dec(Enc(a) ⊙ m_f)。推理时施加，模型与 SAE 不变。作者不假设消融应降低偏见：对比选择只建立差异激活，不决定因果方向。
• 指标：在 SHADES 上用其 base-model bias score（受 Nangia et al., 2020 启发）。∆bias(f) = bias_interv(f) − bias_baseline；负值表示测得偏见下降。用单样本 t 检验、bootstrap 置信区间，并报告 Cohen's d：0.5 ≤ |d| < 0.8 为 medium，|d| ≥ 0.8 为 large。
• LSS 与 CSS：LSS = σ(∆bias_langs) / (|∆bias_langs| + ε)，CSS 对类别同理，ε = 10^−8，阈值 0.5。低于 0.5 为该轴上 agnostic。作者称低特异性也可能来自干预效果一直很小，因此要与底层 ∆bias 一起看。

实验设置

• 被测模型：主分析为 Llama-3.1-8B、Qwen3-8B、Gemma-2-9B；探针另含英语中心参照 OLMo-7B。
• 数据：层位分析与特征发现用 MBBQ（英、西、荷、土；六类社会类别；消歧行 80/20）。干预用 SHADES（英、西、荷；不含土耳其语）。论文未在正文给出两条基准的条目总数。
• SAE：Llama-Scope、Llama-Multi、Gemma-Scope、Qwen-Multi（Table 2）。语义家族只用有 Neuronpedia gloss 的 Llama-Scope 特征。
• 指标：探针 macro-F1（默认 C=1.0）；归因用 logit margin 的 attribution patching，比较峰值位置而非起始层；消融用 ∆bias、Cohen's d、名义显著的偏见下降比例；迁移用 LSS/CSS（阈值 0.5，ε=10^−8）。
• 统计：单样本 t 检验加 bootstrap 置信区间。论文未报告探针或归因的重复次数。Table 1 只给出一条 MBBQ 示例上 Llama-3.1-8B 的选项，不是汇总指标。

主结果

Figure 2 把探针 macro-F1 与归一化归因画在同一深度轴上，两条曲线各自缩放到自身最大值。峰值间隔为 Llama 53%（L15 对 L32）、Qwen 36%（L23 对 L36）、Gemma 50%（L21 对 L42）。

Swipe horizontally to read the table

模型	探针峰值层 / macro-F1	归因	深度间隔
Llama-3.1-8B	L15 / 0.845（24 个类别×语言格平均）	末层均值绝对归因 0.394，全层平均 0.237；约从 L11 可检出	53%
Qwen3-8B	L21–23 一带，macro-F1 0.894	末层峰值；约从 L17 可检出	36%
Gemma-2-9B	L21–23 一带，macro-F1 0.899	末层峰值；约从 L17 可检出	50%（图注标 L21 对 L42）
OLMo-7B	峰值 macro-F1 0.606；英语 0.757，西/荷/土平均 0.556	未报告	未报告

• 作者解读：三个多语模型的探针都在中层达峰后向输出下降，归因则在中后层上升并在末层最大；间隔比较的是峰值位置。Stereotype routing 在后层给出一致为负的归因，作者称这与这些层把预测从刻板一致答案推开相一致。
• 类别与语言：峰值表现跨社会类别的差异大于跨语言；SES 一直最高，sexual orientation 最低。正文未给出各类别的具体 macro-F1。
• 对照：置换标签探针在全深度维持在机会水平（均值 0.494–0.498）。更强正则降低整体表现但不移动峰值，峰值层附近权重范数没有对应尖峰（附录 C）。作者把 OLMo-7B 当作英语中心参照，而不把差异归于某一训练因素。

SAE 特征在表示什么

• 语义家族：139 个有 gloss 的 Llama-Scope 保留特征中，123 个（88.5%）对所选社会类别为 on-concept（Table 3），并形成重复出现的语义家族，如 disability 分为神经发育、精神疾病与慢性病，gender 分为代词、群体名词与亲属角色。16 个标为 off-concept / polysemantic。Table 3 的类别计数为 Age 20、Disability 37、Gender 38、Physical appearance 20、SES 8、Sexual orientation 16。
• 词汇对齐随套件变化：超过各自机会阈值的比例为 Llama-Scope 46.9%（1,741 中，阈值 0.078）、Llama-Multi 8.8%（1,841 中）、Gemma-Scope 41.7%（2,445 中，阈值 0.086）、Qwen-Multi 0.8%（738 中，阈值 0.080）。残差流上 Llama-Scope 为 57.9%，Llama-Multi 为 11.1%。作者称套件在稀疏度、训练数据与词典配置上同时不同，这些差异不能单独归于训练语言。
• 层位：Llama-Scope 中锚定特征比例从第 11 层的 4.8% 升到第 31 层的 74.7%，到第 20 层超过 50%。锚定集中在较后层；对 Llama-Scope 与 Gemma-Scope，残差流最强。

消融效果与跨语言、跨类别迁移

据 Table 4（残差流特征；Lang.-agn. / Cat.-agn. 为 LSS/CSS < 0.5）：

Swipe horizontally to read the table

SAE	n	语言无关	类别无关	平均 ∆bias	Cohen's d	降偏见比例	名义显著下降	最佳 ∆bias
Llama-Scope	535	98 (18%)	0	−0.0553	−0.0709	62.5%	1,083 (9.6%)	−1.005
Gemma-Scope	744	42 (6%)	0	−0.0156	−0.0181	58.1%	482 (3.1%)	−1.312
Qwen-Multi	702	44 (6%)	0	−0.0008	−0.0128	50.6%	635 (4.3%)	−0.123
Llama-Multi	499	36 (7%)	0	+0.0002	+0.0075	43.4%	193 (1.8%)	−0.052

• 方向不定：单个消融既可降低也可升高测得偏见。Llama-Scope 平均效果最大；约 18–20% 的 feature–bias-type 对达到 medium 或 large（Llama-Scope 的 large、medium 各约 9.0%，作者称四套合计引用为 17.9% 与 19.5%）。disability status 上，Llama-Scope 的 ∆bias = +0.280（偏向刻板印象），Gemma-Scope 为 −0.090，两套多语 SAE 均值约零。
• 语言与类别不对称：535 个被消融的 Llama-Scope 特征全部 category-dependent，18.3% language-agnostic（Table 4 写 98 个、18%）。四套均为 6–18% 语言无关、零个类别无关。Figure 1 把语言无关标为 6–18%、both specific 为 82–94%，category-agnostic 与 general mediator 均为 0%。
• 无关不等于更大效果：Llama-Scope 中语言无关特征的平均消融效果更大，评测语言上测得偏见下降 46–79%，语言相关特征为 32–55%（Figure 3）。该模式在 Llama-Multi 与 Qwen-Multi 中不出现，并在 Gemma-Scope 的英语和西班牙语上反过来。Figure 3 还标出各语言基线偏见分：Llama-Scope 为 en 0.277、es 0.078、nl 0.063；Llama-Multi 为 0.275 / 0.078 / 0.062；Gemma-Scope 为 0.346 / 0.270 / 0.173；Qwen-Multi 为 en 0.268、nl 0.118、es 0.112。图中 Llama-Scope 语言无关组的变化标注含 −46、−61、−79，语言相关组含 −32、−36、−55。

其他消融与分析

• 深度与符号：层深不预测有符号效果（R² < 0.0016）；anchor cosine 对 ∆bias 至多弱预测。深度与效果幅度弱相关：语言无关 r = −0.190，语言特异 r = −0.116（Table 7，Llama-Scope；粗体为 p < 0.05）。余弦→∆bias：无关 0.020、特异 0.036；层→∆bias：无关 0.043、特异 0.082。
• Figure 13：按 LSS 分组的类别迁移矩阵，单元格为 mean bias change ∆。Qwen-Multi 语言无关 n=44、语言特异 n=655；Llama-Multi 为 n=36 与 n=459。单元格多为 10^−3 量级，论文未在正文逐格解读。
• 作者的总区分：可解码位置、输出影响最强的位置、以及去掉所选特征后发生什么，是相关但不同的性质；定位应作为干预分析的起点，而不是干预会有预期效果的证据。

作者指出的局限与后续方向

• 语言范围：分析限于 MBBQ 所及的四种高资源语言（英、西、荷、土）和三个模型家族；可解码–因果分离以及偏见特征的类别特异性在类型差异更大或更低资源的语言中是否成立，仍未考察（Limitations）。
• SHADES 语言：SHADES 覆盖 16 种语言但不含土耳其语；特征干预只在四种语言中的三种上评测（Limitations）。
• 模型规模：只评测 8B–9B 参数模型，限制了对这些模式如何随模型规模变化的评估（Limitations）。
• SAE 混杂：所用 SAE 套件在词典大小、稀疏度、训练数据与语言覆盖上不同，SAE 质量与多语训练相混杂（附录 E）；消融效果在 Llama-Scope 最强，作者认为效应大小是部分可重复，而不是普遍适用（Limitations）。
• 通路冗余：特征消融衡量因果相关性，但不考虑偏见通路中的冗余（Limitations）。
• 交叉偏见：特征是相对 MBBQ 与 SHADES 逐个测试的，交叉偏见（如 age × gender）未被处理（Limitations）。

实验覆盖范围

• 探针与归因：三个多语模型加 OLMo-7B 参照；MBBQ 消歧条目、六类社会类别、四种语言；探针 C ∈ {0.1, 1.0}，并有置换标签对照（§4、附录 C）。归因含 evidence injection 与 stereotype routing 两种对比（§5）。
• 特征规模：四套 SAE；保留特征 Llama-Scope 1,741、Llama-Multi 1,841、Gemma-Scope 2,445、Qwen-Multi 738；有 gloss 的家族分析为 139 个 Llama-Scope 特征；残差流消融 n 为 535、744、702、499（Table 4）。
• 干预评测语言：SHADES 上的消融为英、西、荷；论文写明不含土耳其语（Limitations、§7）。
• 统计量：报告 Cohen's d、单样本 t 检验与 bootstrap 置信区间，以及 LSS/CSS；论文未报告探针或归因实验的重复次数。
• 词典细节：Table 2 给出各套 L0；词典宽度与训练 token 数写在附录 E，正文未列具体宽度。

把多语 LLM 中刻板印象从线性表示追到输出影响，再追到 SAE 特征消融。

• 问题：输出层面的跨语言差异，看不出相关信息在何处可解码、在何处影响预测。探针表现并不等于该信息被使用。
• 做法：在 Llama-3.1-8B、Qwen3-8B、Gemma-2-9B 上，用 MBBQ 消歧对比对训练逐层逻辑回归探针，并用 attribution patching 的 evidence injection 与 stereotype routing 估计残差流对 logit margin 的影响。再用四套预训练 SAE 按刻板补全与控制补全的激活差选特征，在 SHADES 上把单个特征置零。
• 深度分离：三个多语模型上，探针 macro-F1 在中层达峰（Llama 第 15 层、24 格平均 0.845；Qwen 0.894；Gemma 0.899），归因在末层最大，峰值相隔 53%、36%、50% 的模型深度（Figure 2；正文对 Gemma 亦写 48% 一处，图为 50%）。置换标签探针维持在 0.494–0.498。OLMo-7B 峰值 macro-F1 为 0.606，且更集中于英语。
• 特征：139 个有 gloss 的 Llama-Scope 特征中 123 个（88.5%）与所选社会类别一致。超过机会阈值的词汇锚定比例从 Llama-Scope 的 46.9% 到 Qwen-Multi 的 0.8%。消融双向：Llama-Scope 平均 ∆bias 为 −0.055，两套多语 SAE 接近 0；disability 在 Llama-Scope 上为 +0.280。
• 迁移：按 LSS/CSS < 0.5，残差流特征中 6–18% 为语言无关，类别无关为 0。语言无关特征更大的平均效果只出现在 Llama-Scope（跨评测语言下降 46–79%，对比语言相关的 32–55%），不在另外三套中重复。作者的结论是：可解码、输出影响与跨语言消融效果需要分开测量，定位不是干预会按预期起作用的证据。