解释 MoE 大语言模型中专家在个性化中的作用

dense LLM 的多义神经元使个性化相关组件难以定位，作者改为适配 MoE，以便把不同偏好对应到少数 expert。

• 场景：作者认为个性化是把 LLM 适配到用户或群体偏好，需求来自用户中心应用。多数既有方法改的是 dense LLM，作者称其可解释性很少。
• 不足：作者称 polysemantic 神经元把多个无关概念编进同一神经元，妨碍定位编码不同个性化特征的组件，也妨碍理解和控制个性化。
• 假设：MoE 用稀疏路由把每个 token 交给少数 expert，从而使用更宽、更稀疏的网络。作者称这能降低多义性，使 expert 编码不同任务特征。
• 做法：在群体偏好数据上对三个开源 MoE 做两阶段参数高效微调，再用 crosscoder 对比个性化与非个性化激活，找出个性化 latent 及其 expert，并用因果干预检查这些组件能否改变行为。
• 问题分解：RQ1 比较个性化设定下的多义性与解耦；RQ2 识别被分开的个性化特征；RQ3 定位不同特征的路由路径。

作者在引言和 §2 把相关工作分成个性化、MoE 路由，以及特征与微调解释。

个性化方法

• 条件与参数适配：Salemi et al. (2024)、Richardson et al. (2023) 用检索到的用户历史或画像摘要作为条件；Jiang et al. (2024b) 在提示词中编码 persona；Tan et al. (2024) 训练 per-user adapter。
• 奖励、合并与转向：Cheng et al. (2023)、Jang et al. (2024) 学习个性化奖励模型或合并偏好策略；Zhang et al. (2025a)、Cao et al. (2024) 把激活转向用户风格。
• 评测数据：LaMP 与 LongLaMP 评测 per-user 个性化；Multifaceted Collection 与 Bench 用 system message 指定群体偏好。作者称这些工作把 dense 模型当黑盒。

MoE 与路由

• 架构：Shazeer et al. (2017)、Fedus et al. (2022)、Zoph et al. (2022) 把 token 路由到少数 expert，使参数量与计算解耦。文中提到的开放模型包括 Mixtral、OLMoE、Qwen3。
• 路由分析：Jiang et al. (2024a)、Xue et al. (2024) 报告专门化出现在 token 与句法层面而非领域层面；Olson et al. (2025) 在受控设置中研究语义路由；Bandarkar et al. (2026) 用路由频率对比找出语言特定 expert。
• 利用专门化：Bai et al. (2025) 调 router 以识别忠于上下文的 expert；Li et al. (2026) 在训练中鼓励 expert 分化；Fayyaz et al. (2026) 通过激活或关闭 expert 转向行为。作者采用先 router 后 expert 的适配，并把路由变化联系到 persona 特征。

特征解释与微调差异

• 多义与探测：Olah et al. (2020) 讨论 dense 神经元的多义性；Bricken et al. (2023)、Huben et al. (2024) 用 SAE 恢复更单义的特征；Gurnee et al. (2023) 用 sparse probing 测多少神经元编码一个概念。

• 稀疏架构：Yang et al. (2025b)、Herbst et al. (2026) 讨论更宽、更稀疏的模型（含 MoE）降低多义性。

• Crosscoder：Minder et al. (2025) 用 BatchTopK crosscoder 分离微调模型特有的 latent，并用于 chat tuning；Chaudhari et al. (2026) 将其用于 MoE 与 dense 的比较；Paulo et al. (2025) 自动解释特征。作者把个性化 MoE 与其基座作差，再把 latent 映射到路由它们的 expert。

• 基线与基准：对照是匹配 active 或总参数量的 dense LLM，即 OLMo-2-1B/7B、Qwen2.5-3B/32B、Llama-2-13B/70B，以及在 MULTIFACETED COLLECTION 上全参数微调的 JANUS 7B 及其 ORPO/DPO。训练用该 Collection；评测用 MULTIFACETED BENCH、LaMP、LongLaMP。

作者把本文放在 dense 黑盒个性化之外：研究稀疏 MoE 如何表示个性化，并把两阶段适配后的路由变化对应到可解释的 persona 特征。

整体是先做 两阶段 PEFT，再用 crosscoder 把个性化模型相对基座的激活差分成 latent，并映射到 expert。偏好 P 可以是交互历史，或一组陈述偏好；生成写作 ŷ_p = M_θ(x, A_p(x, P))，相对 gold 回复打分。本文把 A_p 实现为 PEFT 参数。

两阶段适配

• 动机：作者称预训练时的负载均衡把 token 均匀分到 expert，不利于单个 expert 专精于任务特征。因此沿 Bai et al. (2025)，先找与个性化相关的 expert，再只调这些 expert。
• Router tuning：只更新 router，expert 与其余参数冻结，损失为语言建模损失。随后统计调后 router 在偏好数据上选择各 expert 的频率，并除以路由的 k，使每层频率和为 1。
• Expert tuning：每层只微调被选次数最多的 k 个 expert，router 与其余参数冻结。论文未给出这个 k 的取值。实现上 MoE 与 dense 都用 LoRA，且只更新 MLP 权重。
• MoE 前向：每层用 N_E 个 expert 和 router，token 只进入 top-k expert；输出是输入残差加上被选 expert 的门控加权变换。

Crosscoder 与个性化 latent

• 训练对象：在同一偏好数据上收集个性化与非个性化模型同一层的配对激活，训练 BatchTopK crosscoder。三个 MoE 的扩展因子都是 32，稀疏项为 L0；附录写激活取自 residual MLP contributions。论文未报告 BatchTopK 的 k。
• 词典：一个共享词典同时重构两个模型。每个 latent 对两个模型有各自的 decoder 向量；若个性化一侧的 decoder 向量占优，该 latent 主要贡献于重构个性化模型。
• 筛选：相对 decoder 范数差为 Δ_j=1/2((|d^ft_j|₂−|d^base_j|₂)/(max(|d^ft_j|₂,|d^base_j|₂))+1)，取值在 0 到 1，越大越偏向个性化模型。Δ_j ≥ 0.9 归入个性化集合，≤ 0.1 归入基座集合，落在 [0.4, 0.6] 归入共享集合。

层选择与 expert 映射

• 选层：作者称中间层携带最多信息。在其中选择个性化与非个性化路由分布的 Jensen–Shannon 散度最大的层，并要求路由熵低，即 router 选择 expert 较有信心。
• 映射：对每个个性化 latent，取激活最高的 N 条序列；在这些序列中，用“latent 激活 token 上的选择频率减去未激活 token 上的频率”给每层 expert 排序，保留 top-k′。
• 选择 (N, k′)：Distinctiveness 是 1 减去各 latent 的 expert 集合平均重叠，越高表示不同 latent 对应不同 expert。Stability 是同一 latent 在 N 条序列的随机子样本上 expert 集合的一致性。作者称 N 过大会使序列跨 latent 重叠，Distinctiveness 下降。二者都在 [0, 1] 上网格搜索。

解释与因果操作

• 自动解释：explainer 与 scorer 都是 Llama-3.3-70B-Instruct。explainer 看 30 个激活样本（最高 20 个加 10 个较弱），每个是以最大激活 token 为中心的 40-token 窗口，前 32、后 8。scorer 只看解释，标注 20 个激活样本和 20 个非激活样本。
• 充分性修补：在 crosscoder 层，把该 token 的个性化激活换成非个性化激活加上个性化 latent 的 decoder 贡献，再从后续层续生成，比较下一 token 分布的 KL。对照是数量和激活频率匹配的随机 latent，以及共享区域 latent。
• 路由转向：按偏好维度收集与对应 latent 对齐的 expert，按路由频率取 top-k′，在非个性化模型上把这些 expert 的 router logit 加上 β 倍标准差，β 取 2。对照是同层随机选取的同样数量 expert。

实验设置

• 被测 MoE：OLMoE-1B-7B (0125)、Qwen3-30B-A3B (2507)、Mixtral-8x7B (v0.1)，均为 instruction-tuned decoder-only。每个报告无适配、只做 router tuning（RT）、以及 router 加 expert tuning（RT+EFT）。
• 对照：active 与总参数匹配的 dense 为 OLMo-2-1B (0425)/OLMo-2-7B (1124)、Qwen2.5-3B/Qwen2.5-32B、Llama-2-13B/Llama-2-70B，各有无适配和 PEFT。参照为全参数微调的 JANUS 7B 及其 ORPO/DPO。Table 2 把 Llama-2 写成 Llama-2-13b、Llama-2-70b。
• 数据：训练和 crosscoder 用 MULTIFACETED COLLECTION。每条含查询和 system message，覆盖 style、background knowledge、informativeness、harmlessness；对齐回复由 GPT-4-Turbo-0125 生成。评测为 MULTIFACETED BENCH（同格式，偏好与训练集无交集）、LaMP、LongLaMP。后两者从交互历史推断 per-user 偏好；沿用 Zhang et al. (2025a) 的 user split，并省略数据未公开的 email 任务。Figure 2 称平均覆盖 7 个数据集。
• 指标与生成：相对 gold 报告 METEOR 与 ROUGE-L（Table 2 把后者记为 R）。MULTIFACETED BENCH 推理用 temperature 1.0、top-p 0.9、repetition penalty 1.03、最多 4096 个新 token。论文未说明 LaMP 与 LongLaMP 的采样设置，也未报告生成重复次数。
• 分析协议：k-sparse probing 用 balanced accuracy；自动解释用 Llama-3.3-70B-Instruct 的 F1；因果比较用下一 token KL。Figure 17 使用 921 条 MULTIFACETED BENCH 样本。论文未报告 Collection 与各基准的总样本数、expert tuning 的每层 k、LoRA rank、学习率、训练步数，以及 scorer 与人工的一致性。

主结果

下表只列 RT+EFT 的 MoE、相近 active 参数的 PEFT dense，以及 JANUS 的两个变体。M 为 METEOR。Scholar、Tweet 属于 LaMP，Review 属于 LongLaMP。据 Table 2。

表格较宽，可左右滑动

模型与变体	MFBench M	MFBench R	Scholar M	Tweet M	Review M
OLMoE-1B-7B RT+EFT	0.32	0.21	0.37	0.40	0.14
Qwen3-30B-A3B RT+EFT	0.37	0.26	0.41	0.39	0.23
Mixtral-8x7B RT+EFT	0.36	0.25	0.42	0.38	0.22
OLMo-2-1B PEFT	0.31	0.20	0.38	0.40	0.14
Qwen2.5-3B PEFT	0.35	0.24	0.39	0.38	0.21
Llama-2-13B PEFT	0.34	0.23	0.40	0.38	0.19
JANUS+DPO 7B	0.35	0.23	0.41	0.36	0.24
JANUS+ORPO 7B	0.21	0.10	0.09	0.29	0.07

• 作者对总体的说法：作者称各家族、各指标上，MoE 优于相近 active 参数的 dense；对 Qwen 与 Mixtral，Figure 2 的平均匹配或超过相近总参数的 dense。表内 Scholar 一列已有 MoE 低于 active 对照的格子。Table 2 的 Abstract Generation 上，Mixtral RT+EFT 的 METEOR 为 0.31，Llama-2-13B PEFT 为 0.32。
• 增益来自哪一阶段：作者称 Qwen3 的增益主要来自 router tuning，Mixtral 更多来自 expert tuning；MULTIFACETED BENCH 的增益大于 LaMP 与 LongLaMP。Table 2 中 Qwen3 的 RT+EFT 并非处处高于 RT：Scholar METEOR 从 0.42 到 0.41，Tweet METEOR 从 0.41 到 0.39。
• 参数与参照：作者在 §6.1 称每 token 只用总参数的 20%，结论写 ∼20%。Table 1 的 active/total 为 OLMoE 1.3B/6.9B、Qwen3 3B/30B、Mixtral 13B/46.7B。未列入上表的还有无适配与仅 RT 行、总参数匹配的三组 dense，以及 JANUS 7B。JANUS+ORPO 在 Table 2 的 MFBench METEOR 上为全表最低，论文未解释它为何低于 JANUS 7B。

多义性与解耦

• 探测设置：每个维度取 Collection 中最频繁的 5 个子维度，共 20 个概念。正例是 system message 指定该子维度的回复 token，每条回复最多 1024 token、100 条查询；负例是同一维度的其他子维度，每类约 50,000 token。MoE 只计路由到目标 expert 的 token，按 25% 测试划分选准确率最高的层。
• 作者对 Figure 3 的说法：相近 active 参数下 MoE 的 balanced accuracy 高于 dense，同家族（作者写 Olmo、Qwen）差距更宽，且 k=1 时差距仍宽。作者称这对应个性化上的单义行为。文本转换未保留各 k 的准确率，不转写柱高。
• 与基座的共享：对个性化 latent 计算 ν = β_base/β_ft，越接近 0 表示越少用于重构非个性化模型。作者称同家族中 MoE 的 ν 低于 dense，例外是 Mixtral 高于相近 active 参数的 Llama-13B，并称这一比较限于同一模型家族。Figure 4 的标注与模型对不齐，不转写柱值。

个性化特征的内容

• 数量：Δ ≥ 0.9 的个性化 latent 为 Qwen3 的 L25 上 157/65536、Mixtral 的 L15 上 132/131072、OLMoE 的 L6 上 111/65536。作者称少于总 latent 的 0.25%。所选层来自 §6.3 的路由散度与熵准则。
• 激活位置与维度：作者称 OLMoE 的 85%、Qwen3 的 82% 主要在 system message 上激活；Mixtral 例外，41% 主要在回复中激活。OLMoE 以 style 52%、harmlessness 21% 为主；Qwen3 与 Mixtral 以 background knowledge 为主，分别为 45% 与 40%。
• 解释质量：总体 F1 为 OLMoE 0.65、Qwen3 0.63、Mixtral 0.70（Figure 7）。作者称 F1 随激活分箱单调上升，顶部分箱为 0.81、0.83、0.88，顺序与前面三个模型一致，并称解释最能描述强激活。Figure 8 与 Table 3 给了最高激活示例及 top expert 的 token 占比，不转写其中的偏好原文。

路由稳定性与因果干预

• Qwen3 的映射：作者取 N=400、每层 1 个 expert，报告 D 为 0.94、S 为 0.81，并称不同 latent 的样本被路由到各自 expert。OLMoE 与 Mixtral 的网格见 Figure 15、16，正文未写明最终采用哪一格。
• 修补：作者称在 MULTIFACETED BENCH 上，个性化 latent 带来的 KL 下降大于随机与共享对照（Figure 10 上图）。Figure 17 在前 9 个回复 token、921 条样本上重复该比较，对照为 3 次抽样均值，相对两个对照 p<0.001（Wilcoxon，Holm 校正），并给 95% bootstrap 置信区间。正文未给出 KL 下降的百分点。
• 转向：每个维度转向与该维度 latent 对齐的 top-k′ expert，β=2。作者称各维度上该转向的 KL 低于随机转向（Figure 10 下图，相对对照 p<0.001），并称这对应不同个性化特征的不同路由。图注只定义 p<0.001 的标记。

其他消融与分析

• Qwen3 的 D（Figure 9，k′=1/2/4/8）：N=400 时为 0.94、0.94、0.92、0.89；N=100、k′=1 为 0.95。
• Qwen3 的 S：N=400 时 k′=1/2/4/8 为 0.81、0.78、0.78、0.79；N=500、k′=1 为 0.83。
• OLMoE（Figure 15）：N=400 时 D 的 k′=1/2/4/8 为 0.90、0.89、0.86、0.80；同格 S 在 k′=1 为 0.95。
• Mixtral（Figure 16，只有 k′=1、2）：N=100 到 500、k′=1 的 D 均为 0.79；N=500、k′=1 的 S 为 0.94。
• 重构的方差解释比例：OLMoE 0.80、Qwen3-30B-A3B 0.74、Mixtral 0.65（Limitations）。
• Table 2 中有个性化后下降的格子：OLMoE 的 Review METEOR 由未适配 0.21 到 RT+EFT 0.14。论文未解释。

作者指出的局限与后续方向

• 模型与层：只研究三个开放 MoE 家族，每模型只分析由路由散度选出的一层。作者称个性化特征也可能出现在其他层，结论未必迁移到 shared expert 或细粒度 expert 切分等其他设计（Limitations, Models and comparisons）。
• 对照不可完全分开：dense 对照按 active 或总参数量匹配，但预训练数据与配方不同。作者称架构效应无法与训练差异完全分开（同节）。
• 偏好的定义：Multifaceted-Collection 用四个维度的合成 system message，子维度为类别型且长尾。作者称这捕捉群体偏好而非个体用户，实验限于英语，真实用户历史可能更嘈杂、更纠缠（Data and notion of persona）。
• Crosscoder：重构不完美，方差解释比例为 OLMoE 0.80、Qwen3-30B-A3B 0.74、Mixtral 0.65。作者称重构误差中的信息对 latent 分析不可见，个性化 latent 依赖 decoder 范数阈值；BatchTopK 与 latent scaling 减轻稀疏伪影，但不能完全排除（Crosscoder fidelity）。
• 探测：persona 是整段回复的属性，sparse probing 却标注单个 token，作者称这引入标签噪声并压低绝对分数。在层×expert 中选最佳组件有利于 MoE；作者称已在测试集上选择并报告测试分数，但选择效应可能仍在，尤其 k=1。probe 测的是概念可否解码，不是模型是否使用它（Probing）。
• 归因与生成指标：expert 集合来自 firing token 的路由频率，作者称其为相关关系，依赖样本数、选择规则和背景路由率，稳定性为 moderate。ROUGE-L 与 METEOR 衡量与参考文本的重叠，作者称不能很好代理个性化；采样增加方差；自动解释依赖 Llama-3.3-70B-Instruct，其偏见可能影响描述（Expert attribution and causality；Evaluation of generation）。

实验覆盖范围

• 模型：被测 MoE 为 OLMoE-1B-7B (0125)、Qwen3-30B-A3B (2507)、Mixtral-8x7B (v0.1)。对照为 Table 1 的 OLMo-2、Qwen2.5、Llama-2 各两档，以及 JANUS 7B 与 ORPO/DPO（§5、Table 2）。
• 基准：分数报告在 MULTIFACETED BENCH、LaMP 的 News/Scholar/Tweet、LongLaMP 的 Abstract/Topic/Review，指标为 METEOR 与 ROUGE-L。email 任务因数据未公开而省略（§5）。
• 分析：k-sparse probing 使用 20 个概念、每类约 50,000 token 和 25% 测试划分。crosscoder 与路由分析各取一层：Qwen3 L25、Mixtral L15、OLMoE L6。explainer 与 scorer 均为 Llama-3.3-70B-Instruct（§6.2–§6.3）。
• 干预：包含激活修补和按四个偏好维度的 expert 转向。Figure 10 标注 Wilcoxon、Holm 校正、p<0.001。Figure 17 使用 921 条 MULTIFACETED BENCH 样本、3 次对照抽样和 95% bootstrap 置信区间。
• 未报告项：论文未报告 expert tuning 的每层专家数 k、BatchTopK 的 k、LoRA rank、学习率、训练步数、生成重复次数，以及 LLM scorer 与人工判断的一致性。

作者分析 MoE 个性化时 expert 各自编码什么：先适配到群体偏好，再把适配前后的激活差分解开。

• 问题：dense 神经元会同时编码多个无关概念，个性化相关组件因此不好定位。作者改用 MoE 的稀疏路由，让每个 token 只经过少数 expert。
• 方法：先只调 router，再只调每层被选最多的 expert。随后在路由分布差最大且路由熵较低的层训练 BatchTopK crosscoder，以 decoder 相对范数差不低于 0.9 选取个性化 latent，并按激活与未激活 token 的路由频率差映射到 expert。
• 生成分数：Table 2 中，RT+EFT 的 Qwen3-30B-A3B 在 MULTIFACETED BENCH 上 METEOR 为 0.37、ROUGE 为 0.26；Mixtral-8x7B 为 0.36 与 0.25；OLMoE-1B-7B 为 0.32 与 0.21。作者称这与相近 active 参数的 PEFT dense 相当或更好，但表中仍有更低的格子。作者称每 token 只用总参数的 20%，结论写 ∼20%；Table 1 的 active/total 为 1.3B/6.9B、3B/30B、13B/46.7B。
• 解耦：个性化 latent 为 Qwen3 157/65536、Mixtral 132/131072、OLMoE 111/65536。OLMoE 与 Qwen3 分别有 85%、82% 主要在 system message 上激活；Mixtral 有 41% 主要在回复中激活。总体解释 F1 为 0.65、0.63、0.70。作者称同家族中 MoE 的个性化 latent 更少与基座共享，例外是 Mixtral 的 ν 高于 Llama-13B。
• 路由：Qwen3 在 N=400、每层 1 个 expert 时 D 为 0.94、S 为 0.81。作者称修补这些 latent，或在非个性化模型上提升对应 expert，都能缩小与个性化模型的下一 token KL，相对对照 p<0.001。
• 作者的结论：MoE 以更低的多义性把不同个性化特征编进不同路由，因而可以定位并干预。作者同时把分析放在每模型一层、英语和群体级合成偏好上，并称与参考文本的重叠不能等同于偏好已被满足。