REGEXROUTE：无需嵌入向量的正则表达式路由，兼顾速度与可解释性

LLM 路由是否必须用神经编码器表示查询，以及路由所需属性能否直接从文本抽出。

• 场景：作者称，能力、延迟和价格不同的 LLM 增多后，路由已成为服务系统的常规组件。现有设计多为神经文本编码器把查询映射成稠密嵌入，再在该空间选模型。
• 现有不足：编码器规模从约 100M、8B 到已部署模型的 122B 不等，更大编码器被直觉地认为能更好捕捉意图与难度。作者用 Qwen2.5 从 0.5B 到 72B 的查询嵌入做实验，称路由性能随规模几乎没有提升（Figure 1b、Appendix B.4），因而认为小编码器可能已经抓住路由所需属性。
• 核心观察：作者用 SAE 把 LM 隐状态分解成可解释潜变量，用其描述提示该测哪些文本属性，用激活模式作为文本提取器的拟合目标。但计算激活仍要跑 LM 和 SAE。
• 本文做法：提出 REGEXROUTE。离线阶段用无标签文本，由 LLM 根据分组后的 SAE 潜变量描述编写正则提取器，并按与激活的对齐程度精炼。得到的固定 128 个提取器在推理时给出数值特征，交给轻量路由头，不再做神经编码。

• LLM 路由：难度感知路由估计查询难度并选最强模型（Zhuang et al., 2024；Feng et al., 2025b；Song et al., 2025；Wang et al., 2025；Ding et al., 2025）。偏好对齐路由使用成对人类偏好（Ong et al., 2025；Frick et al., 2025）。基于聚类的路由为每个查询簇指定性价比最高的模型（Jitkrittum et al., 2025；Zhang et al., 2025）。作者称这些方法都用神经文本编码器表示查询。可解释路由使用预定义查询概念，或从模型表现标签给生成标签打分（Štorek et al., 2026；Chen et al., 2025）。作者对比说，本文正则特征从无标签文本发现，不用路由标签，也不用预定义任务模式。
• SAE 与可解释文本表示：SAE 把语言模型激活分解为稀疏、可解释的潜变量（Cunningham et al., 2023；Bricken et al., 2023）。后续工作扩大 SAE 规模并发布若干模型族的特征词典（Gao et al., 2024；Lieberum et al., 2024；He et al., 2024；Deng et al., 2026）。LM 可根据最高激活上下文描述这些潜变量（Bills et al., 2023；Paulo et al., 2025）。另一条线用少量命名属性表示文本：来自语言学理论（Zhou et al., 2024），由以类名或目标变量为条件的 LM 提出（Sun et al., 2025；Balek et al., 2025；Benara et al., 2024），或用带标签的下游数据选择（Ludan et al., 2024；Feng et al., 2025a）。作者称这些属性的值通常在推理时靠提示 LM 或探测神经嵌入得到。
• 基线与基准：实验基线包括句向量 MiniLM-L6、MPNet-base、BGE-base、GTE-base、E5-base；仅编码器 LM ModernBERT-base/large；仅解码器 LM Qwen2.5-0.5B、Gemma-2-2B、Llama-3.1-8B；以及无神经编码器的 TF-IDF。基准为 EmbedLLM、NineBy30k、R2Bench、CARROT。

作者把本文定位为：用 SAE 潜变量发现可直接从文本计算、推理时无需神经编码的正则特征，以区别于依赖编码器的路由器，以及推理时仍要提示或探测的命名属性方法。

REGEXROUTE 离线用 SAE 描述与激活，从无标签文本构造正则特征；推理时用冻结提取器得到向量，由回归头选分最高的候选模型，不再前向 LM 或 SAE。

问题设定

• 路由目标：查询 q 与候选模型池 L={ℓ1,…,ℓM}。数据集 D_route={(qi, ri)}，ri 记录各候选回答 qi 的分数。划分 train/val/test 分别用于拟合、选超参和评测。路由器 π 的测试性能为式 (1)：测试集上所选模型分数 ri,π(qi) 的平均。
• 发现数据独立：无标签网页语料 D_text 不接触路由基准或评测结果，再分为 fit 与 held-out。fit 用于迭代精炼和选择提取器，冻结后在 held-out 上评其与 SAE 激活的对齐。
• SAE：token 位置隐状态 hi,t 经 ESAE 得到非负稀疏激活 zi,t∈R^K。文档级激活 si,k 为该文档各 token 上 zi,t,k 之和（式 3）。每个潜变量有来自 Neuronpedia 的文字描述。

发现正则提取器

• 分组：不为 16,384 个潜变量各做一个提取器。用文档级激活的相关系数绝对值 Ck,k′ 作亲和度，归一化谱聚类得到 N 个族。作者称该法在所评分组方法中最大族更小，从而限制单个提取器要近似的属性数量。
• 编写：对每个族，用成员潜变量的 Neuronpedia 描述和与激活相关的 token 提示 LLM，要求找可复用的表面模式（标点、大小写、形式记号），而不是抄主题词表。每个族先提出三个候选，含名称 nj、正则 pj 和聚合 aj（如计数或比例）。特征 ϕj(x)=aj(Mpj(x), x)。默认编写模型为 Claude Opus 5 Medium。附录 A.1 给出完整提示词。
• 按激活精炼：参考值 yi,j 为族内潜变量在文档中激活次数之和（zi,t,k>0 的指示函数，式 5）。用 Kendall τb 衡量 ϕj 与 yi,j 在 fit 文档上的排序对齐 Jj（式 6）。把候选和 fit 对齐分交回 LLM 修订，每族保留 fit 对齐最高者并冻结。附录 A.2 给出精炼提示词。聚合包括 count、ratio、binary、maxrun。

用特征路由

• 同一套提取器：冻结后只在 D_route 的训练集上训练路由头，四个基准共用提取器。查询映射为 ϕ(qi)∈R^N（式 7）。
• 路由头：多输出回归 hθ: R^N→R^M 预测分数向量 ri。主回归器为 Extra-Trees，最小化预测误差的平方 L2（式 9）。推理时取预测分数最高的模型。

默认配置与评测协议

• 语料与模型：D_text 为 20,035 篇公开文档，来自 FineWeb、OpenWebMath、CodeParrot、Alpaca、OpenAssistant；fit 13,394 篇，held-out 6,641 篇。默认 Gemma-2-2B 及其最终层 16,384 维 Gemma Scope SAE，N=128。
• 评测：每种表示、每个基准都训练 Extra-Trees，在验证集上选超参。指标为式 (1) 的路由准确率，以及四基准无权重平均。评测前按 Appendix B.1 去掉各来源数据集特有的提示模板，只改查询文本，保留原始回答分数。

实验设置

• 基准与规模：EmbedLLM（112 个模型；train/val/test 为 29,673/3,000/3,000）、NineBy30k（9；23,027/3,000/5,000）、R2Bench（10；18,580/3,097/9,291）、CARROT（13；30,968/6,636/6,637），据 Table 3。
• 表示基线：句向量 MiniLM-L6、MPNet-base、BGE-base、GTE-base、E5-base；ModernBERT-base/large；Qwen2.5-0.5B、Gemma-2-2B、Llama-3.1-8B；无编码器的 TF-IDF。另有 Best single model。
• 路由头与指标：一律 Extra-Trees，验证集选超参。报告各基准测试路由准确率（式 1）及四基准无权重平均。发现阶段默认 Gemma-2-2B + 16,384 维 SAE，编写/精炼用 Claude Opus 5 Medium。
• 扰动与延迟：四种扰动为拼写错误、词替换、句子重组、释义（RouterArena）。模型在干净文本上拟合，在扰动查询上用原始回答分数评测。延迟从查询输入到选出模型，含特征提取和路由头，中位延迟以毫秒计。
• 论文未报告主实验的随机重复次数。

主结果

据 Table 1，测试路由准确率（%），均为 Extra-Trees：

Swipe horizontally to read the table

表示	EmbedLLM	NineBy30k	R2Bench	CARROT	AVG
Best single model	60.73	67.34	81.10	84.82	73.50
E5-base（句向量最低 AVG）	63.77	67.59	81.86	86.47	74.92
ModernBERT-large	66.27	68.07	82.19	87.10	75.91
Llama-3.1-8B	67.77	68.13	82.70	87.02	76.41
TF-IDF	65.60	68.23	81.99	86.99	75.70
Ours (N=32)	66.63	68.50	82.15	86.96	76.06
Ours (N=128)	67.37	69.01	82.16	87.18	76.43

表中省略 MiniLM-L6、MPNet-base、BGE-base、GTE-base（AVG 74.96–75.09）、ModernBERT-base（75.58）、Qwen2.5-0.5B（76.33）、Gemma-2-2B（76.39）。

• 作者称 128 个正则特征的平均准确率 76.43%，与最强嵌入基线 76.41% 相当；32 个特征为 76.06%，高于该比较中全部句向量和仅编码器 LM 的平均准确率，也高于 TF-IDF 的 75.70%。
• 分基准：N=128 在 NineBy30k 上为 69.01%，高于表中各神经编码器；在 EmbedLLM 上为 67.37%，低于 Gemma-2-2B 的 67.83% 和 Llama-3.1-8B 的 67.77%；在 R2Bench 上为 82.16%，低于 Llama-3.1-8B 的 82.70% 与两档 Qwen/Gemma 的 82.38%；在 CARROT 上为 87.18%，低于 Qwen2.5-0.5B 的 87.20%。
• 作者称 一组可从表面抽出的特征可以替换神经文本编码器，并保持相当的平均路由准确率。

扰动与延迟

• 测了什么：Figure 3 左为干净准确率与四种改写的平均准确率。正文写 Ours 的扰动平均准确率为 75.62%，下降幅度与 Qwen2.5-0.5B 相近；句向量模型掉点更少，但扰动后分数仍更低。作者认为正则特征在措辞和格式变化后仍然有用。图上标注的其余端点数值，转换文本未保留，不转写。
• 延迟：Figure 3 右，N=128 在 CPU 上中位延迟 2.2 ms，N=32 为 1.4 ms；Qwen2.5-0.5B 在 GPU 上为 19.5 ms，ModernBERT-large 为 21.6 ms（GPU）与 219.6 ms（CPU），MiniLM-L6 为 11.6 ms，E5-base 为 8.2 ms 与 53.4 ms。作者称约 90% 低于 Qwen2.5-0.5B 在 GPU 上的中位路由延迟，CPU 运行可把 GPU 留给生成。

发现模型、特征数与 SAE 引导

• 发现 LM–SAE（Figure 4a，N=128，四基准平均）：Qwen3-1.7B 76.44%，Gemma-2-2B 76.43%，Llama-3.1-8B 76.37%，对照 Qwen2.5-0.5B 神经编码器 76.33%、ModernBERT-large 75.91%、GTE-base 75.09%。作者称流程不依赖单一基座或 SAE。
• 特征数：Figure 4b 橙色曲线，从 N=1 到 32 准确率上升 2.6 个百分点，N=32 到 128 趋于饱和。作者保留 N=128 为主配置，N=32 为更低延迟的替代。
• SAE 与精炼（Table 2）：N=32 时 LLM-only 的 held 对齐 0.2343、测试 74.68%；仅初始正则（有 SAE、无精炼）0.3770、75.68%；完整流程 0.4470、76.06%。N=128 时三者为 0.2852/75.67%、0.3865/76.16%、0.4709/76.43%。作者称 SAE 引导在 N=32、128 分别提高 1.00 与 0.49 个百分点，精炼再提高 0.38 与 0.27 个百分点。

其他消融与分析

• 分组（Figure 4b、4c）：N≥64 时四种分组的平均准确率相差至多 0.40 个百分点；谱聚类在 N=4 和 8 最好；N=128 时最大族为 439 个潜变量，k-means 531、facility location 1,831、层次聚类 4,904。
• 路由头（Section 6.5）：作者称正则特征配 k-NN 和 k-means 较差，树模型平均准确率最高；附录有完整数字，正文未列出各头的准确率。
• 邻居结构（Figure 6a、b，k=20）：源一致率 RegexRoute 68.24%、Qwen2.5-0.5B 68.09%、ModernBERT-base 64.53%、E5-base 49.81%、Random 17.55%；模型分数相似度依次为 64.97%、65.48%、64.77%、63.41%、57.74%。作者称两项都高于随机，正则在源上约与 Qwen2.5-0.5B 相当并高于 E5-base 与 ModernBERT-base。
• 特征恢复（Figure 6c、Table 17，四基准平均的重要性加权 R2）：MLP 下 Qwen2.5-0.5B 为 0.820，72B 为 0.848；岭回归从 0.612 到 0.751。不加重要性加权时 MLP 的平均特征 R2 从 0.734 到 0.761。Qwen2.5-32B 的 MLP 加权 R2 为 0.833，低于 14B 的 0.852 和 72B 的 0.848。作者称小编码器经非线性映射已能恢复这些表面属性，这与更大编码器在这些基准上收益有限相一致。
• 来源剖面（Figure 5）：作者称 MMLUPro 在短行与数字特征上更高（n=835），XQuAD 在文字与重音特征上更高（n=1,108），NarrativeQA 在散文词数上更高（n=728），Ethics n=821。图中纵轴为标准化特征值，超过 +1 标准差的值被截断并以三角标出。

作者指出的局限与后续方向

• 基准范围：结论称这些发现建立在所评路由基准上，显式表面特征足以做出有竞争力的路由，并为更大编码器收益有限提供一种可能解释（Section 8）。论文未把该句写成独立的 Limitations 清单。
• 模板：Appendix B.1 写明去掉模板是因为模板会标识来源、使路由器走捷径，且真实流量没有基准提示包装。这是实验设计说明，作者未把它列为未解决的缺陷。
• 后续方向：贡献第 3 点与结论称，结果为用显式、可解释文本特征设计和理解 LLM 路由打开一个方向（Introduction、Section 8）。作者未列出具体的下一步实验。

实验覆盖范围

• 四个基准：EmbedLLM、NineBy30k、R2Bench、CARROT，候选池分别为 112、9、10、13 个模型，划分规模见 Table 3；所有方法共用这些划分，并在去掉来源模板后评测（Section 5.1、Appendix B.1）。
• 发现数据：20,035 篇，fit 13,394、held-out 6,641，来自 FineWeb、OpenWebMath、CodeParrot、Alpaca、OpenAssistant；默认 Gemma-2-2B 最终层 16,384 维 SAE，N=128，编写模型为 Claude Opus 5 Medium（Section 5.1）。
• 发现模型对照：另用 Qwen3-1.7B 与 Llama-3.1-8B 及其预训练 SAE 各生成 128 个提取器（Section 6.1、Appendix C.1）。分组比较了谱聚类、球面 k-means、facility location 和平均链接层次聚类（Section 6.3）。
• 编码器规模：路由准确率比较了 Qwen2.5 从 0.5B 到 72B（Figure 1b、Appendix B.4）；特征恢复的探针覆盖 Qwen2.5-0.5B 至 72B，以及 MiniLM-22M、E5-base、ModernBERT-base 和 TF-IDF（Table 17）。TF-IDF 只有岭回归，MLP 为未报告。
• 论文未报告主表实验的重复次数，以及各路由头在正文中的逐项准确率（完整结果指向 Appendix C.4）。扰动设置的完整数字在 Appendix B.5，正文给出的扰动平均准确率为 75.62%。

REGEXROUTE 用无标签文本上的 SAE 潜变量，发现一组固定正则特征来做 LLM 路由，推理时不再跑神经编码器。

• 问题：常见路由器把查询嵌入后再选模型。作者把 Qwen2.5 从 0.5B 扩到 72B，称路由准确率提升很小，于是检查路由需要的属性能否直接从文本测量。
• 方法：16,384 个 SAE 潜变量按文档级激活相关做谱聚类，分成 N 个族。LLM 根据 Neuronpedia 描述和相关 token 为每族写正则与聚合，再用 fit 集上与激活次数排序的 Kendall τb 精炼并冻结。Extra-Trees 只在路由标签上训练，推理时选预测分数最高的候选模型。特征发现不使用路由基准。
• 主结果：N=128 时四基准平均路由准确率 76.43%，Llama-3.1-8B 嵌入为 76.41%，TF-IDF 为 75.70%（Table 1）。N=32 为 76.06%。分基准上 N=128 并非每列最高：EmbedLLM 67.37% 低于 Gemma-2-2B 的 67.83%，R2Bench 82.16% 低于 Llama-3.1-8B 的 82.70%。
• 延迟、扰动与消融：128 特征在 CPU 上中位延迟 2.2 ms，Qwen2.5-0.5B 在 GPU 上为 19.5 ms。四种扰动下平均准确率 75.62%。换用 Qwen3-1.7B 与 Llama-3.1-8B 做发现时，平均准确率为 76.44% 与 76.37%。去掉 SAE 引导或精炼后，N=128 的测试准确率降到 75.67% 与 76.16%（Table 2）。
• 作者的结论：作者认为一小套可直接观察的表面特征足以做出有竞争力的路由；MLP 探针下 Qwen2.5-0.5B 对这 128 个特征的加权 R2 为 0.820，72B 为 0.848，作者据此认为小编码器已经包含这些表面信息，从而对应更大编码器在这些基准上的有限收益。