REGEXROUTE：无需嵌入向量的正则表达式路由，兼顾速度与可解释性
Routing Without Embeddings: Fast And Interpretable Routing With Regular Expressions
AI 导读
REGEXROUTE 用稀疏自编码器（SAEs）从无标注文本中发现可解释的正则表达式特征，让 LLM 将分组 SAE latent 的描述转成正则提取器并迭代精炼，从而在推理时完全省去神经编码。在四个基准上，固定 128 个特征取得 76.43% 平均路由准确率，与最强神经文本编码器基线的 76.41% 相当，且延迟更低、鲁棒性更强。该工作还发现 Qwen2.5 编码器从 0.5B 扩到 72B 参数对路由准确率提升甚微。