Localized LoRA-MoE：块级低秩专家与自适应路由
[Daily Paper] Localized LoRA-MoE: Block-wise Low-Rank Experts With Adaptive Routing
AI 导读
Barazandeh 等人提出 Localized LoRA-MoE，将空间分块与动态上下文条件路由融合，缓解标准 LoRA 在多任务流下的梯度冲突问题。该框架通过局部化更新和动态门控建立 Gradient Firewall，避免适配器权重坍缩为非特化的平均值。Cell-Wise 变体在高维仿真中较全局路由方案取得 +11.48% 的 R² 绝对提升，仅增加 96 个参数；California Housing 表格基准上 Block-Wise（99.65%）与 Cell-Wise（99.51%）达到近乎持平的表现，分别仅有 260 和 272 个可训练参数。