当相同系数到达不同位置时：跨大语言模型移植分词器中的非对称可实现性
When the Same Coefficients Reach Different Places: Asymmetric Realizability in Transplanting Tokenizers across Large Language Models
AI 导读
研究者发现，跨词表模型组合中的分词器移植存在非对称可实现性缺口，同一系数向量在供体（donor）与基座（base）的锚点张成空间中触及不同集合，可据此构造在供体侧统计上惰性、在基座侧产生高显著度重建的 breaker tokens。实验在 OMP 下覆盖 65 组供体-基座配对，并在 CLP、WECHSEL、FOCUS 上完成跨算子验证。同一 Gemma-2-2B 供体检查点可对来自五个模型家族的 13 个下游基座实施该构造，植入方向可通过权重合并且与干净参考相比保持不变。部署方案例研究显示，标准 LoRA 微调主要在与训练语料分布匹配的提示上抑制 breaker，在其设置中对这类攻击不是充分缓解，所测谱滤波方法也未能捕捉这种不对称。作者讨论了该攻击在开源权重组合供应链中被滥用的可能。