跳到正文
原文
arXiv· arXiv:2602.01227· Zhanming Shen, Zeyu Qin, Jiaqi Hu, Wentao Ye, Hao Chen, Xiaomeng Hu, Haokai Xu, Gang Chen, Yi R. Fung, Haobo Wang·本站收录· 原文发表

监督微调需释放 Token Priority 的潜力

Supervised Fine-Tuning Needs to Unlock the Potential of Token Priority

AI 导读

监督微调需要借助 Token Priority,把 SFT 形式化为对齐理想对齐流形的分布重塑过程,而非简单优化。作者将近期突破归为 Positive Priority(过滤噪声)与 Signed Priority(遗忘有害模式)两类,并梳理进展、局限、关键挑战与未来方向。

阅读原文arxiv.org