数据稀缺下 LLM 的协作式个性化偏好对齐：APO 方法
Collaborative Personalized Preference Alignment for LLMs under Data Deficiency
AI 导读
针对用户反馈稀缺导致 LLM 个性化对齐困难的问题，研究者提出近似帕累托最优（APO）方法：先按更新兼容性对用户分组，组内结合梯度下降与受控上升协调相互竞争的目标，得到靠近组内用户最优点的初始化，再用少样本本地适配迭代精修。在 Fed-ChatbotPA 和 UltraFeedback 上，仅用 20 个本地样本即持续优于现有方法，并给出单步协作更新的条件次优性界，刻画初始化误差对后续随机适配的影响。