LambdaMix：基于联合训练低秩适配器的可调控多目标群组相对偏好优化
Steerable Multi-Objective Group-Relative Preference Optimization with Jointly Trained Low-Rank Adapters
AI 导读
论文提出参数高效的后训练方法 LambdaMix，用群组相对在线 RL 学习一族按偏好条件化的策略。该方法在冻结基座模型上为每个目标联合训练一个低秩适配器，单一偏好向量既选择生成回复所用的适配器混合，也加权各自归一化后的奖励用于更新适配器。一次训练完成后，推理时即可切换偏好，无需再优化。作者在四个基座 LLM 上测试了有用性与无害性权衡、数学与指令遵循、改写评论并去除个人属性线索三类设置，报告 LambdaMix 的 hypervolume 高于所有受评测的条件化与策略合并基线，且比一组 GRPO 专用模型使用更少的训练补全和适配器存储。代码开源于 https://github.com/ckarouzos/lambdamix。