数据稀缺下 LLM 的协作式个性化偏好对齐：APO 方法

在用户反馈稀缺时，如何协同学习aligner初始化，使少样本适配靠近各用户的偏好特定最优。

• 场景：作者称真实用户对LLM回复的多目标偏好高度异构，需要按客户端指定的权衡生成，例如helpfulness、harmlessness与humor。用plug-and-play aligner做个性化时，用户特定反馈稀缺，难以从头训练有效aligner。
• 现有不足：作者称在线模仿学习与基于合成用户偏好的元学习依赖充足的集中或合成数据，合成数据未必捕捉风格、语气和上下文上的细微偏好。个性化联邦学习可先学共享初始化再少样本适配，但异构偏好会在聚合时互相干扰，同一用户内不同目标的梯度也可能方向相反。
• 要回答的问题：如何得到能支持少样本适配、并同时处理跨客户端与客户端内偏好梯度冲突的aligner初始化。
• 提出的方法：提出Approximate Pareto Optimality（APO）：按瓶颈目标与preference-adjustment vector把更新相容的用户分组，组内用梯度下降加受控上升走向Pareto前沿上的偏好特定点，再用来自少样本本地适配的更新迭代精炼初始化。作者还给出单步协同更新的条件次优界，以及初始化误差如何进入后续随机适配。

相关工作主要讨论数据稀缺下的个性化多目标对齐，以及梯度冲突下的协作学习。

• 多目标对齐：Yang et al.（2024b）用偏好条件训练实现客户端指定折中；Rame et al.（2023）做训练后插值；Zhong et al.（2024）用单一模型恢复Pareto前沿。MetaAligner（Yang et al., 2024a）元学习轻量aligner以泛化到未见目标，第2节称它不跨异构多目标用户。附录G还讨论SteerLM、MODPO、DPA、Personalized Soups、解码时组合（Shi et al., 2024; Guo et al., 2024）和Aligner（Ji et al., 2024），并称这些方法假定有充足、集中整理的偏好数据，服务通用用户。
• 少样本个性化：Li et al.（2024）、Poddar et al.（2024）、Chen et al.（2025）与Zhao et al.（2024）用用户模型、变分嵌入、原型混合或上下文例子做个性化。FSPO（Singh et al., 2026）从合成偏好适配，DITTO（Shaikh et al., 2025）从少量演示学习。第2节称它们依赖充足的集中或合成数据，不能在偏好特定设定下从稀缺真实反馈学到个性化模型。
• 协作对齐：Ye et al.（2024b）本地做DPO并交换更新；Wu et al.（2024）训练子群体选择器；FIRM（Nourzad et al., 2025）用客户端正则化MGDA处理多目标分歧。第2节称这些方法仍优化单一群体级模型，没有少样本个性化保证。Per-FedAvg（Jiang et al., 2019）与Few-for-Many（Guo et al., 2026）学习共享初始化或少量服务器模型，第2节称它们不建模偏好特定的Pareto几何。附录G还列出FedLLM-Bench（含Fed-ChatbotPA）、FedMOL、FedMGDA+、pFedMe、CFL与IFCA。
• 梯度冲突：PCGrad（Yu et al., 2020）、CAGrad（Liu et al., 2021）、Nash-MTL（Navon et al., 2022）以及MGDA（Désidéri, 2012）处理冲突梯度或寻找共同下降方向。EPO（Mahapatra and Rajan, 2020）用受控上升到达偏好特定Pareto点。第2节称EPO不处理异构偏好客户端之间的干扰；附录G称前述联邦多目标方法仍指向群体级Pareto稳定解。
• 基线与数据：Base、RIC、Rewarded Soup、FedAvg（McMahan et al., 2017）、FSPO、DITTO；数据集为Fed-ChatbotPA与UltraFeedback。

作者把APO写成同时处理两类梯度冲突的方法：用瓶颈—调整聚类和受控上升，再加适配感知元训练，从真实客户端反馈学习可少样本适配到偏好特定Pareto点的初始化。

APO先按偏好修正把客户端分成簇，再为每个簇学习靠近其偏好特定Pareto点的aligner初始化，并用少样本适配的更新精炼；新客户端按调整向量选取初始化后再适配。推导在附录H。

问题设定与偏好均匀性

• 损失与Pareto：aligner参数为w。m个偏好维，实现中每维是DPO损失。Pareto最优指没有其他解支配它；弱Pareto指不存在在所有维上都严格更小的解（Definition 3.1）。
• 偏好向量：客户端i有损失向量li(w)和λi，各分量为正且和为1。论文写明：某一维λ更大，表示该客户端容忍该维更小的损失。偏好特定Pareto点是Pareto前沿与λ的倒数射线的交点；没有交点时取离射线最近的Pareto解。
• 引导目标：原文先用相对各维最优损失的加权Chebyshev，再改写为最小化ψ_i(w)=max_jλ_i^(j)l_i^(j)(w)。作者称最小化该量把迭代推向弱Pareto点（Lemma H.30）。
• 均匀性与调整向量：Preference Uniformity βi是加权归一化损失相对均匀分布的KL，非负，当且仅当各维加权损失相等时为0。调整向量Ai指向βi的最陡上升方向，反向移动则靠近平衡射线。本地方向di=Giμi，μi是各维梯度的凸组合，并要求瓶颈加权损失不增加，且βi>0时与平衡方向的内积为正。

瓶颈—调整向量聚类

• 聚合干扰：簇内按FedAvg权重ρi=Ni/N聚合。其他客户端对某客户端平衡方向的内积符号不固定，论文用两维、偏好靠近相反角点的情形说明聚合后βi可能上升。
• Stage 1：在协作训练前的参考点wref上，按加权损失从大到小的排列粗分，排列相同者进入同一粗簇。Theorem 3.2给出充分条件：本地修正增益大于方向偏差与光滑项时，一次共享更新同时降低簇内每个客户端的βi。
• Stage 2：在每个粗簇内，对调整向量做欧氏距离层次聚类，把树状图切到总簇数等于预算b。论文举例Fed-ChatbotPA上b=4，UltraFeedback上b=8。附录在共同目标函数且共同非退化最优基的假设下，把方向离散度联系到调整向量的簇内方差；作者称沿训练轨迹是否降低该离散度由实验评估。

组内两阶段训练

• Phase I：协作Pareto集初始化学习。βi=0时做uniform descent，在梯度凸包中找与梯度和内积最大的共同下降方向。βi>0时做balancing descent。非瓶颈目标允许变差，但不超过平衡方向给出的幅度；瓶颈目标的损失须非增。两种模式由指示量切换，线性规划为式(4)，输出记为wFedBsc。
• Phase II：适配感知元训练。从wFedBsc出发，在S-shot episode上训练，使初始化能在K步内适配到客户端偏好。内层用式(5)把迭代推向偏好倒数射线。客户端、本地数据、目标函数和FedAvg聚合与Phase I相同，S-shot是各客户端自身数据的子样本。流程见附录D的Algorithm 1，输出为该簇的wII。
• 新客户端：不参与协作训练的新客户端按其调整向量分到簇，从对应初始化做少样本适配。具体轮数、步数和学习率放在第4问。

理论保证写明的范围

• 协同初始化：Theorem 3.3在下降裕度条件（Assumption H.19）和轨迹假设下，分析每轮一步本地LP的同步共享迭代。每个客户端的Chebyshev次优性有收缩，lim sup不超过与轮数无关的半径ϵ0；ϵ0由方向偏差、步长和容差bi/cd决定。作者写明该陈述覆盖τ=1；Phase II在同样的一步理想化下，用有效步长ηII替换后也覆盖wII（Corollary H.32）。下降裕度被写成假设，而不是由光滑性或LP约束推出。
• 少样本间隙：Theorem 3.4考虑未参与训练、分到该簇的新客户端。在理想化预条件随机适配、每步新抽S个样本的设定下，K步后的期望Chebyshev间隙δ0是初始间隙的几何收缩，再加上与S成反比的统计项。分析假设新客户端与簇共享目标函数，只是偏好向量不同。附录写明这不是固定S条样本反复使用的统计保证，也不是对实验所用AdamW的分析。

实验设置

• 底座与实现：Llama-3.2-3B-Instruct与Qwen2.5-3B-Instruct。Table 3：DPO的β为0.1，LoRA为（8, 16, 0.05），序列长度256，4-bit NF4，AdamW。硬件为NVIDIA RTX PRO 6000（96 GB）与A100 80GB。
• 数据：Fed-ChatbotPA的评测目标为helpfulness与safety，UltraFeedback为helpfulness、honesty、truthfulness。附录B：前者训练6550条、131个训练客户端，另700条分给10个测试客户端；后者训练4750条、95个训练客户端，另350条分给5个测试客户端。括号又写每簇分别测十个、五个客户端，论文未解释与前面人数的关系。每个训练客户端20条support、30条query。测试客户端的数据与偏好向量不参与训练。
• 适配与基线：测试使用与训练相同的20-shot适配预算，其余50条只用于评测。基线为Base、RIC、Rewarded Soup、FSPO、DITTO、FedAvg。Base不训练，按Figure 4的偏好加权格式提示。附录E称FedAvg使用与APO相同的S-shot、K-step本地适配，但初始化是FedAvg聚合模型。
• 指标：ArmoRM-Llama3-8B-v0.1打分，各维min-max归一化后按λ加权得到Score。HV以原点为参考，越大越好；IGD相对七个方法非支配集的并，越小越好。论文未写分类阈值、重复次数或随机种子数。附录F按help、hon、truth写出三维HV，未另给Fed-ChatbotPA的二维公式。
• 日程：Phase I为200轮、本地2步、batch 8、梯度累积4、学习率由5×10−5到1×10−5、每轮8个客户端。Phase II为外层10轮、内层K=3、内层学习率5×10−5、内层batch 8、每轮8个客户端。服务器学习率按簇列在Table 3。

主结果

Table 1的Avg.行如下。对照是正文4.2节按各项平均选取的基线；Qwen在Fed-ChatbotPA上的HV，FedAvg与FSPO同为0.56。

Swipe horizontally to read the table

模型	数据集	APO Score	APO HV	APO IGD	对照平均
Llama-3.2-3B-Instruct	Fed-ChatbotPA	0.83	0.63	0.08	FSPO 0.78/0.61/0.08
Llama-3.2-3B-Instruct	UltraFeedback	0.79	0.48	0.06	FedAvg 0.74/0.41/0.12
Qwen2.5-3B-Instruct	Fed-ChatbotPA	0.78	0.59	0.06	FedAvg 0.76/0.56/0.08
Qwen2.5-3B-Instruct	UltraFeedback	0.67	0.36	0.05	FedAvg 0.61/0.26/0.17

• 覆盖范围：作者称24个模型–数据集–簇组合中，APO在23个簇上Score最高，在22个上HV最高或并列最高，在21个上IGD最低或并列最低。作者称Llama与Fed-ChatbotPA的平均IGD是唯一没有严格优于对照的平均级结果。
• 相对FedAvg：作者称FedAvg使用同一Phase I；四个模型–数据集设置的三项平均都高于FedAvg，并据此认为收益不只来自偏好感知初始化本身。
• 例外：作者称RIC在四个平均设置中的三个低于未调Base；Table 1中Qwen、UltraFeedback的RIC平均Score为0.42，Base为0.37。Llama、Fed-ChatbotPA的C2上，FSPO的HV为0.56、IGD为0.07，APO为0.52与0.12。

初步实验

• 测了什么：Figure 1在UltraFeedback上用Llama-3.2-3B-Instruct，15个客户端、各20条样本，目标为helpfulness、honesty、truthfulness。这与主实验的131或95个训练客户端不是同一划分。
• 图上数字：图中文字写，相对原点的HV由0.728到0.820（+12.6%）。可见三个二维投影的轴名：Honesty-Truthfulness、Honesty-Helpfulness、Truthfulness-Helpfulness。
• 作者称：协同初始化的前沿在这些二维投影中支配本地前沿。投影里曲线的相对位置从图注文字看不出来。

通信轮次

• 测了什么：Figure 3只使用Llama-3.2-3B-Instruct，比较选出协同初始化的通信轮次。UltraFeedback为150–190轮，Fed-ChatbotPA为140–200轮，之后都做同样的20条样本适配，报告相对FedAvg的归一化加权分数增益，单位为百分点。
• 结果：作者称56次簇–轮次比较中52次为正、1次为0、3次为负，负偏差不低于−1.0个百分点；两数据集平均增益为+1.8与+3.3个百分点。图中负格为UltraFeedback的C7第170轮−0.7，Fed-ChatbotPA的C2第160轮−0.8、C3第180轮−1.0。作者称C4第170轮为+5.3个百分点；Figure 3该格标注为+5.2。C0第200轮的+8.4与图中标注一致。
• 作者称：每个被评估轮次的簇平均增益都为正。Fed-ChatbotPA上C0、C1增益更大，是因为该数据中helpfulness反馈多于safety，而这两簇的偏好向量更重视helpfulness，适配感知元训练因此能用到更强的训练信号。

聚类准则

• 测了什么：Table 2在UltraFeedback、Llama-3.2-3B-Instruct上，把Bottleneck-Adjustment Clustering（BAC）换成对原始偏好向量的层次聚类（HC），后续训练和适配不变。
• 结果：作者称八个簇中六个的平均分更高，总平均由0.70到0.72，最好分数由0.77到0.79。Table 2印出的平均分中，C0为0.76对0.72，C2为0.75对0.72，是HC更高；C5两列都印成0.70，Δ为+0.01。C6与C7的平均Δ都是+0.07。
• 作者称：HC在C0、C2的测试用户上更好，是因为按偏好向量分配时，用户可能进入瓶颈恰好与其相近的簇；这种局部重合不会在所有簇上保持。

其他消融与分析

• 除Figure 3与Table 2外，论文未再报告成表的消融数字。
• Table 3列出按簇不同的服务器学习率，以及Phase II可选的初始化检查点：Fed-ChatbotPA为130、150、170、190，UltraFeedback为140到180；未把这些检查点本身做成另一张结果表。

作者指出的局限与后续方向

• 未专节讨论：论文没有Limitations、Discussion或Future Work专节，结论也没有把某项结果写成局限或后续工作。
• 代码：Reproducibility Statement写明，复现结果所需源代码将在接收后公开。这是作者计划，不是已经完成的发布。

实验覆盖范围

• 模型与数据：被测底座为Llama-3.2-3B-Instruct与Qwen2.5-3B-Instruct。数据集为Fed-ChatbotPA（4.1节写helpfulness、safety）与UltraFeedback（helpfulness、honesty、truthfulness）。评分模型为ArmoRM-Llama3-8B-v0.1，指标为Score、HV、IGD。
• 协议：基线为Base、RIC、Rewarded Soup、FedAvg、FSPO、DITTO。测试适配预算为20条support。附录B写明两个数据集的训练条数与训练客户端数分别为6550/131和4750/95；测试客户端人数有正文与括号两种写法。聚类预算举例为b=4与b=8。
• 消融范围：通信轮次消融和Figure 1的初步实验使用Llama-3.2-3B-Instruct；聚类准则消融是UltraFeedback上的Llama（Table 2、Figure 3）。
• 未报告的统计量：论文未报告重复次数、统计显著性检验，以及ArmoRM分数与人工判断的一致性。附录F用七个方法的非支配并集定义IGD，并按三维目标与原点定义HV。
• 理论与实验的对应写法：附录H把收敛陈述限制在每轮一步本地或内层LP以及总体梯度；Table 3的Phase I本地步为2，Phase II的K为3。附录写明，固定预算下重复使用同一批样本并不由所给假设推出，且这些保证与第4节AdamW运行的关系是empirical, not proved。新客户端界假设与簇共享目标函数，仅偏好向量不同。

APO在本地反馈稀缺时，为多目标偏好对齐学习可少样本适配的aligner初始化。

• 要处理的是两类偏好梯度冲突：不同用户的更新在聚合时互相干扰，同一用户的多个目标也可能方向相反。合成数据或孤立的本地适配，被作者写成不能直接替代稀缺的真实客户端反馈。
• 方法先按瓶颈损失的排序粗分，再用调整向量把簇切到预定个数；簇内用偏好梯度下降加受控上升学习初始化，然后用来自S-shot适配的更新做元训练。新客户端选取对应初始化后再适配。
• 主实验用Llama-3.2-3B-Instruct与Qwen2.5-3B-Instruct，数据为Fed-ChatbotPA和UltraFeedback，测试预算为20条样本，由ArmoRM给出Score、HV和IGD。
• Table 1平均：Llama在Fed-ChatbotPA上APO为0.83/0.63/0.08，FSPO为0.78/0.61/0.08；在UltraFeedback上APO为0.79/0.48/0.06，FedAvg为0.74/0.41/0.12。Qwen的APO平均Score分别为0.78与0.67，对照FedAvg为0.76与0.61。
• 作者称24个簇组合中有23个Score最高，并称Llama与Fed-ChatbotPA的平均IGD是唯一未严格优于对照的平均结果。Figure 1的初步实验把HV从0.728写到0.820。
• 作者在结论中称，只用20条本地样本时，偏好加权分数均有提高，并通常更好覆盖Pareto前沿。理论部分给出单步协同更新的渐近Chebyshev半径ϵ0，以及理想化随机适配的期望间隙δ0；附录写明该分析不覆盖实验中的多步更新和AdamW。