Direct Preference Density Alignment：面向对话式音频均衡的对齐框架

如何在不训练代理奖励模型的情况下，把LLM对齐到主观、连续且必须遵守输出格式的控制任务。

• 场景：作者把问题放在对话式音频均衡，即把自然语言（如“make it warmer”）映射到扬声器均衡参数。作者认为主观连续控制仍是开放问题，因为满意设置不是单一数值。
• 现有流程：现代RLHF依赖PPO和学得的代理奖励模型。作者称奖励模型容易reward hacking，PPO训练时要同时保留被训模型、参考模型、奖励模型和价值模型。GRPO去掉价值模型，DPO再去掉奖励模型。
• 作者的判断：DPO转到离线对比学习后失去主动探索。在有界连续空间里，若没有环境或程序给出的约束，会出现format collapse，模型不再输出合法坐标。
• 本文做法：提出Direct Preference Density Alignment。用约90,000条用户交互做成静态、非参数的偏好密度图，作为经验奖励面；再把GRPO的在线格式约束和DPO的离线锐化接在一起。作者称该组合优于单独的GRPO、DPO、SFT和ICL。

论文把自身放在语义音频控制、偏好对齐和连续动作空间RL的交界，并按这几条线讨论已有工作。

语义到音频参数

• 固定映射与回归：早期系统用固定词表到参数的映射（Pardo等，2012）。近期工作用LLM解释自由文本并估计均衡与混响参数（Chu等，2025；Doh等，2025）。论文称这些回归方法在推理时隐含地偏向单一参数实现。
• 分布而非点估计：Stylianou等（2026）认为“warm”等描述对应分布，但该研究是每个提示N=11的监督学习。本文把该前提扩到每个提示约3,000条，并从监督匹配转到RL。

RLHF与代理目标

• PPO加奖励模型：标准流程（Ouyang等，2022）用PPO（Schulman等，2017）对着学得的奖励模型优化，并另训价值网络。作者称在音频偏好这类主观领域，价值网络是额外代理目标，会叠加奖励误设（Casper等，2023）。Gao等（2023）讨论奖励模型过度优化。

直接对齐

• 无显式奖励函数：DPO（Rafailov等，2023）、IPO（Azar等，2023）、KTO（Ethayarajh等，2024）及其他变体直接从偏好数据优化策略。作者称这些方法看不见偏好集之外补全的概率质量，并引用Xu等（2024）与Ivison等（2024）；训练中可能提高畸形输出的概率。C-DPO（Liu等，2024）加入显式惩罚边际，作者仍认为缺少主动探索，在必须学习结构流形的连续控制里是瓶颈。

GRPO与混合流程

• 在线、无价值网络：GRPO（Shao等，2024）用一组rollout的平均奖励作基线，训练时自己生成数据以学习格式。Dr.GRPO（Liu等，2025）和DAPO（Yu等，2025）提出了进一步的优势估计与正则。本文故意只评vanilla DPO与vanilla GRPO，不用约束解码、定制合法性惩罚或这些扩展。
• 先探索再精炼：推理与多模态生成里已有在线探索接离线精炼的流程（Li等，2025；Wu等，2025；Tong等，2025）。作者称那些工作依赖学得的验证器或奖励模型，本文在连续参数估计上去掉这一依赖。

基线与数据：实验对照是带专家语义—坐标词典的ICL（Qwen2.5与GPT-4o mini）、在训练提示峰值上做LoRA的SFT，以及vanilla DPO、GRPO。客观结果报在Vocal Clarity的OOD提示上；主观测试是另做的盲听。奖励面来自约90,000条二值反馈，采集时的生成策略为T2B、LoRA、RAG和Random。

作者把本文定位为：用非参数密度面替换学得奖励模型，同时保留在线探索，再与离线DPO组合。

整体做法是Direct Preference Density Alignment：不训练代理奖励网络，而用人群二值反馈估计有界平面上的选择概率，得到静态奖励面；策略先用在线GRPO学会合法坐标，再用DPO把输出推向密度峰值。

控制空间、数据与划分

• Beosonic：连续平面X属于[-6, 6]的平方，两个参数各对应一个均衡滤波器的强度（增益±6）。Figure 1中水平移动对应smile curve，垂直移动对应线性调整。模型要预测连续坐标，而不是离散选项。
• 反馈：数据原为评估先前框架而采集。每个自然语言提示配四种策略生成的音频：确定性Zero-Shot LLM（T2B）、LoRA、RAG、Random。用户做二值判断：该音频是否满足提示。共约90,000条选择与拒绝。Figure 2中T2B的正选择数为14,087，高于LoRA与RAG；作者称先前分布模型只在每个提示N=11上训练，没有抓住偏好模态。
• 同义与划分：作者假设同义提示共享同一偏好流形，把同义簇聚合到同一奖励面。提示约80%用于策略更新，10%为同分布随机验证，10%手动隔离为“Vocal Clarity”的OOD，训练时完全未见。

非参数奖励面

• 两个密度：不能直接用高分点的密度，因为生成模型的采样会偏置。对每个提示用Reflective-KDE估计提议分布f̂_total(x)，以及用户偏好区域f̂_pref(x)。
• 选择概率：S(x)∝ f̂_pref(x)/(f̂_total(x)+ϵ)。该式表示给定坐标被选中的概率正比于偏好密度与采样密度之比，从而消掉采样偏差；ε只为数值稳定（附录Table 7中为10^{-7}）。
• 边界与带宽：标准KDE在边界低估密度。Reflective-KDE把每个点反射到周围8个邻域，在3×3鬼点网格上估计。带宽h=0.25·h_Scott：一个0.5补偿反射带来的额外点质量，另一个0.5抵消Scott规则在非凸空间上的过度平滑。附录Figure 6对比缩放0.1、0.25和1.0。
• 归一化：R(x)=2·(S(x)−S_min)/(S_max−S_min)−1。该式用全数据上的最大、最小密度比，把训练奖励映到[-1, 1]。Figure 3依次给出采样偏差、总密度、偏好密度和最终奖励面。评测时再按每个提示做局部归一化。

在线与离线的差别

• 格式：智能体必须输出合法坐标。作者假设离线DPO只看见静态负例，策略偏移后可能生成数据里没有的畸形句法。GRPO自己采样，非法格式立即得到R=-1.0，并进入组内优势。
• DPO：损失是偏好对上的log-sigmoid边际；隐式奖励是β乘以策略相对参考策略的对数概率比。配对来自奖励图，满足R(x_w|p)>R(x_l|p)。β控制对参考策略的KL约束。
• GRPO：每个提示采样G个输出，优势在组内对奖励做归一化。目标是带clip的代理项减去β倍相对参考策略的KL。本文只用vanilla形式，不用约束解码或额外合法性惩罚。

混合流水线

• 阶段1：用密度图做GRPO，得到能稳定输出坐标的π_GRPO。作者认为这一步擅长结构稳定，但不一定找到全部局部极大。
• 阶段2：以π_GRPO为生成器挖合成偏好。R(x)>0.8进正池；畸形或R(x)<-0.2进负池。若没覆盖该提示奖励图的top-K局部极大，则在R(x)上网格搜索峰值，作为Golden Truths注入正池。附录Table 7：K=10，每个提示20对（10正、10负）。
• 阶段3：令π_ref=π_GRPO，在合成集上做DPO，并使用相对较高的β。论文写标准DPO的构造与此相同，但生成器是π_ref而不是π_GRPO。

训练与解码

• 基座为Qwen2.5-0.5B-Instruct与Qwen2.5-1.5B-Instruct，bfloat16，单卡NVIDIA L40，AdamW，线性衰减，无warmup。
• GRPO：学习率10^{-5}，最多1000步，每设备batch 4，梯度累积32，约6小时/模型。扫描β∈{0.0, 0.1, 0.5, 1.0}，G∈{2, 4, 8, 16, 32}。附录把β=0.5、G=16标为选定值。
• DPO精炼：学习率5×10^{-6}，最多1000步，batch 1，累积12，约1小时/模型。混合实验固定GRPO的β=0.5、DPO的β=1.0。解码为贪心，最多32个新token。

实验设置

• 被训模型：Qwen2.5-Instruct 0.5B与1.5B。ICL对照为同系列Qwen2.5以及GPT-4o mini。
• 提示差别：ICL注入由音频属性聚类文献得到的语义到坐标词典；RL模型只用最小系统提示，不给这些专家定义。
• 客观划分：第3.6节的OOD（Vocal Clarity，约10%提示，训练未见）。正文在该集上报告数字；验证集有定义，未单列验证集结果。
• 指标：GMRR是每个提示贪心补全的局部相对奖励，该提示密度图最大为1.0、最小为0.0，畸形或局部最低记0.0。Parse Rate是严格符合坐标格式的输出比例。二者由奖励面和格式规则计算，不用LLM裁判。
• 主观协议：12人在不知系统只是均衡器的情况下自由描述想要的改变；滤掉音量、去掉乐器、更换扬声器身份等请求后留30条。11人回访，对Hybrid 1.5B与GPT-4o mini ICL控制的同一均衡器做盲评，5点Likert。330次成对试验、660次评分。
• 统计：交叉随机效应的线性混合模型（听者与提示），再做TOST，等价边际±0.25分，α=0.05。除附录E的四种子外，论文未报告客观指标的独立重复次数。

主结果

Swipe horizontally to read the table

模型与方法	GMRR	Parse Rate	出处
Qwen2.5-1.5B Hybrid（G=16）	0.60 ± 0.17	100%	Table 4
GPT-4o mini ICL	0.56 ± 0.07	100%	Table 1
Qwen2.5-1.5B GRPO（β=0.5）	0.53 ± 0.09	100%	Table 1
Qwen2.5-1.5B ICL	0.49 ± 0.08	100%	Table 4
Qwen2.5-1.5B SFT（Peak, LoRA）	0.45 ± 0.12	100%	Table 4
Qwen2.5-0.5B GRPO（β=0.5）	0.52 ± 0.10	100%	Table 1
Qwen2.5-0.5B ICL	0.25 ± 0.24	54%	Table 1
Qwen2.5-1.5B DPO（β=0.0）	0.00	0%	Table 1

• 作者称1.5B混合法在Table 4的汇总里性能最高，解析率保持满格；同表SFT低于该模型ICL，作者认为SFT过拟合，削弱了对OOD语义的外推。
• GPT-4o mini的ICL高于表中两档Qwen的ICL，也高于β=0.5的GRPO。混合法的点估计高于该ICL，但二者不在同一张表，且混合法的标准差更大。
• 上表最差一行是β=0.0的1.5B DPO。同一设置下0.5B DPO同样为0.00、解析率0%（Table 1）。

在线与离线的格式稳定性

• Table 1在OOD上扫描β∈{0.0, 0.1, 0.5, 1.0}。β=0.0时GRPO两档解析率均为100%（0.5B的GMRR为0.44 ± 0.08，1.5B为0.52 ± 0.10），DPO两档解析率均为0%。
• β=0.5时DPO的0.5B为0.33 ± 0.22、解析率81%，1.5B为0.32 ± 0.27、解析率69%。β=0.1时1.5B DPO仍为0.00、0%，0.5B DPO为0.31 ± 0.27、47%。β=1.0时0.5B DPO解析率升至98%（GMRR 0.30 ± 0.25），1.5B DPO降到10%（0.07 ± 0.23）；同β下GRPO的0.5B解析率为94%，1.5B仍为100%。
• 作者的解释是：DPO只拉大静态正负例的相对概率，其他补全没有监督，低KL时正例的绝对概率也可能下降；GRPO对非法格式即时给R=-1，从而留在合法句法内。作者还称过大的β会过度约束、妨碍严格结构。

盲听

• Table 5：Hybrid均值3.04 ± 0.06（标准误），GPT-4o mini为2.92 ± 0.06。Win/Tie分别为77.9%与72.1%，分母是330次试验（11人×30条）。作者称均值更高，并认为模型能处理含糊的OOD请求。
• LMM主效应p=0.095。附录Table 6：RL相对截距的系数为0.115（标准误0.069），提示方差0.247，听者方差0.281，660次观测，REML收敛。
• TOST的90%置信区间为[+0.002, +0.229]，落在预先设定的[-0.25, +0.25]内。评分标准差约0.88；作者写等价检验p_equivalence<0.05，并称在该边际内1.5B与GPT-4o mini知觉质量统计等价。摘要写推理计算只占一小部分，第6.2节写模型比对照小若干数量级；论文未报告具体耗时或参数量倍数。

其他消融与分析

• Table 2（GRPO，β=0.5）：0.5B在G=2/4/8/16/32时GMRR为0.47、0.50、0.53、0.51、0.48，解析率81%、93%、100%、100%、96%；1.5B为0.50、0.51、0.51、0.52、0.52，解析率均为100%。作者称G增大后在8到16之间饱和，收益相对小。
• Table 3：混合法并非在每个G上都高于同G的GRPO。1.5B、G=16从0.52 ± 0.09到0.60 ± 0.17（解析率均100%）；G=2则从0.50 ± 0.08降到0.27 ± 0.24。0.5B、G=32从0.48 ± 0.14、96%到0.56 ± 0.18、97%；G=4的混合法解析率降到73%。正文称0.5B从0.53升到0.56并达到97%解析率；0.53出现在Table 2的8 rollouts，0.56与97%出现在Table 3的32 rollouts。
• 附录E：1.5B Hybrid、G=16、四个种子（不含正文那次0.60）的GMRR为0.60、0.58、0.56、0.58，均值0.58 ± 0.016，解析率100%。作者据此把rollout间波动归为超参敏感，而不是算法不稳定。
• 附录Figure 6：带宽缩放0.1的奖励面碎裂，1.0把多个模态并成单一梯度；作者称0.25是折中。格子内整数是该区域评价次数，颜色是聚合偏好分；正文未逐格列出这些整数。
• Table 1里1.5B、β=0.5的GRPO为0.53 ± 0.09；Table 2同β下G=8为0.51 ± 0.09、G=16为0.52 ± 0.09。论文未说明Table 1对应哪一个G。

作者指出的局限与后续方向

• 维度：Reflective-KDE在二维Beosonic上有效，但KDE有维度诅咒。控制空间扩大时，铺满奖励图所需数据指数增长。作者认为扩到高维动作空间，很可能要先用潜变量模型（如VAE）把控制空间压到更低维流形（第7节）。
• 只看文本：当前系统只按提示的语义对齐，不估计P(Selected|x, AudioID)，因此不分析输入音频。作者称这使推理轻量且不必上传音频，但也限制上下文：播客与techno上的“warm”可能不同。后续可以把CLAP等音频嵌入送入策略（第7节）。
• 人群而非个人：密度图刻画人群偏好。作者称混合模型是Mode-Seeking，生成的是可能满足任意用户的设置，还不能适应用户听力画像。条件密度P(Selected|x, UserID)被列为后续方向（第7节）。

Conclusion重述了方法与盲听结果，没有另列局限。所给文本没有单独的伦理或披露小节。

实验覆盖范围

• 被训开源模型为Qwen2.5-0.5B-Instruct与Qwen2.5-1.5B-Instruct；ICL对照还包括GPT-4o mini（第5.1节、Table 1）。
• 客观数字报在Vocal Clarity的OOD划分上。提示按约80%/10%/10%分为训练、验证和OOD；论文未报告各划分的提示绝对条数（第3.6节）。
• 报告了对照的算法是vanilla DPO、vanilla GRPO、GRPO+DPO，以及峰值上的LoRA-SFT。作者写明省略了约束解码、定制合法性惩罚，以及Dr.GRPO、DAPO等扩展（第2节）。
• 主观测试为12人征集提示、11人回访、30条提示、330次成对试验；两端控制同一均衡器（第6节）。
• 训练设置见附录Table 7：单卡NVIDIA L40，GRPO约6小时、DPO约1小时。多种子只报告了1.5B Hybrid、G=16的四次（附录E）。GMRR与Parse Rate由密度图和格式规则计算。

Direct Preference Density Alignment用人群反馈的非参数密度面替代学得奖励模型，把小参数LLM对齐到对话式音频均衡。

• 要解决的问题：自然语言要映射到Beosonic平面上的连续坐标，范围是[-6, 6]的平方。作者认为PPO加代理奖励模型占显存且容易reward hacking；纯DPO失去在线探索，在该有界空间里会出现格式崩溃。
• 做法：约90,000条二值选择经Reflective-KDE变成选择概率，再全局归一化到[-1, 1]。GRPO对非法坐标给-1，先把Qwen2.5-Instruct约束到合法流形；再用该策略挖掘高低奖励样本，并把奖励图上未发现的峰值注入，做DPO精炼。RL模型不使用ICL对照里的专家坐标词典。
• OOD数字：1.5B混合法（G=16）的GMRR为0.60 ± 0.17、解析率100%（Table 4）。同模型GRPO（β=0.5）为0.53 ± 0.09，ICL为0.49 ± 0.08，峰值SFT为0.45 ± 0.12。GPT-4o mini的提示工程ICL为0.56 ± 0.07（Table 1）。β=0.0的DPO在两档模型上解析率均为0%。混合法随rollout数波动，G=2的1.5B会降到0.27 ± 0.24（Table 3）。
• 听感：11人、30条自由提示、330次试验中，Hybrid均值3.04 ± 0.06，GPT-4o mini为2.92 ± 0.06，LMM的p=0.095。作者用TOST称，在±0.25分的边际内二者知觉等价。摘要写推理计算只占一小部分，正文写模型小若干数量级，但没有给出倍数。
• 作者的结论：连续奖励面可以同时承载GRPO的在线探索和DPO的对比优化，从而去掉代理奖励模型仍保留在线探索。作者同时写明，该密度估计针对低维控制，目前表示的是人群共识，且只以文本为条件。