ORPG：通过目标级策略梯度协调多奖励目标
ORPG: Reconciling Multiple Reward Objectives through Objective-wise Policy Gradients
AI 导读
针对多奖励策略优化，论文提出目标级协调策略梯度（ORPG），为每个奖励分别构建裁剪策略目标，再将梯度协调为一次策略更新：梯度相容时用余弦相关插值在部分归一化参考下协调各目标贡献并保持其和的范数，梯度冲突时按任务优先级投影。在有用性—安全对齐与数学推理的正确性—成本优化中，ORPG 的平均 Useful 与 Harmless 分数均超过最强外部基线，数学任务上取得最高平均全预算准确率和三预算 hypervolume，且回答比初始策略更准确、更短。