Swiss-Knife：解码时可重构的外部化多目标对齐框架
Swiss-Knife: A Framework for Reconfigurable Externalised Multi-Objective Alignment at Decode Time
AI 导读
研究者提出解码时外部化多目标对齐框架 Swiss-Knife，把对齐规格变成一等运行时对象，由可热插拔的评分 blade、批归一化器、成对聚合算子和选择规则组成。作者认为，用外部奖励为冻结语言模型的候选续写打分并选取最大值的现有解码时对齐，只是更大设计空间中的一个退化点。论文以六条公理刻画可容许的聚合算子并证明表示定理，其中成对聚合在对抗性奖励污染下保持 Lipschitz 稳定而 argmax 不然，Candidate-Batch Normalization（CBN）使权重单纯形不受奖励模型重标度的影响。