对齐华尔兹：联合训练智能体协作保障安全
The Alignment Waltz: Jointly Training Agents to Collaborate for Safety
AI 导读
论文提出 WaltzRL，一个把安全对齐建模为协作博弈的多智能体强化学习框架，联合训练对话智能体与反馈智能体。反馈智能体被激励给出能同时提升安全与有用性的建议，核心是随对话智能体采纳反馈的效果而演化的 Dynamic Improvement Reward。推理时，对话智能体的不安全或过度拒答回复会被改进而非直接丢弃，反馈智能体仅在需要时介入以保持低延迟。在五个数据集上，WildJailbreak 的不安全回复从 39.0% 降到 4.6%，OR-Bench 的过度拒答从 45.3% 降到 9.9%，且未降低通用能力。