基于规则的奖励（Rule Based Rewards）：面向大语言模型安全的方法

研究者提出 Rule Based Rewards（RBR），一种利用 AI 反馈、仅需少量人工数据的偏好建模方法，用于改进大语言模型安全训练。该方法用一组规则（如拒答不应带评判语气）配合 LLM 评分器，把细粒度、可组合的 few-shot 评分直接作为 RL 训练奖励。RBR 的 F1 达 97.1，高于人工反馈基线的 91.7，更好平衡了有用性与安全性。