人类反馈里有什么？学习偏好数据的可解释描述
What's In My Human Feedback? Learning Interpretable Descriptions of Preference Data
AI 导读
研究者提出 WIMHF，一种用稀疏自编码器（SAE）解释偏好数据的方法，可在不预先设定假设的情况下自动提取人类可解释的特征。该方法在 7 个反馈数据集上识别出少量特征，即解释了黑盒模型的大部分偏好预测信号，达到文本嵌入 AUC 增益的 84% 和奖励模型的 67%。分析发现数据集之间偏好相互冲突：HH-RLHF 与 PRISM 的标注者偏好拒绝不当请求，而 LMArena 最强的偏好是反对拒答，常倾向选择更不安全的内容。据此翻转 LMArena 上该特征最强的前 1000 个样本标签后，RewardBench 2 安全子集准确率从 8.9% 升至 46.2%，其他性能未见下降。论文还展示了在 Community Alignment 数据上对段落与列表等主观特征做选择性个性化。
推荐理由
论文用稀疏自编码器把偏好数据拆解为可解释特征，并展示据此翻转 LMArena 标注可提升模型安全性。