用可解释性理解标注者的安全政策

研究者提出 Annotator Policy Models（APMs），一种仅从标注行为中学习标注者内部安全政策的可解释模型，无需额外标注即可让标注者的推理可见、可比较。该工作指出标注分歧可源于操作失误、政策模糊或价值多元，三者分别需要质量控制、政策澄清与多元视角商议，而直接询问标注者成本高，自述推理也常与实际决策过程不符。验证显示 APM 建模标注者安全政策的准确率超过 80%，能忠实预测对反事实编辑的回应，并在受控设置中还原已知的政策差异。将 APMs 应用于大语言模型（LLM）与人类标注，可揭示标注者对安全指令的不同解读以暴露政策模糊，并发现不同人口群体在安全优先级上的系统性差异以呈现价值多元，支持更有针对性、透明和包容的安全政策设计。