GuardReasoner：迈向基于推理的 LLM 安全护栏
[Daily Paper] GuardReasoner: Towards Reasoning-based LLM Safeguards
AI 导读
新加坡国立大学等机构的研究者提出 GuardReasoner，用先生成显式推理链再给出安全判定的方式，替代 Llama Guard 式的判别分类护栏。其训练流程由 GuardReasonerTrain 数据集、推理 SFT 与难样本 DPO 组成，在标准安全基准上的 F1 和 AUPRC 超过带 Chain-of-Thought 提示的 GPT-4o 和 LLaMA Guard 3 8B，对对抗与分布外输入的泛化更好。该工作仅在文本领域评测，作者认为其推理链也可为以 LLM 为规划核心的具身智能体提供可解释的安全监控。