Reasoned Safety Alignment(ReSA):用 Answer-Then-Check 实现越狱防御
[Daily Paper] Reasoned Safety Alignment: Ensuring Jailbreak Defense via Answer-Then-Check
AI summary
Cao 等人提出 Reasoned Safety Alignment(ReSA):模型在 Answer-Then-Check(ATC)范式下先生成候选回答、再自评是否违反安全策略,然后输出或修改,以此防御越狱。该方法用含草稿回答、安全反思与最终输出的 ReSA 数据集监督微调,在 MMLU、MATH500 和 HumanEval 上保持通用推理能力,并报告过度拒答率低于基线安全微调模型。论文将 ATC 指向具身 AI 安全,并留下其在多轮交互与长时程任务上如何扩展的开放问题。