COPSD：宪法引导的在线策略安全蒸馏

研究者提出宪法在线策略安全蒸馏方法 COPSD，先以 Cross-SFT 冷启动校准教师模型，再进行宪法条件下的在线策略蒸馏。该方法针对安全在线策略自蒸馏（OPSD）的坍缩：作者发现宪法条件会使教师分布收缩为简短且过度保守的回答。在 3 个多模态大语言模型和 12 个安全与通用基准上，论文称 COPSD 较基线同时提升安全性与有用性，并降低通用推理的安全税。