跳到正文
原文
Failure-First·本站收录· 原文发表

Safety Chain-of-Thought:用主动安全推理增强模型越狱防御

[Daily Paper] Enhancing Model Defense Against Jailbreaks with Proactive Safety Reasoning

AI 导读

SCoT 将安全推理前置到生成过程,让模型先评估请求意图与危害再决定是否拒答。作者用带安全思维链标注的指令数据微调模型,在 GCG、角色扮演、多步社会工程和低资源语言等越狱攻击上防御成功率普遍提升,分布外攻击增益最大,正常任务表现未显著下降。作者指出该方法依赖安全分类体系的覆盖度,透明的推理前缀也可能被攻击者利用。

阅读原文failurefirst.org