跳到正文
原文
arXiv· arXiv:2601.10173· Hao Li, Yankai Yang, G. Edward Suh, Ning Zhang, Chaowei Xiao·本站收录· 原文发表

ReasAlign:用推理增强的安全对齐防御提示注入攻击

ReasAlign: Reasoning Enhanced Safety Alignment against Prompt Injection Attack

AI 导读

研究者提出 ReasAlign,一种针对间接提示注入攻击的模型级安全对齐方法。其核心是在安全对齐中加入结构化推理步骤,分析用户查询、识别冲突指令并保持用户原定任务的连续性;同时引入测试时扩展机制,由偏好优化的裁判模型为推理步骤打分并选出最佳轨迹。在包含多个提示注入任务的 CyberSecEval2 开放式基准上,ReasAlign 取得 94.6% 效用和 3.6% 攻击成功率(ASR),显著优于此前最强的防御模型 Meta SecAlign(56.4% 效用、74.4% ASR),且效用与未加防御的模型相当。代码与实验结果见 https://github.com/leolee99/ReasAlign。

阅读原文arxiv.org