ReSI:面向抗攻击与抗未知风险的递归安全改进框架
提出 ReSI,用自动红队与配方搜索递归改进模型安全对齐
- arXiv
- 2610.12233
- 发表
- 场景
- 模型与 API
- 被测模型
- Qwen3.6-27B、Ministral-3-14B-Reasoning-2512、DeepSeek-V4-Flash-0731 等4个
提出 ReSI,用自动红队与配方搜索递归改进模型安全对齐
提出 GUISE 基准与 AXIS 训练,防御叙事包装越狱
作者测量叙事包装下的拒答失效,并训练一个在未见包装上拒绝、同时仍回答同风格良性请求的适配器。问题是:安全对齐模型拒绝直说的有害请求,却回答嵌进角色或叙事里的同一请求。文言文被用来把语域和包装拆开。
提出 SafeBridge,对齐循环语言模型不同循环深度的安全性
提出审计感知遗忘框架 AVCE,从文本与视觉通路擦除扩散模型概念
AVCE 是面向扩散模型的概念擦除方法,要让擦除经得起绕过文本条件的潜空间审计,而不只是挡住对抗提示词。
提出 SSRFT,用角色监督内化安全原则以替代拒答式对齐
SSRFT是一种用监督微调把预定义安全角色写进参数的安全对齐方法。作者称它是首个以安全角色内化本身为对齐目标的框架。
提出 Target-free LAT,用无目标多方向潜干预做对抗安全对齐以抵御越狱
Target-free LAT 是一种不监督有害输出的潜空间对抗对齐。它要处理的问题是:现有 LAT 每步大多只造一种有害行为,对不上真实越狱里的直接遵从、角色扮演、编码和多语言等模式。
提出 ACTR,只更新安全思考神经元以对齐推理与回答的安全类别
提出 EOPSA,用 TRR 截断与安全类过滤做在策略自蒸馏安全对齐
提出 SafeMol,联合对齐分子多模态模型的文本与图输入
SafeMol 研究分子多模态模型在危险分子相关请求上的安全对齐,并同时看过拒和任务效用。
提出 AUDIT PLAN 先计划后作答,并用 FAITHGATE 绑定答案奖励与计划正确性
AUDIT PLAN 把安全对齐从“只优化最终答案”改成“先提交隐藏的结构化安全计划,再按该计划作答”,并用 FAITHGATE 把高答案奖励限定在计划正确时。
提出 Cunning 两阶段训练,用非安全数据培养警觉后再做安全对齐
Cunning 是一种两阶段对齐:先用与安全目标不绑定的推理陷阱题培养 vigilance,再接常规安全微调,使安全判断更常在有害计划之前控制回复。
提出 ReSO ,对齐潜在道德表征以提升越狱条件下的安全泛化
ReSO 把对齐目标从偏好回答改成道德分类的潜在关系。。
提出 SEAL,在 MoE 共享专家上做 DPO-LoRA 对齐以抵御越狱与权重篡改
SEAL是面向混合 MoE 的训练时防御:只对齐始终执行的共享专家,使安全不依赖路由器是否把 token 送到安全专家。
提出 WIFA 意图组监督微调,缓解包装式越狱与过度拒答
WIFA 是一种自动意图组数据构造,用来让安全微调拒绝有害意图而不是拒绝表面包装。WIFA-Boost 与 A-GCRT 在同一数据层上选取不同的安全–过拒工作点。
提出 RLBF,训练模型在生成中途撤回违规片段并续写
RLBF 是一套生成中自我纠正的安全训练方法,针对作者所称的 shallow safety,以及 reset、BSAFE 在撤回违规时多丢 token 的问题。
提出路由感知安全对齐 RASA,只微调越狱激活的专家并约束路由
RASA 是面向 MoE 的路由感知、专家级安全对齐框架,用来处理全参数微调可能走的对齐捷径。
用醉酒语言诱导改编对话模型并评测越狱与隐私泄露
作者把醉酒语言当作攻击向量,检验把 LLM 适配成醉酒发短信的模式后,越狱和情境隐私是否变差。动机是人类醉酒时的失范与泄密,以及 LLM 模拟人设的能力。