ReSI:面向抗攻击与抗未知风险的递归安全改进框架
提出 ReSI,用自动红队与配方搜索递归改进模型安全对齐
- arXiv
- 2610.12233
- 发表
- 场景
- 模型与 API
- 被测模型
- Qwen3.6-27B、Ministral-3-14B-Reasoning-2512、DeepSeek-V4-Flash-0731 等4个
提出 ReSI,用自动红队与配方搜索递归改进模型安全对齐
提出 GUISE 基准与 AXIS 训练,防御叙事包装越狱
作者测量叙事包装下的拒答失效,并训练一个在未见包装上拒绝、同时仍回答同风格良性请求的适配器。问题是:安全对齐模型拒绝直说的有害请求,却回答嵌进角色或叙事里的同一请求。文言文被用来把语域和包装拆开。
提出 SafeBridge,对齐循环语言模型不同循环深度的安全性
用 SafeEvo 提取拒绝电路,并提出 SCA 仅微调该电路
摘要SafeEvo 识别出基座模型中存在的弱安全电路及其演化动态,据此提出的 SCA 算法实现了安全对齐、能力保留与低过度拒绝的平衡。
提出 ASCENT,在效用微调中做一阶安全校准并只压制负贡献更新
提出融合定位拒答与能力保留的安全微调,补齐视觉定位输出的拒答缺口
摘要论文揭示了 VLM 定位安全落后于 VQA 的对齐断层,提出三成分微调方案有效弥合差距并保留定位能力,表征分析揭示了对齐机制。
提出审计感知遗忘框架 AVCE,从文本与视觉通路擦除扩散模型概念
AVCE 是面向扩散模型的概念擦除方法,要让擦除经得起绕过文本条件的潜空间审计,而不只是挡住对抗提示词。
提出 SSRFT,用角色监督内化安全原则以替代拒答式对齐
SSRFT是一种用监督微调把预定义安全角色写进参数的安全对齐方法。作者称它是首个以安全角色内化本身为对齐目标的框架。
提出 Target-free LAT,用无目标多方向潜干预做对抗安全对齐以抵御越狱
Target-free LAT 是一种不监督有害输出的潜空间对抗对齐。它要处理的问题是:现有 LAT 每步大多只造一种有害行为,对不上真实越狱里的直接遵从、角色扮演、编码和多语言等模式。
提出 Persona Guardrail,强制客服智能体守住功能边界
Persona Guardrail 是客服向智能体的同步运行时防御:先写明功能边界,再决定放行或拦截,而不是只检测某一攻击类。
提出 DART,用去噪表征转移检测多轮智能体攻击并注入提醒
用持续更新的探针做微调,降低有害性并保持线性可监测性
Probe-guided fine-tuning 把探针分数当作唯一对齐信号,用来推动 harmlessness 与 honesty,并检查训练后这些概念是否仍线性可读。
提出 Intent-Privilege OPSD,对齐视觉语言模型在隐式风险下的安全与帮助性
Intent-Privilege OPSD 是针对跨模态隐式风险的训练期安全—帮助性对齐方法。作者关注的不是直接拒绝敏感请求,而是按可观察图文证据保留正常帮助、约束有害信息。
提出 ACTR,只更新安全思考神经元以对齐推理与回答的安全类别
提出 SURE 三阶段框架,用韩语对抗提示与安全打分做 SFT 与 DPO
ORPG 是一种多奖励策略梯度调和方法:每个奖励保持独立裁剪目标,相容时协调贡献幅度,冲突时按任务优先级投影。
提出 DeShortcut-Align,解耦伪捷径以增强推理模型安全对齐
占位。
提出 EOPSA,用 TRR 截断与安全类过滤做在策略自蒸馏安全对齐
提出 SafeMol,联合对齐分子多模态模型的文本与图输入
SafeMol 研究分子多模态模型在危险分子相关请求上的安全对齐,并同时看过拒和任务效用。
提出可解释 rubric 奖励,将宪法转为可调权重并用于监督微调
作者给出一条从通用宪法到可调训练奖励的路径,用来检查并改写模型实际被优化的优先级。