Translation in progress Some entries still include text in the original language.
Oct 12 · Monday
Defenses and guardrails · Papers
Found 27 papersProposes ReSI, which recursively improves model safety alignment using automatic red teaming and recipe search.
- Published
- Evaluated models
- Qwen3.6-27B, Ministral-3-14B-Reasoning-2512, DeepSeek-V4-Flash-0731 and others4
提出 GUISE 基准与 AXIS 训练，防御叙事包装越狱
- Published
- Evaluated models
- Qwen3-1.7B, Qwen3-4B, GLM-4-9B
AbstractGUISE 分开测包装与语域。
作者测量叙事包装下的拒答失效，并训练一个在未见包装上拒绝、同时仍回答同风格良性请求的适配器。问题是：安全对齐模型拒绝直说的有害请求，却回答嵌进角色或叙事里的同一请求。文言文被用来把语域和包装拆开。
提出 SafeBridge，对齐循环语言模型不同循环深度的安全性
- Published
- Evaluated models
- Ouro-1.4B, Ouro-2.6B
用 SafeEvo 提取拒绝电路，并提出 SCA 仅微调该电路
- Published
- Evaluated models
- Llama-3-8B, Qwen-2.5-7B, Mistral-7B-v0.1 and others4
AbstractSafeEvo 识别出基座模型中存在的弱安全电路及其演化动态，据此提出的 SCA 算法实现了安全对齐、能力保留与低过度拒绝的平衡。
提出 ASCENT，在效用微调中做一阶安全校准并只压制负贡献更新
- Published
- Evaluated models
- Qwen2.5-7B-Instruct, Llama-3.1-8B-Instruct, Gemma-3-12B-it and others4
提出融合定位拒答与能力保留的安全微调，补齐视觉定位输出的拒答缺口
- Published
- Evaluated models
- Claude Sonnet 4.6, Gemini 3.5 Flash, Molmo2-8B and others5
Abstract论文揭示了 VLM 定位安全落后于 VQA 的对齐断层，提出三成分微调方案有效弥合差距并保留定位能力，表征分析揭示了对齐机制。
提出审计感知遗忘框架 AVCE，从文本与视觉通路擦除扩散模型概念
- Published
- Evaluated models
- Stable Diffusion XL (SDXL), Stable Diffusion v1.5 (SD v1.5), Flux 1.0
AbstractAVCE 在审计锚点上改两条注意力通路。
AVCE 是面向扩散模型的概念擦除方法，要让擦除经得起绕过文本条件的潜空间审计，而不只是挡住对抗提示词。
提出 SSRFT，用角色监督内化安全原则以替代拒答式对齐
- Published
- Evaluated models
- Qwen2.5-3B, Gemma2-2B, Llama3.1-8B and others6
AbstractSSRFT 用角色监督替代拒答中心对齐。
SSRFT是一种用监督微调把预定义安全角色写进参数的安全对齐方法。作者称它是首个以安全角色内化本身为对齐目标的框架。
提出 Target-free LAT，用无目标多方向潜干预做对抗安全对齐以抵御越狱
- Published
- Evaluated models
- Qwen2.5-7B-Instruct, Llama-3-8B-Instruct, Mistral-7B-Instruct-v0.2
AbstractTarget-free LAT 用无目标多方向潜干预扩大行为覆盖，作者称能提高越狱鲁棒性并保住效用。
Target-free LAT 是一种不监督有害输出的潜空间对抗对齐。它要处理的问题是：现有 LAT 每步大多只造一种有害行为，对不上真实越狱里的直接遵从、角色扮演、编码和多语言等模式。
用持续更新的探针做微调，降低有害性并保持线性可监测性
- Published
- Evaluated models
- Mistral 7B Instruct v0.1, Llama 3 8B Instruct Abliterated, Qwen3-14B
Abstract持续重拟合的探针可降低有害性、提高诚实性，训练后概念仍能被线性探针读出。
Probe-guided fine-tuning 把探针分数当作唯一对齐信号，用来推动 harmlessness 与 honesty，并检查训练后这些概念是否仍线性可读。
提出 Intent-Privilege OPSD，对齐视觉语言模型在隐式风险下的安全与帮助性
- Published
- Evaluated models
- Qwen3-VL-4B-Instruct, LLaVA, LLaVA-1.5-7B and others4
Abstract作者报告训练期证据化意图蒸馏兼顾安全与帮助性，效果受标注质量和评测设置影响。
Intent-Privilege OPSD 是针对跨模态隐式风险的训练期安全—帮助性对齐方法。作者关注的不是直接拒绝敏感请求，而是按可观察图文证据保留正常帮助、约束有害信息。
提出 ACTR，只更新安全思考神经元以对齐推理与回答的安全类别
- Published
- Evaluated models
- Qwen3-8B, Gemma4-12B-it
提出 SURE 三阶段框架，用韩语对抗提示与安全打分做 SFT 与 DPO
- Published
- Evaluated models
- KULLM3-10.7B, Qwen-2-7B, Llama-3-8B
提出 ORPG，协调多奖励目标的策略梯度更新
- Published
AbstractORPG 按梯度夹角与任务优先级调和两个裁剪策略目标，并在对齐和数学推理上比较联合表现。
ORPG 是一种多奖励策略梯度调和方法：每个奖励保持独立裁剪目标，相容时协调贡献幅度，冲突时按任务优先级投影。
提出 DeShortcut-Align，解耦伪捷径以增强推理模型安全对齐
- Published
提出 EOPSA，用 TRR 截断与安全类过滤做在策略自蒸馏安全对齐
- Published
- Evaluated models
- Qwen3-1.7B, Qwen3-4B, Qwen3-14B and others5
提出 SafeMol，联合对齐分子多模态模型的文本与图输入
- Published
- Evaluated models
- Omni-Mol v2, ReactXT, SafeMol
AbstractSafeMol 用 MMD 和双分类头对齐分子多模态模型，在 Omni-Mol v2 上压低图条件攻击成功。
SafeMol 研究分子多模态模型在危险分子相关请求上的安全对齐，并同时看过拒和任务效用。
提出可解释 rubric 奖励，将宪法转为可调权重并用于监督微调
- Published
- Evaluated models
- Gemma 3 12B, Qwen3 14B, GPT-OSS 20B
Abstract宪法级可解释奖励让优先级可检查、可改写，并带入训练后的行为。
作者给出一条从通用宪法到可调训练奖励的路径，用来检查并改写模型实际被优化的优先级。
提出 AUDIT PLAN 先计划后作答，并用 FAITHGATE 绑定答案奖励与计划正确性
- Published
- Evaluated models
- Qwen2.5-1.5B-Instruct, Qwen2.5-3B-Instruct, Qwen-3-4B-Instruct and others4
Abstract先承诺可机检安全计划，再让计划正确性决定能否拿到答案奖励。
AUDIT PLAN 把安全对齐从“只优化最终答案”改成“先提交隐藏的结构化安全计划，再按该计划作答”，并用 FAITHGATE 把高答案奖励限定在计划正确时。
提出 Cunning 两阶段训练，用非安全数据培养警觉后再做安全对齐
- Published
- Evaluated models
- DeepSeek-R1-Distill-Qwen-7B, Qwen3-4B, Qwen3-8B
Abstract非安全 cunning 题上的 OPSD 被用来先练 vigilance，再接安全微调。
Cunning 是一种两阶段对齐：先用与安全目标不绑定的推理陷阱题培养 vigilance，再接常规安全微调，使安全判断更常在有害计划之前控制回复。