SafeEvo:从拒答回路视角解释大模型安全对齐机制与演化
用 SafeEvo 提取拒绝电路,并提出 SCA 仅微调该电路
- arXiv
- 2610.09600
- 发表
- 场景
- 模型与 API
- 被测模型
- Llama-3-8B、Qwen-2.5-7B、Mistral-7B-v0.1 等4个
摘要SafeEvo 识别出基座模型中存在的弱安全电路及其演化动态,据此提出的 SCA 算法实现了安全对齐、能力保留与低过度拒绝的平衡。
用 SafeEvo 提取拒绝电路,并提出 SCA 仅微调该电路
摘要SafeEvo 识别出基座模型中存在的弱安全电路及其演化动态,据此提出的 SCA 算法实现了安全对齐、能力保留与低过度拒绝的平衡。
提出 ASCENT,在效用微调中做一阶安全校准并只压制负贡献更新
提出融合定位拒答与能力保留的安全微调,补齐视觉定位输出的拒答缺口
摘要论文揭示了 VLM 定位安全落后于 VQA 的对齐断层,提出三成分微调方案有效弥合差距并保留定位能力,表征分析揭示了对齐机制。
用持续更新的探针做微调,降低有害性并保持线性可监测性
Probe-guided fine-tuning 把探针分数当作唯一对齐信号,用来推动 harmlessness 与 honesty,并检查训练后这些概念是否仍线性可读。
提出 Intent-Privilege OPSD,对齐视觉语言模型在隐式风险下的安全与帮助性
Intent-Privilege OPSD 是针对跨模态隐式风险的训练期安全—帮助性对齐方法。作者关注的不是直接拒绝敏感请求,而是按可观察图文证据保留正常帮助、约束有害信息。
提出 SURE 三阶段框架,用韩语对抗提示与安全打分做 SFT 与 DPO
ORPG 是一种多奖励策略梯度调和方法:每个奖励保持独立裁剪目标,相容时协调贡献幅度,冲突时按任务优先级投影。
提出 DeShortcut-Align,解耦伪捷径以增强推理模型安全对齐
占位。
提出可解释 rubric 奖励,将宪法转为可调权重并用于监督微调
作者给出一条从通用宪法到可调训练奖励的路径,用来检查并改写模型实际被优化的优先级。
分析良性知识蒸馏中提示模板对学生拒答保留的影响
提出 Rationale-Only 安全微调,去掉拒答声明以降低误拒
这是一项针对安全微调数据的结构分析:假拒答被作者追溯到回答里的套话式拒答声明,而不是只靠推理时补救。
提出 WIFA 意图组监督微调,缓解包装式越狱与过度拒答
WIFA 是一种自动意图组数据构造,用来让安全微调拒绝有害意图而不是拒绝表面包装。WIFA-Boost 与 A-GCRT 在同一数据层上选取不同的安全–过拒工作点。
提出 DataShield,用共识子空间过滤会削弱安全的微调数据
提出 ShaPO,只在安全关键子空间做最坏情况偏好对齐