事件观察中
SPECTRA:免训练权重级方法恢复微调模型拒答行为
先了解这件事
AI 综述
研究者提出 SPECTRA,一种无需训练的权重级方法,用于在模型经过领域微调后恢复其拒答行为。该方法通过激活感知的低秩更新,把基座模型的拒答方向迁移进微调模型的权重,不需要基于梯度的优化,也不需要领域特定的安全数据。低秩设计把干预限制在对有害输入最具因果作用的子空间内,从构造上让良性行为基本不受影响。作者称,在综合安全评测中,该方法明显改善了拒答行为,同时保持了通用连贯性和领域知识,误拒率的变化也可以忽略。
AI 根据报道生成 · 2 天前更新
走势与进展
每小时关注度
现在 30,24 小时 -1%·峰值 35(11月10日 20:00)
11月11日11月12日11月13日现在 30
相关研究
这件事的论文
- 无需重新训练即可恢复微调大语言模型的通用安全性并改善领域特定安全性
arXiv · 2026-11-06 · 深度解读
后续时间线
11月7日
- arXiv:危险能力与安全评测无需重新训练即可恢复微调大语言模型的通用安全性并改善领域特定安全性
研究者提出 SPECTRA,一种无需训练的权重级方法,可在模型经过领域微调后恢复其拒答行为。该方法通过激活感知的低秩更新,把基座模型的拒答方向迁移进微调模型的权重,不需要基于梯度的优化,也不需要领域特定的安全数据。低秩设计把干预限制在对有害输入最具因果作用的子空间内,从构造上让良性行为基本不受影响。作者称,在综合安全评测中,该方法明显改善了拒答行为,同时保持了通用连贯性和领域知识,误拒率的变化也可以忽略。
相关讨论
关注度走势
每天新增来源
- 11月10日新增1个来源(1家媒体、0个账号)
- 11月11日新增0个来源(0家媒体、0个账号)
- 11月12日新增0个来源(0家媒体、0个账号)
- 11月13日新增0个来源(0家媒体、0个账号)