跳到正文
事件观察中

SPECTRA:免训练权重级方法恢复微调模型拒答行为

1篇报道1个报道来源最近报道

先了解这件事

AI 综述

研究者提出 SPECTRA,一种无需训练的权重级方法,用于在模型经过领域微调后恢复其拒答行为。该方法通过激活感知的低秩更新,把基座模型的拒答方向迁移进微调模型的权重,不需要基于梯度的优化,也不需要领域特定的安全数据。低秩设计把干预限制在对有害输入最具因果作用的子空间内,从构造上让良性行为基本不受影响。作者称,在综合安全评测中,该方法明显改善了拒答行为,同时保持了通用连贯性和领域知识,误拒率的变化也可以忽略。

AI 根据报道生成 · 2 天前更新

走势与进展

每小时关注度

现在 30,24 小时 -1%·峰值 35(11月10日 20:00)

11月11日11月12日11月13日现在 30

相关研究

这件事的论文

后续时间线

11月7日
  1. arXiv:危险能力与安全评测
    无需重新训练即可恢复微调大语言模型的通用安全性并改善领域特定安全性

    研究者提出 SPECTRA,一种无需训练的权重级方法,可在模型经过领域微调后恢复其拒答行为。该方法通过激活感知的低秩更新,把基座模型的拒答方向迁移进微调模型的权重,不需要基于梯度的优化,也不需要领域特定的安全数据。低秩设计把干预限制在对有害输入最具因果作用的子空间内,从构造上让良性行为基本不受影响。作者称,在综合安全评测中,该方法明显改善了拒答行为,同时保持了通用连贯性和领域知识,误拒率的变化也可以忽略。

相关讨论

本站还没有收集到这件事的讨论链接。

关注度走势

每天新增来源

4天共1个·最多1(11月10日)·今天0

  • 11月10日新增1个来源(1家媒体、0个账号)
  • 11月11日新增0个来源(0家媒体、0个账号)
  • 11月12日新增0个来源(0家媒体、0个账号)
  • 11月13日新增0个来源(0家媒体、0个账号)

每小时关注度

当前关注度30·可比范围峰值35(11月10日 20:00)·近 24 小时可比范围变化 -1%

01020304011月10日20:0011月11日14:0011月12日09:0011月13日03:00