跳到正文
事件历史事件

WRDO:面向大语言模型对齐的加权拒绝方向优化

1篇报道1个报道来源最近报道

先了解这件事

AI 综述

论文提出WRDO(加权拒绝方向优化),用学习到的聚合权重把多个按提示词计算的拒绝方向合成复合方向,用于大语言模型拒答干预,避免差值均值方向把异质有害提示词平均成单一方向、混淆拒答现象。作者在三个开源权重模型上以三个护栏裁判和HarmBench对比已有单方向方法,并用通用能力基准衡量能力影响。

AI 根据报道生成 · 22 天前更新

走势与进展

每小时关注度

现在 31,24 小时 0%·峰值 31(11月6日 03:00)

11月7日11月8日11月9日11月10日11月11日11月12日11月13日现在 31

相关研究

这件事的论文

后续时间线

10月21日
  1. arXiv:越狱、提示注入、投毒与防御
    WRDO:对齐大语言模型中的加权拒绝方向优化

    研究者提出 WRDO(加权拒绝方向优化),通过学习到的聚合权重把多个按提示词计算的拒绝方向合成为复合方向,用于对齐大语言模型的拒答干预。论文指出,常用的差值均值方向会把异质的有害提示词平均成单一方向,可能混淆不同的拒答相关现象,而 WRDO 允许不同有害提示词对最终干预方向的贡献不等。作者在三个开源权重模型上,以三个护栏裁判和 HarmBench 作为外部评估,与已有单方向方法对比,并用通用能力基准衡量干预对模型能力的影响。论文还考察了防御用法,把同一优化机制反向用于恢复已被去除拒答方向(abliterated)的模型检查点的拒答行为;作者的结果显示,加权聚合是操纵拒答表征的更有效、更灵活的机制。

相关讨论

本站还没有收集到这件事的讨论链接。

关注度走势

每小时关注度

当前关注度31·可比范围峰值31(11月6日 03:00)·近 24 小时可比范围变化 0%

01020304011月6日03:0011月8日11:0011月10日18:0011月13日02:00