事件历史事件
JWP：联合权重扰动抵御有害微调
先了解这件事
AI 综述
论文提出联合权重扰动（JWP）防御方法：作者观察到，有害扰动的各个不相交部分单独施加时影响有限，联合施加却使模型危害性超出各部分影响之和。JWP 在安全对齐阶段让模型接触有害扰动的不同组合，训练其安全响应，以降低后续有害微调中受扰动累积影响的敏感度。在下游任务和多个模型系列上的实验显示，JWP 对有害微调的抵抗力强于此前的防御方法，同时大体保持任务性能。
AI 根据报道生成 · 24 天前更新
走势与进展
每小时关注度
现在 27，24 小时 0%·峰值 27（11月6日 03:00）
11月7日11月8日11月9日11月10日11月11日11月12日11月13日现在 27
相关研究
这件事的论文
- 当安全集体失效：通过联合权重扰动实现对抗有害微调的鲁棒对齐
arXiv · 2026-10-19 · 深度解读
后续时间线
10月26日
- 小红书小红书 刘东瑞 上海 AI Lab· 讨论联合权重扰动抵御LLM恶意微调（新标签页打开原帖）
10月19日
- arXiv：越狱、提示注入、投毒与防御当安全集体失效：通过联合权重扰动实现对抗有害微调的鲁棒对齐
论文提出联合权重扰动（JWP），一种在安全对齐阶段遮蔽有害扰动不同部分并训练模型安全响应的防御方法，以提升大语言模型对后续有害微调的抵抗力。作者观察到一种集体失效模式：有害扰动的各个不相交部分单独施加时影响有限，联合施加却使模型危害性超出各部分影响之和。JWP 让模型接触有害扰动的不同组合，降低其在后续有害微调中受扰动累积影响的敏感度。在下游任务和多个模型系列上的实验显示，JWP 对有害微调的抵抗力强于此前的防御方法，同时大体保持任务性能。
相关讨论
共1条
- 72 小时以前 · 不计入 72 小时的数字
- 小红书小红书 刘东瑞 上海 AI Lab联合权重扰动抵御LLM恶意微调（新标签页打开原帖）