跳到正文
原文
公众号 为机器立心·本站收录· 原文发表· 防御 →· 扫描记录里的位置 →

研究者提出 NeuronGuard,把安全信号分散到大量神经元以抵御神经元剪枝攻击

路易斯维尔大学大模型安全的致命漏洞被补上?NeuronGuard,把安全“散布”到整个神经网络

AI 导读

研究者提出微调阶段的安全防御方法 NeuronGuard,通过把安全能力分散到大量神经元,把神经元剪枝攻击 NeuroStrike 的攻击成功率从基线的 80-90% 降到 0.02-0.04。方法分三步:每隔一定训练步数训练轻量线性分类器,动态识别安全关键神经元并周期刷新;训练时把这些神经元的激活置零,配合 KL 散度正则,让其余神经元承担识别有害请求并拒答的任务;再用随机梯度投影调和安全与下游任务的梯度冲突。该方法在推理阶段不增加额外计算,但要求开发者拥有完整微调流水线,无法直接用于只能访问 API 的黑盒模型。

阅读原文mp.weixin.qq.com