面向大语言模型安全关键参数的识别与干预
Towards Identification and Intervention of Safety-Critical Parameters in Large Language Models
AI 导读
研究者提出 Expected Safety Impact（ESI）框架，用于量化不同参数对大语言模型安全的影响，并据此识别安全关键参数在稠密模型与 MoE 模型中的分布差异。研究发现，稠密 LLM 的许多安全关键参数位于中层 value 矩阵和 MLP，而 MoE 模型中则转移到后层 MLP。基于 ESI，作者提出 Safety Enhancement Tuning（SET）和 Safety Preserving Adaptation（SPA）两种干预方法：SET 仅更新 1% 的模型权重并迭代 100 次，可将未对齐 LLM 的攻击成功率降低 50% 以上；SPA 在不同任务上进行 1,000 次迭代的指令微调后，把已对齐 LLM 的安全能力下降限制在 1% 以内。代码见 https://github.com/ZJU-LLM-Safety/SafeWeights-ACL。