可解释性arXiv 2610.09000
研究定位 LLaMA-2-7B-Chat 安全敏感参数
定位安全敏感参数并稀疏改动权重以削弱安全对齐
- arXiv
- 2610.09000
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- LLaMA-2-7B-Chat
定位安全敏感参数并稀疏改动权重以削弱安全对齐
提出 PEV 攻击,在输入嵌入上加高斯噪声越狱开源模型
PEV 是对 open-weight LLM 的 embedding 噪声越狱。
提出核化激活引导 KAS,在推理时自适应转向激活以诱导越狱
Kernelized Activation Steering(KAS) 把推理时的激活转向写成核空间中的优化,使更新随当前激活相对源、目标参考集的位置而变化。
解释后验安全的权重几何脆弱性,并提出预训练持续安全共训练
摘要论文将后验安全脆弱性归因于正交抑制,并提出通过预训练持续共训练实现具备微调抗性的安全防护。
提出 AMS,用激活分离与方向相似度检测安全训练改动
AMS 是面向开放权重模型、部署前使用的激活扫描器,用来看安全训练被拿掉或改写之后,激活空间里还留着什么几何痕迹。
提出单神经元激活干预,抑制拒答神经元或放大概念神经元以绕过安全对齐
摘要作者称大模型安全由拒答门控与概念底座构成,干预单个神经元足以双向击穿对齐,且拒答神经元在预训练阶段已然存在。
提出 HMNS,通过注意力头掩码与零空间注入实现机制级越狱
提出 GateBreaker,推断时定位并置零 MoE 安全神经元以解除安全对齐
提出激活转向越狱,用随机向量在推理时绕过安全拒答
摘要作者称激活转向会系统性破坏 LLM 对齐,良性特征与随机向量均能诱发有害合规,聚合随机向量可构建通用攻击。