可解释性arXiv 2610.09000
研究定位 LLaMA-2-7B-Chat 安全敏感参数
定位安全敏感参数并稀疏改动权重以削弱安全对齐
- arXiv
- 2610.09000
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- LLaMA-2-7B-Chat
- 攻击arXiv 2610.05894
研究者提出闭环偏见注入攻击
提出闭环激活引导，在扩散语言模型去噪过程中注入定向偏见
- arXiv
- 2610.05894
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 攻击者
- 灰盒
- 被测模型
- LLaDA-8B-Instruct、Dream-v0-Instruct-7B、LLaDA-MoE-7B-A1B-Instruct
摘要通过去噪中间概率反馈动态调节残差流转向，证明扩散语言模型在推理服务栈中存在闭环偏见注入脆弱性。
- 攻击arXiv 2610.03124
研究提出 Untag 攻击框架，使开源大模型触发标签滥用检测机制失效
提出 UNTAG，绕过开源权重模型的 trigger-tag 滥用检测
- arXiv
- 2610.03124
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Llama2 (7B)、Llama3 (8B)、Qwen2.5 (7B)
摘要作者用 UNTAG 评估 trigger-tag，认为其不能充当开放权重滥用检测的主要边界。
UNTAG 是针对开放权重 LLM 上条件滥用检测 trigger-tag 的统一攻击评估：信号可以在解码期注入，也可以写进权重，但攻击者若能改输出或改已发布权重，检测可以失效。
- 攻击arXiv 2610.01062
Kernelized Activation Steering：将激活引导推广到再生核希尔伯特空间的新框架
提出核化激活引导 KAS，在推理时自适应转向激活以诱导越狱
- arXiv
- 2610.01062
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Qwen2.5-7B-Instruct、Gemma-2-9B-IT、Llama-3.1-8B-Instruct 等 4 个
摘要KAS 用核梯度做局部自适应转向，并在线性核下恢复 DiM。
Kernelized Activation Steering（KAS） 把推理时的激活转向写成核空间中的优化，使更新随当前激活相对源、目标参考集的位置而变化。
- 防御arXiv 2609.16229
ARIA：用稀疏自编码器实现测试时机器遗忘
提出 ARIA，在冻结权重上用 SAE 做推理时遗忘门控
- arXiv
- 2609.16229
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 攻击者
- 白盒
- 被测模型
- DeepSeek-R1-Distill-Qwen-1.5B、Gemma-3-1B-it
- 评测与基准arXiv 2609.08901
论文揭示 BatchNorm 架构下机器遗忘评测的归一化伪影
诊断 BatchNorm 架构下机器遗忘评测的归一化伪影
- arXiv
- 2609.08901
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- ResNet-18、ResNet-50、ViT-S/16 等 4 个
摘要一次不改权重的 BN 重校准能翻转多数方法的表面遗忘，但不改变权重里的编码器泄露。
BN illusion 是作者对近似机器遗忘评测中一种 BatchNorm 测量伪影的命名：不改权重、只用 retain 数据重算运行统计，就可以把表面遗忘准确率翻过来。
- 攻击arXiv 2608.29458
Reference-Grafting 在提取沙袋行为隐藏能力上追平微调
提出参考嫁接，在推理阶段用激活干预诱导沙袋隐藏能力
- arXiv
- 2608.29458
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 攻击者
- 白盒
- 被测模型
- Qwen2.5-1.5B、Qwen2.5-3B、Qwen2.5-14B 等 15 个
- 攻击模型篡改
摘要提出参考嫁接在推理阶段以低成本匹配微调诱导效果，揭示隐瞒表征重叠与阈值门控机制。
- 防御arXiv 2608.05578
AMS 工具通过激活分析检测语言模型的安全训练改动
提出 AMS，用激活分离与方向相似度检测安全训练改动
- arXiv
- 2608.05578
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Llama-3.1-8B-Instruct、Llama-3.2-3B-Instruct、Llama-3.2-1B-Instruct 等 14 个
摘要AMS 按激活签名把安全改动分四类，前三类可由两级扫描覆盖，行为微调会漏。
AMS 是面向开放权重模型、部署前使用的激活扫描器，用来看安全训练被拿掉或改写之后，激活空间里还留着什么几何痕迹。
- 攻击arXiv 2605.08513
Apple 研究者发现抑制单个神经元即可绕过 LLM 安全对齐
提出单神经元激活干预，抑制拒答神经元或放大概念神经元以绕过安全对齐
- arXiv
- 2605.08513
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 攻击者
- 白盒
- 被测模型
- Qwen3-1.7B、Qwen3-4B、Qwen3-8B 等 11 个
摘要作者称大模型安全由拒答门控与概念底座构成，干预单个神经元足以双向击穿对齐，且拒答神经元在预训练阶段已然存在。
- 攻击arXiv 2604.10326
HMNS：通过注意力头掩蔽与零空间注入实现机制级越狱
提出 HMNS，通过注意力头掩码与零空间注入实现机制级越狱
- arXiv
- 2604.10326
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 攻击者
- 白盒
- 被测模型
- LLaMA-2-7B-Chat、Phi-3-Medium-4K-Instruct、LLaMA-3.1-70B 等 6 个
- 攻击越狱
- 攻击arXiv 2512.21008
GateBreaker：针对 MoE 大模型的免训练安全对齐攻击框架
提出 GateBreaker，推断时定位并置零 MoE 安全神经元以解除安全对齐
- arXiv
- 2512.21008
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 攻击者
- 白盒
- 被测模型
- GPT-OSS-20B、Qwen3-30B-A3B-Instruct-2507、Phi-3.5-MoE-Instruct 等 14 个
- 攻击模型篡改
- 攻击arXiv 2509.22067
论文：激活引导可破坏 LLM 安全对齐，20 个随机向量即可构造通用越狱攻击
提出激活转向越狱，用随机向量在推理时绕过安全拒答
- arXiv
- 2509.22067
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- Llama3.1-8B、Llama3.1-70B、Qwen2.5-3B 等 8 个
- 攻击越狱
摘要作者称激活转向会系统性破坏 LLM 对齐，良性特征与随机向量均能诱发有害合规，聚合随机向量可构建通用攻击。
已经到底了