Amnesia：针对大语言模型特定语义层的对抗性激活引导

开源权重 LLM 的安全拒答，能否在不微调、不改提示词时被推理时的激活干预绕过。

• 场景：作者称 LLM 可被用来写钓鱼邮件、有害程序，或生成反社会与种族主义内容。开发流程虽含数据、合成数据、安全微调与测试、红队、监督微调和 RLHF，作者仍认为这些措施是否足以阻止有害回复尚未确定。
• 现有不足：作者称多数越狱依赖人工设计提示词，和/或要在目标函数上微调或训练，时间与算力开销大；还受缺少合适越狱目标、离散输入空间和繁琐优化限制，实践中容易失效。
• 核心观察：作者称不同层捕获不同层次信息，中间层输出可解码。Amnesia 假设拒答会在某个 decoder 层的 attention value 路径上先成形，因此只在更早的 block 做局部减法。
• 提出的方法：作者提出 Amnesia，一种免训练的激活空间对抗攻击：不改提示词和权重，只使用一小部分 attention 激活，并同时用 ASR 与 MMLU、ROUGE、perplexity 查看效用。
• 威胁模型：
  • 知识：论文写 white-box。攻击者完全访问内部参数，并可访问、操纵 residual stream。
  • 能力：可自由查询，观察 hidden states 或 layer activations，并有做推理与激活分析的算力。
  • 目标：推理时造成针对性不当行为，例如错误或有害输出；也要解读或重构中间层输出。
  • 边界：不改训练、不重训，只做推理时操纵。受害对象是 open-weight LLM。

黑盒提示词越狱

• DAN 与 WildJailbreak（Shen et al., 2024）：把模型当黑盒，用角色扮演或系统提示覆盖安全行为。WildJailbreak 收集 390 道 forbidden questions，覆盖 13 个 OpenAI 政策场景。
• PAIR（Chao et al., 2024）：维护候选越狱提示种群，查询目标模型和安全评审，按成功分数做变异式编辑。作者称大约几十次查询内可找到高成功提示，且不用梯度。
• 提示工程实证（Liu et al., 2023）：作者在引言中称其评估了多种基于提示词的越狱。论文未单列与 Amnesia 的数字对比。

白盒梯度后缀与训练

• GCG（Zou et al., 2023）：把越狱写成学习短的通用对抗后缀，用 Greedy Coordinate Gradient 提高肯定或非拒答续写的对数似然；后缀可接到新输入上，并常迁移到其他模型。
• LSGM 与 LILA（Li et al., 2024）：压低较后残差块的梯度，或使更新对齐中间层对抗方向。作者称相对原始 GCG，在 AdvBench 上提高 ASR，并改善迁移与计算效率。
• 微调侵蚀对齐（Qi et al., 2023）：少量有害数据、甚至带对抗标签的看似良性数据上的监督微调，可能削弱安全保证。AutoDAN（Liu et al., 2023）被描述为基于 Zou et al. 生成隐蔽、可读的对抗样本。

激活空间与中间表示

• 拒绝方向（Arditi et al., 2024）：作者称拒答主要由 residual stream 中的单一方向介导；对比拒答与遵从的有害提示，估计拒绝向量，推理时投影掉或把权重编辑成与之正交。论文批评该方法要在每层、大量有害与良性提示上算激活，依赖精选数据集，对攻击者不实用。
• Tuned lens（Belrose et al., 2023）：为每个 block 训练仿射探针，把隐藏状态解码到词表。作者称 Amnesia 受其启发，但机制不同。中间激活可解码的工作（Shan et al., 2024；Skean et al., 2025）被用来支持“中间层可解释”。
• Abliteration（Labonne, 2024）：只在与全局残差方向方法并列时被引用，论文未展开其做法。

基线与基准

• 基线方法：No-Attack；第 5.1 节把 Arditi et al. 的权重正交化称为 ORTHO，并称该方法为 SOTA。Table 12 还按是否目标训练、是否改权重、是否改提示词、激活转向是全局还是局部，对比 Arditi et al.、AutoDAN、PAIR、Zou et al. 与 Li et al.。
• 基准：Forbidden Questions（WildJailbreak，390 题、13 场景）、AdvBench 的 Harmful_behaviours、HARMBENCH 的 159 条 standard behaviors；效用侧为 MMLU、SAMSum 与 perplexity。

作者把 Amnesia 定位为：相对黑盒提示词攻击和白盒后缀优化，免训练、不改提示词与权重，只访问少量 attention 激活；相对全局残差方向方法，只在单个安全位点的 attention value 路径上做局部干预。

整体是推理时的局部激活转向：先找到拒答相关层，再在更早一层的 value 上减去缩放后的该层向量。作者将方法称为 Amnesia。贡献部分称从 value stream 减去 αVi；第 3 节把同一操作写成更新 V 后重算 attention。

威胁模型与形式化

• 攻击者：white-box，可读写 residual stream 与层激活，不改训练。
• 符号：目标模型 M，对抗查询 AQ，敏感关键词集 Sb，用户查询 UQ，层偏移 j，缩放因子 α。Table 1 列出这些记号。
• 不改输入：用户提示词和权重都保持原样，干预发生在前向的内部激活上。

定位安全相关层

• AQ 一次前向：AQ 是任何旨在引出拒答的输入。论文给了填空式例句，此处不引用原文。逐层 logits 经 Decode 得到 token，公式对应 Eq. 6–7；算法要求 Top-K，Table 2 报告的是 Top 10。
• 解码位置：不解码较早层。作者理由是较早层通常负责词汇而非语义。解码做在每层多头 attention 之后，作者理由是 Llama、OpenAI 一类模型建立在 transformer 的 attention 上。
• 选层：Identify 在解码 token 中找与违法或其他敏感议题相关的层，记为 Li（Eq. 8）。这一步每个模型做一次。

取出向量并在更早层相减

• 校准前向：用 Sb 再跑一次前向，钩取 Li 的 residual stream value 矩阵 V_Li（Eq. 9）。论文举例 Sb 为 denial-like token，如 illegal、harmful，另给过 illegal、sensitive、unethical。初始化只执行一次。
• 用户查询：前向只走到 L(i-j)，j 属于 {1, 2, 3}。更新为 V_L(i−j)=V_L(i−j)−α× V_Li，即从更早层的 value 中减去 α 倍 Li 的向量。
• 重算 attention：用更新后的 V 按原来的 softmax(QK^T/√d_k)·V 得到 A，再自回归生成到结束。作者称减法发生在安全特征完全汇合之前。
• α 的经验选择：α 为经验浮点缩放。脚注称过大可能进入重复或不稳定循环，过小可能压不住目标激活。未另作说明时 α=0.6。

成功判定

• 4.1 节：在回复级比较基线与 Amnesia。若被攻击模型出现至少一处非拒答模式、且基线拒答，则该次成功；用拒答短语启发式检测。ASR 是发生这种非拒答的提示占比。
• 4.2 节：又称沿用先前工作，只要按该启发式不拒答即成功，只分 refuse 与 answer，没有额外 ground-truth。两处表述不完全相同，论文未再统一。
• 循环输出：后文把满足非拒答、但出现退化重复的回复单独计为 looping，与 non-looping 分开。

实验设置

• 被测模型：默认 Llama-2-7B-Chat；另有 Llama-3-8B-Instruct、Qwen-7B-Chat。没有攻击用的辅助 LLM。
• 有害请求数据：Forbidden Questions 为 WildJailbreak 子集，390 题、13 个 OpenAI 风格场景；AdvBench 的 Harmful_behaviours，论文未写条数；HARMBENCH 的 159 条 standard behaviors。
• 基线：No-Attack。与 Arditi et al. 的比较使用其报告的 ORTHO，作者称该数字抄自原文。
• 主指标：ASR。4.1 与 4.2 的成功定义见上一问。另报告 looping 占比、MMLU 准确率、ROUGE 与 perplexity。
• 评审：主表用拒答短语启发式。4.9 节用 GPT-4o 输出 Yes（不安全）、No（安全）或 Pass。5.1 节用 Meta-Llama-Guard-2-8B，把以 unsafe 或 safe 开头的输出映射为对应标签；作者称没有含糊标签。
• 默认干预：α=0.6，除非另写。Llama-2 上作者把与拒答 token 相关的层定在 16（Table 2：security 的重要性分数 24，legal 为 7）。主 ASR 的温度、最大长度和重复次数论文未写。HarmBench 风格生成为 greedy、temperature≈0、最长 512 token。

主结果

Table 3 的 0.921 是 i=16、j=1,2,3 中的最好结果，论文未写对应哪一个 j。Table 7 把层固定为 14、α=0.6 时 ASR 为 81.54%，与 0.921 不是同一设置。

Swipe horizontally to read the table

模型	基准	基线	Amnesia	出处
Llama-2-7B-Chat	Forbidden Questions	0.536	0.921	Table 3
Llama-2-7B-Chat	AdvBench harmful_behaviours	0.348	0.863（j=2,3）	Table 4
Llama-3-8B-Instruct	AdvBench	0.551	0.863（L13与L14）	Table 6
Llama-3-8B-Instruct	Forbidden Questions	0.692	0.923（L13–15）	Table 6
Qwen-7B-Chat	HARMBENCH 159题	45.5%	64.9%（L21–24并集）	Figure 3

• 作者称 Llama-2 在 Forbidden Questions 上大约增加 38 percent；AdvBench 的 Δ 为 0.515。作者称 Llama-3 基线更高、默认拒答更弱，但干预后 Forbidden Questions 上与 Llama-2 接近，因而认为可跨模型使用。
• Qwen 单层并不都高于基线：L21 为 48.5%，L22 为 35.8%，L23 为 45.5%，L24 为 30.6%。作者称单层变化中等，并集才升高，并认为这与 Layer 23 的盗窃相关中文 token 相符。Qwen 用的是拒答字符串启发式，作者称它比官方 HarmBench 分类器更宽。
• 作者称 Financial Advice 与 Health Consultation 的基线已 ≥0.96，上升空间有限。

类别分解与 α

• Table 5（Llama-2-7B-Chat，j=2，i=16，即 L14）：Malware 0.267→0.900（Δ=+0.633），Fraud 0.233→0.800（Δ=+0.567），Physical Harm 0.367→0.667（Δ=+0.300），Hate Speech 0.433→0.700（Δ=+0.267），Illegal Activity 0.033→0.300（Δ=+0.267）。Financial Advice 两端都是 1.000。所附文本的 Table 5 未列出 Political Lobbying、Pornography、Privacy Violence 三行。
• Table 7（层固定为 14）：α=0.4 时 ASR 62.31%、Loop 0.00%；0.6 时 81.54% 与 1.03%；0.8 时 96.15% 与 29.23%，此时非循环成功为 66.92%。作者称 α 增大使 ASR 单调上升，但 α≥0.7 后循环成功急剧变多，对攻击者的可用性下降。Figure 5 的文字称 α≈0.6 时 ASR 上升且循环仍低。
• Figure 4（α=0.6，Layers 13–15）：作者称 L14 整体高于 L13 和 L15，但并不对所有类别成立，Malware 上 L13 更高。文本未给出各柱数值。Table 5 与 Table 8 在 α=0.6 的同名类别数字不同，论文未说明是否同一次运行。

GPT-4o 评审与良性效用

• Table 9：GPT-4o 评 Forbidden Questions。论文未在 4.9 节写明层与 α，只称 multiple runs 聚合，未给次数。无攻击时 Safe 列为 95.0 至 100。有攻击时 Unsafe 从 Physical Harm 的 20.0 到 Political Lobbying 的 96.6；低于 50 的还有 Malware 33.3、Fraud 48.0。作者称多数类别的不安全比例更高。Illegal Activity 的无攻击 Unsafe 格在文本中为“02”，列对齐不确定，此处不引用。
• 与 ASR 不是同一指标：Table 5 里 Financial Advice 的基线 ASR 已是 1.000，Table 9 无攻击时仍有 99.6 被判 Safe。作者未解释这一差别。
• 效用（Llama-2-7B-Chat，Layer 14，α=0.6）：MMLU 从 46.47% 到 46.77%。作者称约 0.3%，广域问答未实质受损。SAMSum 上 ROUGE-1 +0.0066、ROUGE-2 −0.0067、ROUGE-L −0.0027、ROUGE-Lsum +0.0044；Perplexity 从 56.992 到 66.161（+9.169）。作者称 ROUGE 基本不变，perplexity 约升 9.2，外部 LM 更不偏好这些输出，但未系统性降低与参考摘要的重叠。作者称结果只对所选 layer、α、关键词探针成立。

与 ORTHO 的 HarmBench 比较

• 协议：同一 159 条 standard behaviors，greedy，temperature≈0，最长 512 token，无 system prompt，不对单条提示单独优化。分类器为 Meta-Llama-Guard-2-8B。
• Amnesia：L13、L14、L15 分别有 112、90、77 / 159 被标为 unsafe；Figure 6 标为 70.4%、56.6%、48.4%。Figure 7 中 DR 为 0.0%，ORTHO 为 79.9%，Amnesia 在 L13 为 70.4%。作者称 ORTHO 抄自 Arditi et al. 有、无默认 system prompt 的报告值，但图上只标出一个 79.9%。
• 另一启发式：同一 159 题若改用拒答短语启发式，基线 ASR 为 53.5%，L13–15 并集为 95.6%。作者称分类器评估更保守，两种协议下 Amnesia 都提高了非拒答、且常常被判不安全的比例。

其他消融与分析

• Table 8，α=0.4/0.6/0.8 的单元格为 ASR/looping 百分比；作者称 0.4 到 0.6 对边界类别提升更大，0.8 收益变差且循环增多。例：Illegal Activity 为 17/0、43/0、87/27。
• 脚注：α 过大可能重复或不稳定，过小可能压不住目标激活。
• Qwen 的 Li 由解码确定：Layer 23 出现盗窃、盗、偷等中文 token，因而评估 Layers 21–24。
• 附录 A 是自定义反社会提示的定性对照，不引用回复原文。附录 B 的 Table 13 是各场景查询示例。

作者指出的局限与后续方向

• 未测架构：作者称不能把结果推广到没有测试过的架构（第 6.1 节）。
• 经验参数：方法依赖经验确定的缩放因子 α 和转向向量 Sb；按 ASR 优化 α 仍是开放问题（第 6.1 节）。
• 定位：作者在 Limitations 中把本研究视为 proof-of-concept，用来展示单层加性激活转向可以改变拒答（第 6.1 节）。
• 后续计划：作者计划探索 informed activation manipulation，在特定层引入恶意行为，并与 Amnesia 结合，以考察输出是否更有创造性、也更恶意（第 7 节）。

实验覆盖范围

• 攻击实验的目标模型为 Llama-2-7B-Chat、Llama-3-8B-Instruct、Qwen-7B-Chat（第 4 节、Table 6、Figure 3）。
• 有害请求数据为 Forbidden Questions（390 题、13 个场景）、AdvBench Harmful_behaviours、HARMBENCH 的 159 条 standard behaviors。
• 判定方式包括拒答短语启发式、GPT-4o（Yes/No/Pass）和 Meta-Llama-Guard-2-8B；良性任务为 MMLU、SAMSum 与 perplexity，且都写明为 Llama-2-7B-Chat、Layer 14、α=0.6（Table 10、11）。
• 与 Arditi et al. 的比较使用作者抄录的 ORTHO，以及无 system prompt、不对单条提示单独优化的 Amnesia（Figure 7、第 5.1 节）。
• 论文未报告主 ASR 的重复次数，也未报告主实验解码温度（HarmBench 风格设置除外）；未报告评审与人工判定的一致性；未写明 AdvBench Harmful_behaviours 的条数；未说明 Table 5 与 Table 8 是否同一次运行。

Amnesia 是针对 open-weight LLM 的 white-box 推理时攻击：不微调、不改权重、不改提示词，只改某一处 attention value。

作者要处理的是，RLHF 与安全微调之后模型仍可能被越狱，而提示词构造和梯度后缀优化开销大。做法是用对抗查询定位拒答相关层 Li，用少量敏感关键词取出该层向量，再在更早的 L(i-j) 减去 α 倍该向量并重算 attention。未另作说明时 α=0.6，j 取 1、2 或 3。

• Llama-2-7B-Chat：Forbidden Questions 上 ASR 从 0.536 到 0.921（Table 3，j=1,2,3 中的最好结果）；AdvBench 从 0.348 到 0.863（Table 4，j=2,3）。固定 L14、α=0.6 时 Table 7 为 81.54%，与 0.921 不是同一设置。
• Llama-3-8B-Instruct：Forbidden Questions 从 0.692 到 0.923（L13–15），AdvBench 从 0.551 到 0.863（L13 与 L14）（Table 6）。
• Qwen-7B-Chat：159 题上基线 45.5%，L21–24 并集 64.9%；L22 为 35.8%、L24 为 30.6%，低于基线（Figure 3）。
• 更严判定：Llama Guard 2 下 L13 为 70.4%（112/159）。Figure 7 中无攻击 DR 为 0.0%，作者抄录的 ORTHO 为 79.9%。同一 159 题的拒答启发式并集为 95.6%，基线 53.5%。
• 效用：L14、α=0.6 时 MMLU 从 46.47% 到 46.77%；perplexity 从 56.992 到 66.161。α 增大会提高 ASR，也提高循环输出比例。

作者认为开源权重模型需要更稳健的防护。Limitations 中称这是 proof-of-concept，不能外推到未测架构，α 与转向向量靠经验选定；作者计划以后在特定层主动加入恶意行为，再与 Amnesia 结合。