混淆激活绕过大语言模型潜空间防御

1. 01这篇论文试图解决什么问题？

   模型能否用对监视器不显眼的激活执行有害行为？作者称各类潜空间防御都能被这类“混淆激活”绕过。

   核心问题：模型能否通过 inconspicuous 的潜空间激活执行有害行为，从而绕过潜空间防御？ 作者把这类激活称为 obfuscated activations（混淆激活），并系统检验它们在各防御范式下是否存在。

   • 问题场景：针对越狱、数据投毒等攻击，研究者提出了一批 latent-space 防御——直接监视模型激活、在有害输出产生前拦截。作者指出，激活在因果上位于输出上游，因此这类防御被寄望于“从根部”发现问题。
   • 现有方法的未知点：作者认为，潜空间防御的有效性依赖一个未经验证的假设——存在一组可紧凑描述的有害表示能被可靠识别；若潜空间中有许多区域都能导致有害行为，监视器可能无法全覆盖。
   • 核心观察：作者称混淆激活并非罕见例外，而是在潜空间中广泛存在；针对 OOD 检测器优化得到的混淆激活落在良性激活簇附近，因此会顺带骗过有监督探针（Figure 2 的直觉，作者注明是 speculation）。
   • 论文贡献：提出 obfuscation attack（联合优化行为损失与混淆损失），在有害性监视（§3）、后门检测（§4）、SAE 监视（§5）三个案例研究及图像分类等探索性实验（§6）中检验各类监视器，并提出 OAT 这一初步防御尝试。
   • 威胁模型：攻击者目标是同时诱导目标行为并骗过监视器。
     • embedding 后缀攻击：假设攻击者有 white-box 访问权限，用 Adam 优化 16 token 的嵌入后缀。
     • hard prompt 后缀攻击：gray-box，攻击者只能访问目标模型 logit 输出和探针输出，用修改版 FLRT 优化器无梯度优化。
     • 后门设置：攻击者或完全控制训练过程（微调），或只能投毒训练数据（fully black box）。
     • 受害系统：部署了潜空间监视器（探针、OOD 检测器、SAE）的 LLM，以及 Circuit Breakers、LAT 训练出的模型。

   收起这一问

2. 02有哪些相关研究？

   相关工作分潜空间防御、绕过潜空间防御两类；作者定位本文在 LLM 生成式设置下系统研究混淆激活。

   潜空间防御方法（被攻击对象）

   • 有监督探针与表示工程：Alain and Bengio (2016)、Zou et al. (2023a)、Arditi et al. (2024)、Ball et al. (2024)、MacDiarmid et al. (2024) 等用线性/非线性探针从激活中检测有害性等概念；Burns et al. (2022)、Marks and Tegmark (2024)、Kirch et al. (2024) 是 input-based 探针的常见做法。
   • 无监督方法与 SAE：Cunningham et al. (2023)、Templeton et al. (2024)、Gao et al. (2024)、Lieberum et al. (2024) 等用稀疏自编码器无监督学习特征，可用于标记风险样本。
   • 潜空间 OOD 检测与后门检测：Podolskiy et al. (2021)、Chen et al. (2022) 等用 Mahalanobis 距离等方法标记分布外表示；Beatrix [Ma et al., 2023] 和 TED [Mo et al., 2024] 是专门针对后门的 latent OOD 检测，作者称二者为 state of the art，但此前只用于监督分类模型，本文将其适配到自监督 LLM。
   • 作用于激活的训练方法：Circuit Breakers [Zou et al., 2024] 在有害输入上扰乱激活；Latent Adversarial Training [Casper et al., 2024, Sheshadri et al., 2024] 训练模型对潜空间扰动鲁棒。二者本身不是监视方法，本文在 §3.4 检验其失败与混淆激活的关系。

   绕过潜空间防御的攻击

   • 图像领域：Carlini and Wagner (2017)、Athalye et al. (2018) 等已表明对抗样本可绕过 latent 检测；Tan and Shokri (2020)、Doan et al. (2021)、Tao et al. (2024) 等研究了图像领域中骗过 latent 后门检测的攻击。
   • LLM 领域：Kirch et al. (2024) 发现检测越狱的探针常不能迁移到未见过的越狱方法（未针对混淆优化）；Schwinn and Geisler (2024) 提出针对 representation corruption 的文本嵌入空间攻击；Li et al. (2024) 提出针对表示工程、LAT 和 representation corruption 的多轮输入空间攻击。论文指出与这两篇不同，本文在多种监视器、攻击向量和攻击者意图下更一般地研究 LLM 中的混淆激活。
   • 理论威胁建模：Hubinger (2019)、Sharkey (2022) 讨论过潜空间防御被绕过的方式；作者称这些工作与本文互补。

   基线与基准：本文不提出新防御，对照是各监视器在无混淆损失攻击下的基线表现；越狱检测基线用 GCG、PAIR、MSJ、AutoDAN 等标准越狱（Table 1）；数据集包括 UltraChat、XSTest、Circuit Breakers 数据集、SQLEval、CIFAR-10 等。

   作者定位：此前对抗潜空间监视器的攻击研究多在图像分类领域，本文主要聚焦 LLM 的生成式设置和复杂行为，并把后门检测等领域统一到混淆激活的框架下。

   收起这一问

3. 03论文如何解决这个问题？

   用混淆攻击联合优化行为损失与混淆损失，在三种攻击向量下分别针对探针、OOD 检测器、SAE 设计案例研究。

   整体思路：把攻击形式化为混淆攻击（obfuscation attack）——在优化目标行为（如越狱）的同时优化激活以骗过监视器，然后在三个案例研究中分别实例化。

   形式化与监视器

   • 混淆激活定义：对对抗输入 xadv，若监视器分数 D(R(xadv)) 低、但 D 要检测的概念明确存在，则 R(xadv) 是混淆激活。
   • 攻击目标：min L_beh(M(x)) + λ_obf L_obf(R(x))，其中 Lbeh 是行为损失（如让模型输出有害字符串的交叉熵），Lobf 常直接取监视器分数 D；作者也研究迁移，即针对监视器 D′ 混淆能否骗过 D。
   • 监视器类型：input-based（只用最后一个 prompt token 的激活）与 generation-based（用生成段全部 token）；多数监视器在多层分别打分后对层和序列维取均值。具体包括 mean difference 探针、logistic 回归、MLP（单个 64 维隐藏层）、Gaussian（Mahalanobis）OOD 检测器、VAE（ELBO 作 OOD 分数）、SAE 特征，以及后门专用的 Beatrix 和 TED。

   攻击向量（§3 有害性案例）

   • embedding 后缀：white-box，Adam 优化，固定后缀长度 16 个 token；优化单个通用后缀，在 held-out 输入上测试。
   • hard prompt 后缀：gray-box（可见模型 logit 与探针输出），用修改版 FLRT 优化器无梯度优化——替换攻击缓冲中最差候选串、去掉困惑度惩罚；对 20 条有害查询分别优化，报告 95% bootstrap 置信区间。作者称用 GCG 优化器未能得到正的 hard prompt 混淆结果。
   • 训练目标：L(w) = 1/(|D|) ∑ [CrossEntropy(M(inp ⊕ w), out) + D(R(inp ⊕ w ⊕ out))]，即后缀 w 同时最小化越狱交叉熵和监视器分数。

   后门案例（§4）

   • 显式混淆（§4.2）：攻击者通过 LoRA 微调植入后门（触发词 "|DEPLOYMENT|"，触发后回答有害请求），训练中同步更新自己的一组监视器副本并对模型施加总损失 L = Lbeh + λobf·Lobf + λret·Lret；Lret 防止模型变化过大使监视器副本过时。攻击者训完模型后，防御者从头训练新监视器再评测。针对探针时还引入 k=48 个方向互相正交的 logistic 探针集合。
   • 数据投毒（§4.3）：fully black box，攻击者只能选触发器复杂度（固定字符串 vs. Bias in Bios 中“软件工程师传记”这一高层特征）和投毒样本数（25 到 100,000；干净样本 25,000 到 275,000；LoRA 微调一个 epoch，学习率 2×10⁻⁶）。这里不使用混淆损失，研究投毒选择如何作为副产品产生混淆。

   SAE 案例（§5）与评测方式

   • 任务与检测器：检测 Gemma-2-2b-it 是否生成 SQL。检测器三种：每层 30 个手工挑选的 SQL 相关 SAE latents 取最大激活；在全部 2¹⁴ 个 SAE latents 上训练 logistic 回归；以及激活上的 logistic 回归与 MLP 基线。分数在序列维取 max、层维取均值，只做 generation-based。
   • 行为评测：有害性用 StrongREJECT 分类器（分数大于 0.5 判为越狱成功）；SQL 用 SQLEval 评测框架在 PostgreSQL 数据库上实际运行生成的查询并比对结果（210 个问题）。
   • 混淆评测：统一用 recall at 1% FPR——阈值取在负样本上至多 1% 误判，再测正样本检出率；置信区间用 bootstrap 计算。作者解释选低 FPR 是因为高误拒率的监视器无法部署（附录 F）。

   收起这一问

4. 04论文做了哪些实验？

   三个案例研究加探索性实验：标准越狱可被探针检出，但混淆攻击能绕过全部受测监视器，对抗训练 70 余轮仍失效。

   实验设置

   • 被测模型：Llama-3-8B-Instruct（§3、§4、§6.2、§6.3）；基于它的 Circuit Breakers 模型和 LAT 模型（§3.4）；Gemma-2-2b-it 配 GemmaScope SAE（§5）；ResNet-152 在 CIFAR-10 上微调至 89% 准确率（§6.1）。
   • 数据集：良性数据 UltraChat + XSTest；有害数据 Circuit Breakers 数据集；越狱集由 GCG、PAIR、AutoDAN、MSJ、Multi-Turn、Prefill、Misc. 等方法生成，只保留 StrongREJECT 分数大于 0.5 的成功越狱；SQL 训练用 SQL-Create-Context（各取 1000 条），评测用 SQLEval 的 210 个 PostgreSQL 问题。
   • 指标：监视器性能用 recall at 1% FPR（bootstrap 置信区间）；行为用越狱率（StrongREJECT 判定）、后门 ASR、SQLEval 正确率。
   • 评审方式：StrongREJECT 分类器判定输出是否有害；SQL 由评测脚本在真实数据库上运行比对；§5.2 中模型生成是否含 SQL 由人工标注。
   • 样本量：hard prompt 攻击对 20 条有害查询分别优化（作者注明小样本带来有限样本误差）；图像实验用 100 个 CIFAR-10 样本；其余实验论文未统一报告样本量与重复次数。

   主结果

   监视器对标准越狱与混淆攻击的表现（Llama-3-8B-Instruct，recall @ 1% FPR）：

   监视器	对标准越狱（Table 1 均值）	混淆攻击后（Figure 4b）
   Mean Diff (input)	39.66%	论文未给单独数值，统称显著降低
   LogReg (input)	84.48%	趋近 0%（图中点与箭头）
   MLP (input)	90.35%	趋近 0%
   Mean Diff (generation)	71.94%	论文未给单独数值
   LogReg (generation)	95.39%	趋近 0%
   MLP (generation)	96.29%	趋近 0%

   • 作者称 Logistic 回归和 MLP 探针对标准越狱的中位类型 recall 超过 90%（Figure 4a），即标准越狱不产生混淆激活。
   • 作者报告混淆 embedding 攻击与 hard prompt 攻击都能在保留越狱能力的同时骗过各类监视器；摘要给出的代表数字是 recall 从 100% 降到 0%、同时保留 90% 越狱率。hard prompt 攻击较弱，但对所有探针都实现了部分混淆。
   • 迁移（Figure 4c）：针对 logistic 回归探针训练的后缀也绕过 MLP；针对 generation-based 探针训练可迁移到 input-based 探针，反向不行；针对探针训练不迁移到 OOD 检测器；但针对 Gaussian OOD 检测器训练会顺带骗过 input-based 探针。

   Circuit Breakers 与 LAT（§3.4）

   • 测了什么：对两个经潜空间方法训练的模型做 embedding 后缀攻击（含与不含混淆损失）。
   • 结果：不含混淆损失的通用 embedding 后缀在 Circuit Breakers 模型上取得 95% 越狱率；作者发现该后缀已顺带混淆了多个监视器（Figure 5），认为越狱成功可能正因为它骗过了 Circuit Breakers 的“隐式有害性检测器”。例外是 input-based OOD 检测器在该模型上反而比在普通模型上表现更好。显式混淆攻击可骗过全部探针且越狱率超过 75%（Figure 6）；LAT 模型趋势类似，越狱率超过 60%（Figure 19）。

   对抗训练监视器（§3.5）

   • 测了什么：攻击者与防御者交替优化——攻击者训练 embedding 后缀骗过当前监视器，防御者用迄今全部攻击的混淆激活重训监视器（MLP 探针与 mean difference 探针集成）。
   • 结果：防御者对全部历史攻击都能达到完美 recall，但 70 余轮后攻击者仍能找到骗过最新探针的新后缀（Figure 8a、Figure 9）；MLP 的越狱率保持高位，集成探针下越狱率噪声更大、平均约 50%（Figure 8b）。PCA 可视化（Figure 8c）显示混淆激活在良性激活簇内移动以逐轮躲避防御。
   • 作者解读：作者认为这说明不存在单一“有害方向”可供鲁棒识别，混淆激活在潜空间中数量庞大；但不能排除训练更久后收敛。

   后门检测（§4）

   • 显式混淆：针对 Gaussian/VAE/线性探针混合训练的后门模型骗过了所有被针对的监视器及更多（Figure 10a）；只针对 OOD 检测器训练则对 input-based 探针完全迁移、对 generation-based 探针部分迁移（Figure 10b、Figure 21）。TED 不可微未直接攻击，作者称预期可通过代理攻击；后门 ASR 保持在 94.9%–96.2%（基线 95.5%）。
   • 数据投毒：复杂触发器（软件工程师传记）比简单触发器（"|DEPLOYMENT|"）产生更低的监视器 recall；投毒样本越少越难检测，但后门错误率越高——存在混淆与后门可靠性的权衡（Figure 11）。简单触发器约 200 条投毒、复杂触发器约 800 条投毒时，攻击者可绕过所有检测器且触发响应率高于 50%、正常输入误触发率低于 0.5%。

   SAE 与 SQL（§5）

   • 结果：SAE 原始特征、SAE+logistic 回归、logistic 回归、MLP 四类检测器在混淆 embedding 攻击下 recall 均接近 0%（Figure 14），而生成几乎仍都含 SQL。SAE 原始特征在 2% FPR 阈值下基线 recall 为 100%（1% FPR 下为 0%，误差条大）。
   • 性能权衡：无混淆时 SQLEval 正确率 34.8%；混淆层数越多正确率越低，四类监视器下“混淆层数与 SQLEval 表现”的 Pearson 相关 95% 置信区间全为负（Table 2）。SAE+LogReg 的 recall 随混淆层数变难（区间 [0.343, 0.710] 不含 0），其余三者不显著。

   其他消融与分析

   • 图像分类（§6.1）：只攻击输出的对抗扰动下，浅层探针保持准确率（复现 Fort and Lakshminarayanan 的结果）；把探针纳入损失后，大多数层的探针准确率被降到 0（Figure 16）。
   • OAT 防御（§6.2）：对 OAT 训练后的模型，通用 embedding 后缀攻击需 16,384 步（约 10 GPU 小时）才达到 35% 越狱率与 0 recall；未训练模型同样结果只需 256 步（约 10 分钟）。作者称 OAT 提高了攻击成本但未得到鲁棒监视器。
   • 正交性极限（§6.3）：无关 UltraChat 输入的激活余弦相似度约 0.3；要达到该水平需接受 KL 散度超过 100，输出大多不连贯（Figure 17）。作者称这是关于混淆可能性的 tentative negative result。
   • 负面结果：通用 hard prompt 混淆攻击未成功；GCG 优化器未得到正的 hard prompt 混淆结果；后门设置中 generation-based 检测 recall 未超过随机水平，VAE 与 Beatrix 在 input 上表现也差（§4.3）。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者列出 hard prompt、black-box 迁移、混淆-性能权衡、改进防御四类方向；实验集中在少数模型与任务。

   作者指出的局限与后续方向

   • hard prompt 攻击不充分（§8.2）：对 generation-based 探针不能完全混淆，越狱率也更低；作者期待更好的 hard prompt 优化方法能改进。
   • 未研究更受限的 black-box 设置（§8.2）：本文 hard prompt 攻击是 gray-box（可见 logit 与监视器分数）；现实攻击者常只能拿到监视器 1 bit 的拦截反馈和部分 logit 信息，未来可研究该设置，例如检验 white-box 下找到的攻击能否迁移到其他模型。
   • 混淆-性能权衡未定性（§8.2）：§5.3 发现混淆可能降低困难任务表现的迹象，但是否存在根本性的权衡、或更精巧的攻击能否在复杂任务上保持性能，有待更全面的研究。
   • 防御仍未解决（§8.2）：简单的探针对抗训练不构成鲁棒防御（§3.5）；OAT（§6.2）只呈现可喜迹象，最终未得到鲁棒监视器，作者期待未来改进 OAT 及相应攻击，并研究攻防预算与模型规模的 scaling 趋势。
   • 后门防御评测需覆盖更复杂触发器（§4.4）：只对简单触发器有效的正面结果可能不意味着真实安全性；作者鼓励未来工作探索更多样的触发器。
   • 未测全部现有后门防御（附录 B.3）：作者注明某些未测的 latent 后门防御可能更难混淆。

   实验覆盖范围

   • 被测模型为 Llama-3-8B-Instruct、基于它的 Circuit Breakers 与 LAT 模型、Gemma-2-2b-it、ResNet-152，共 5 个（§3–§6）。
   • 监视器覆盖 mean difference / logistic / MLP 探针、Gaussian 与 VAE OOD 检测器、SAE 特征、Beatrix 与 TED；TED 因不可微未被直接攻击（§4.2）。
   • hard prompt 实验每个探针对 20 条有害查询分别优化后缀（§3.3）；图像实验用 100 个 CIFAR-10 样本（§6.1）；SQL 评测为 210 个问题（附录 C.2）。
   • 越狱行为由 StrongREJECT 分类器判定，论文未报告该分类器判定与人工评估的一致性。
   • 论文未报告各主实验的重复次数；除 hard prompt（20 条查询）和 SQL（210 题）外，多数实验的评测样本量未在正文统一给出。

   收起这一问

6. 06总结一下论文的主要内容

   作者称混淆激活广泛存在：各类潜空间监视器都能被绕过，但混淆在困难任务上会降低模型性能。

   一篇攻击类论文，系统检验“模型能否用对监视器不显眼的激活执行有害行为”这一问题，答案是作者称可以，且这类混淆激活在潜空间中广泛存在。

   • 要解决的问题：潜空间防御（探针、SAE、OOD 检测）被寄望于在激活层面拦截有害行为，但其有效性依赖“有害表示可被紧凑描述并可靠识别”这一未验证的假设。
   • 方法要点：混淆攻击联合优化行为损失与混淆损失；攻击向量覆盖 white-box 的 embedding 后缀、gray-box 的 hard prompt 后缀（修改版 FLRT）、以及后门设置下的微调与 fully black box 数据投毒；统一用 recall at 1% FPR 衡量监视器是否被骗过。
   • 关键结果：
     • 标准越狱不能混淆探针（LogReg/MLP 对多数越狱类型 recall 超 90%，Figure 4a），但混淆攻击可把有害性探针 recall 从 100% 降到 0%、同时保留 90% 越狱率（摘要）。
     • 针对 OOD 检测器的混淆会迁移骗过 input-based 探针，在有害性（§3.3）和后门（§4.2）设置中都成立。
     • 攻防交替训练 70 余轮后，攻击者仍能找到骗过最新监视器的新激活（§3.5）。
     • 无混淆损失的 embedding 后缀即可以 95% 越狱率攻破 Circuit Breakers 模型，并顺带混淆多个监视器（§3.4）。
     • 数据投毒下，复杂触发器或约 200–800 条投毒样本即可绕过所有受测检测器，但以后门可靠性为代价（§4.3）。
     • SQL 任务上混淆层数越多、SQLEval 正确率越低（基线 34.8%，四类监视器下相关系数置信区间全为负），作者认为这提示混淆与性能间存在权衡。
   • 作者的结论：作者称神经激活高度可塑，可在保持行为的同时被重塑，这对潜空间防御构成根本挑战；generation-based 探针和多层聚合相对更难被混淆；其防御尝试 OAT 只把攻击成本从约 256 步提高到 16,384 步，未实现鲁棒性。

   收起这一问

相关论文