AnchorRep：用表征排斥防御 LLM 跨模型对抗迁移攻击

开源权重模型上优化的越狱可迁移到架构不同的独立部署模型，现有防御不是为这种跨模型威胁设计的。

• 场景与重要性：作者称 LLM 被用于安全关键应用，GCG、PAIR、AutoDAN、TAP 等梯度攻击在源模型上优化后，会稳定攻破不同架构族的目标模型（transferability）。开源权重生态使攻击者可选的源模型变多，相似架构的生产系统即使未被探测也会继承该漏洞。
• 现有方法的不足：表征工程（Circuit Breakers、RepBend、RMU、CRL）和输入层方法主要针对同模型攻击设计与评测。作者称它们在跨模型迁移上可以达到较强安全数字，但效用代价大：OR-Bench 过度拒答最高上升 18%，Circuit Breakers 在 Llama-3 上对 77% 的良性回复产生不连贯输出（Table 2）。
• 核心观察：作者称跨模型迁移与共享内部表征几何一致，因而成为自然的防御目标。在 20 个 LLM 上，族内更高的 CKA 对应更高的 GCG 迁移 ASR（Figure 1）；Table 1 在三个架构一致族上，有害提示中层 CKA 与迁移 ASR 的同族 Spearman ρ 为 +0.910（p<0.01）。
• 本文提出：AnchorRep 用轻量 LoRA 适配器，把被防御模型在有害提示上的内部表征推离冻结锚点模型在同一提示上的表征。训练只用一小批有害提示，不用对抗样本。作者并引入 Benign Garble Rate（BGR），量化标准拒答指标捕捉不到的退化良性输出。
• 威胁模型：
  • 目标：攻击者在源模型上优化对抗提示，使其迁移到架构不同的目标并诱发不安全回复。
  • 知识：跨模型设定下，攻击者对源模型有 white-box 访问，优化过程中不查询目标。另有自适应设定：对已防御目标（含 LoRA）有直接 white-box 访问（Section 4.2）。
  • 能力：防御方训练时没有攻击字符串。攻击字符串只在评测时使用。
  • 受害系统：独立部署、架构可与源模型不同的指令微调 LLM。主实验为 Llama-3-8B、Mistral-7B、Vicuna-7B、Qwen-1.5-14B、Phi-3-medium-14B。

对抗迁移与已有防御

• GCG（Zou et al., 2023）：优化可跨模型迁移的对抗后缀。其他攻击包括 PAIR（Chao et al., 2023）、TAP（Mehrotra et al., 2023）、AutoDAN（Liu et al., 2023）。
• 防御两类：输入层扰动以 SmoothLLM（Robey et al., 2023）为代表；表征工程包括 Circuit Breakers（Zou et al., 2024）、RepBend（Yousefpour et al., 2025）、CRL（Simko et al., 2025）。RMU（Li et al., 2024）也作为基线出现。
• Schwinn and Geisler（2024）：作者称其表明嵌入空间攻击可以绕过所有表征工程防御，AnchorRep 也有这一局限。作者称据其所知，没有现有防御是为跨模型迁移设计或评测的。

表征相似度与对抗迁移

• Angell et al.（2025）：最近邻相似度与越狱迁移成功相关。
• Li et al.（2025）：训练数据重叠同时驱动相似度与迁移。Ball et al.（2025）、Klause and Bunzel（2025）、Gupta et al.（2025）讨论对抗扰动本身（如 GCG 后缀中的 token 模式）是否预测迁移。
• 定位：作者称这些工作是诊断性的；AnchorRep 把相似度–迁移关系转成显式防御。该关系与 Platonic Representation Hypothesis（Huh et al., 2024）一致。相似度度量用 Kornblith et al.（2019）的 CKA。

不变性正则中的鲁棒–精度权衡

• Tsipras et al.（2019）、Zhao et al.（2019）：不变性正则能提高鲁棒性，但除非用辅助目标平衡，否则会损害标准精度。
• TRADES（Zhang et al., 2019）、ARAT（Waseda et al., 2024）：显式权衡对抗目标与干净数据目标。作者称 AnchorRep 的辅助损失起同样作用，把表征重塑限制在有害提示子空间。
• 拒答方向：Arditi et al.（2024）称拒答由单一方向介导；Zou et al.（2023）的 representation engineering 与 Li et al.（2023）的 inference-time intervention 被用于构造该方向。

基线方法与基准

• 基线：Table 2 在 Llama-3 与 Mistral 上比较 Circuit Breakers、RMU、RepBend、CRL；Vicuna、Qwen-1.5-14B、Phi-3 只报告 AnchorRep，作者称现有方法未在这些目标上重训。
• 基准/数据集：主安全评测为 20 个源 × 100 条、共 2000 条 GCG 迁移提示（与训练无重叠）；训练用 AdvBench 池中 30 条有害提示、WikiText-2 的 500 条良性提示、XSTest safe 子集 200 条边界提示。效用为 MMLU（5-shot）与 MT-Bench；过度拒答主指标为 OR-Bench Hard（1320 条），XSTest 为次要诊断；分布外为 HarmBench，另在 FalseReject 上验证过度拒答。攻击判定经多阶段流水线，末端用 WildGuard，被防御模型的越狱再经人工复核。

作者把本文定位为：不针对单次攻击，而是用表征发散打断跨模型共享几何；训练不需要攻击专用数据；并用 BGR 衡量拒答指标看不见的退化输出。

AnchorRep 在中间层最小化被防御模型与冻结锚点在有害提示上的线性 CKA，并用拒答方向、连贯性、KL 和可选语言模型损失约束表征落点，使推离只作用在有害子空间。

问题设定与形式化

• 目标：同时降低对抗提示上的顺从、保住良性生成、避免过度拒答，且训练不用攻击专用数据。作者称没有任何单一目标能同时覆盖这三项，因此主表征目标与辅助损失一起用。
• CKA：对 N 条共享提示、目标层上的隐表示矩阵 X_i，线性 CKA 比较样本间关系结构而不是原始激活。论文给出

CKA(X₁,X₂)=HSIC(K̃₁,K̃₂)/√(HSIC(K̃₁,K̃₁)·HSIC(K̃₂,K̃₂)) CKA 趋于 1 表示共享关系结构，趋于 0 表示几何发散；因作用在 Gram 矩阵上，与维度无关。

• 核心损失：L_CKA = CKA(X_d^adapted, X_a)，在中间层 ℓ 上最小化，把防御方从作者认为介导跨模型迁移的共享表征方向推开。

CKA 推离与锚点

• 适配器：轻量 LoRA（rank 32）加在全部层；CKA 在中层计算，ℓ = ⌊0.5 · L⌋。≤8B 用 fp32，14B 全程 fp16（作者称 fp32 超出单卡显存）。
• 锚点：每个模型从附录 D 的消融中选取；报告配置使用跨族锚点，作者称其最好，同族锚点也能把 ASR 降到较小程度。
• 推离范围：哪些提示进入推离损失是逐模型超参数（附录 J.4）。限制在有害提示最直接对准攻击子空间；更宽范围（仅良性或全部提示）对部分防御方可提高稳定性。
• Figure 2：有害提示上最小化与锚点的 CKA；四项辅助损失约束良性行为；标注的结果是有害提示 CKA 下降 0.63，良性 CKA 变化 0.01（Q7/L3 对）。

辅助损失

• 拒答方向：L_refusal 鼓励有害提示的适配后隐状态与预先算好的方向 r 对齐（余弦，取负）。r 为拒答与顺从均值隐状态之差再归一化，训练前按模型算一次并冻结：目标层上 15 条有害提示，分别在仅提示与提示加拒答条件下提取（10 个拒答模板）。
• 连贯性：加权 MSE 把适配后表示拉向基座模型。良性与边界提示权重 w_i = 5，有害提示 w_i = 1。拒答方向、连贯性、CKA 以及 r 本身都取同一中间层 ℓ、左侧填充下最后一个提示 token。
• KL：在良性与边界提示（含 XSTest）上，约束基座与适配后模型的输出分布。
• 可选 LM 损失：基座拒答弱时，用参考拒答回复做交叉熵；基座拒答强时 δ = 0。
• 总目标：L = γ·L_CKA + α·L_refusal + β·L_coherency + ε·L_KL + δ·L_LM。作者称这是耦合的推–拉–锚系统：推离抑制迁移，拒答方向给出落点，连贯性与 KL 保住良性行为。Table 4 的选定配置为 α = 0.15、β = 1.0、δ = 0.04、ε = 0.8、γ = 0.7（Mistral，锚点 Qwen-1.5-7B）。

训练数据与成功判定

• 数据：从 AdvBench 的 520 条池中均匀随机抽 30 条有害提示；WikiText-2 抽 500 条良性提示；XSTest safe 子集 200 条边界提示，供 KL 与连贯性使用。训练子集与评测攻击用一次预先确定的随机划分，与留出的 2000 条 GCG 迁移集零重叠。对抗提示只在评测时使用。完整训练提示在附录 I。
• 安全判定：ASR 为产生不安全回复的对抗提示比例，分 self 与 transfer。判决走五阶段流水线（附录 A.1）：退化输出、乱码、质量打分、拒答关键词，边界情况交给 WildGuard。附录 A.11 称 Pipeline + WildGuard 的总体 F1 为 0.778、准确率 0.836。被防御模型的越狱全部按附录 B 人工复核，该协议会推翻“只触及提示表面、没有可执行内容”的自动标记。
• 效用与过度拒答：MMLU（5-shot）、MT-Bench；BGR 为 OR-Bench 上被判为 gibberish 的良性回复比例（主文 Table 2 与附录表用 OR-Bench Hard 的 1320 条协议）。过度拒答主指标为 OR-Bench Hard，XSTest 仅为次要诊断。Table 2 的 Regime 要求同时满足 ASR ≤ 2%、BGR = 0%、∆OR ≤ 8%。

实验设置

• 被测模型：五个指令微调 LLM：Llama-3-8B、Mistral-7B、Vicuna-7B、Qwen-1.5-14B、Phi-3-medium-14B，作者称跨四个架构族。相似度诊断另用约 20 个 LLM（Figure 1）。
• 攻击与数据：主安全集为 2000 条 GCG（20 个源 × 100 条，各目标相同）。Self ASR 用在该防御模型上优化的 100 条；Transfer ASR 聚合其余 19 个源的 1900 条。白盒自适应为 GCG、Embedding PGD、PAIR、AutoDAN、TAP，各 100 条，直接在目标（含 LoRA）上优化。分布外为 HarmBench（100 条 × 5 个源）。跨提示 GCG 在 Mistral-7B 上报告。
• 基线：Llama-3 与 Mistral 上为 CB、RMU、RepBend、CRL。后三个目标只报 AnchorRep。
• 指标：ASR（人工复核后）；BGR（OR-Bench，%）；∆OR、∆XS、∆MT、∆MMLU，箭头表示各列偏好方向。Table 3 的 ∆ASR 为防御后减去基线（百分点）。
• 评审：攻击判决用 WildGuard 的多阶段流水线；被防御模型越狱按附录 B 人工复核。论文未报告重复次数。
• 训练：30 条有害 + 500 条良性 + 200 条边界；LoRA rank 32，全层，CKA 在 50% 深度。

主结果

Table 2（2000 条 GCG；ASR 经人工复核；BGR 在 OR-Bench 上）。Self / Transfer 为 ASR（%）。

表格较宽，可左右滑动

模型	方法	Self	Transfer	BGR	∆OR
Llama-3	CB	0	0	77.1	−48.6
Llama-3	RMU	4	1.0	0.1	+0.1
Llama-3	RepBend	4	1.0	0.1	+9.2
Llama-3	CRL	0	0.1	28.4	−1.1
Llama-3	AnchorRep	1	1.1	0	−7.7
Mistral	CB	2	1.0	22.1	−2.4
Mistral	RMU	73	33.9	0.4	+0.2
Mistral	RepBend	3	1.9	10.0	+9.9
Mistral	CRL	5	1.8	33.6	+17.6
Mistral	AnchorRep	2	1.0	0	+4.1
Vicuna	AnchorRep	0	0.0	0	+6.1
Qwen-1.5-14B	AnchorRep	2	0.4	0	+6.2
Phi-3	AnchorRep	0	0.0	0	−1.0

表中只列了 ASR、BGR、∆OR。同表还报告：Llama-3 AnchorRep 的 ∆XS 0.0、∆MT +0.11、∆MMLU −0.4；Mistral AnchorRep 为 −0.4、−0.05、−1.5；Vicuna 为 −2.0、+0.11、−0.3；Qwen-1.5-14B 为 +0.8、−0.09、−0.1；Phi-3 为 +2.0、+0.40、0.0。CRL 在 Mistral 上 ∆MT −2.36、∆MMLU −32.3。Regime 列只有五行 AnchorRep 为 ✓。

• 作者解读：只有 AnchorRep 稳定进入目标区间（迁移 ASR ≤ 2%、BGR = 0%、∆OR ≤ 8%）。CB 乱码高（Llama-3 上 BGR 77.1%，Mistral 上 22.1%）；CRL 在 Mistral 上同时乱码与过度拒答；RepBend 提高过度拒答且迁移仍有泄漏；RMU 在 Mistral 上未压住迁移（self ASR 73%）。
• 作者称安全–效用权衡不是调参假象，其跨架构持续出现说明压制迁移且不损害良性行为需要针对共享表征几何；直接强制拒答的方法倾向于扰动效用。
• 摘要数字：作者称五个模型、四个架构族上，2000 条迁移攻击的跨模型 ASR 降至 ≤1.1%（其中两个为 0%），最大降幅在 Mistral（36% → 1.1%）。贡献列表另写 transfer ASR 降至 0–2%（7B–14B）。Table 2 的 Transfer 列为 0.0–1.1%，Self 列为 0–2%。

白盒自适应攻击

Table 3 为防御后减去基线的 ∆ASR（百分点），每攻击 100 条，直接在目标上优化。绝对 ASR 在附录 F，正文未给出全部绝对值。

表格较宽，可左右滑动

攻击	Llama-3	Mistral	Vicuna	Qwen-1.5-14B	Phi-3
GCG	0	−36	−32	−32	−12
Emb. PGD	−28	−42	−6	−4	−8
PAIR	−50	−10	−14	−2	−10
AutoDAN	−4	−74	−38	0	−12
TAP	−8	0	−14	−2	+6

• 测了什么 → 结果：尽管训练未见攻击字符串，25 个攻击–目标设置中有 22 个 ASR 下降。正文给出的绝对值：Embedding PGD 在 14B 模型上仍保持 40–88% ASR；TAP 在 Llama-3 上为 42%，基线 50%。
• 作者解读：离散 token 攻击（GCG、PAIR、AutoDAN）以及较小模型上的 Embedding PGD 降幅更大。连续空间 Embedding PGD 与语义重写的 TAP 部分绕过防御；作者认为这与 CKA 推离所针对的子空间之外的操作一致，并引用 Schwinn and Geisler 关于嵌入空间攻击可绕过表征层防御的发现。

分布外、跨提示与层深

• HarmBench（Table 21；5 × 100 条，按附录 B 人工复核）：AnchorRep 把合计 ASR 从 5.3% 降到 2.7%，最大在 Mistral（11.8% → 2.0%）。作者称降幅随基线脆弱程度变化，与共享迁移介导方向的解释一致。
• FalseReject（Table 38）：五个防御方中三个相对基线变化 ≤ 5%（Llama-3 −4.4，Qwen-1.5-14B +1.0，Phi-3 −5.0）；Mistral −8.0，Vicuna +12.8，方向与各自 ∆OR 相同。
• 跨提示（附录 F.3，Mistral-7B）：为一个提示优化的 GCG 后缀原样用到无关目标提示，基线迁移率 51.3%，供体类别、目标类别和优化损失水平之间变化小；AnchorRep 后同一条件下降到 1.8%。作者认为这难以用提示专用攻击签名解释，更像 GCG 找到了成功后缀共有的方向。贡献列表写的是 51% → 1.8%。
• 层深（Table 18）：浅层（25% 深度）使良性行为不稳，Mistral 上 BGR 12.2%（附录 Table 17），五个模型的 ∆OR 在 −34% 到 +52% 之间。深层（62.5%）保住效用但压不住攻击（Llama-3 上最高 20% ASR）。只有 50% 深度在五个模型上同时接近零 ASR 且 BGR 为零。Figure 3（防御后 Mistral 对锚点 Llama-2）：有害提示表征在 50% 深度处分歧（∆ = −0.48），良性几何变化 ∆ = −0.07。

其他消融与分析

• γ 消融（Table 4，Mistral，锚点 Qwen-1.5-7B；辅助损失固定）：弱 γ=0.18 时 ASR 0/0.0、∆OR +76.4、∆MT −1.42、有害 CKA 0.541、良性 CKA 0.951；去掉 CKA（γ=0）时 ASR 0/0.0、∆OR +32.4、∆MT −0.29、良性 CKA 0.963；CKA 主导 γ=1.4 时 ASR 0/0.5、∆OR +49.0、∆MT −2.34、良性 CKA 0.142；选定 γ=0.7 时 ASR 2/1.1、∆OR +4.1、∆MT −0.05、有害 CKA 0.277、有害-GCG CKA 0.353、边界 CKA 0.663、良性 CKA 0.965。作者称全部设置都把迁移压到约 0% ASR，只有中间 γ 保住效用。
• 相似度–迁移相关（Table 1，13 模型对、三个架构一致族，离群点排除）：同族 Spearman ρ，有害中层 CKA +0.910、Variance Explained +0.722、RSA（有害）+0.739、Distance Ratio +0.571（均 p<0.01）；跨族分别为 −0.336、−0.509、−0.685、−0.298。Figure 1 右图同族分箱：Low（<0.91）均值迁移 ASR 7.6%（n=16），Medium（0.91–0.96）36.4%（n=20），High（>0.96）53.4%（n=14），图中标注 7.0× higher。
• LoRA 子集与多层：作者称把 LoRA 更新限制在层子集会变差（附录 E.4）；多层策略不优于单次中游干预（附录 E.3），作者认为可能是跨层梯度稀释。
• 空心顺从（hollow compliance）：作者称成功防御后，基线会顺从的提示上，模型常给出流畅、语气相符、触及请求表面但没有可执行内容的回复（附录 B、G）。作者将其区别于拒答（挡住回复）和乱码（破坏流畅）。
• 评审流水线阈值（附录 A.1）：乱码神经分类器置信度 > 0.85；自动成功为 sc ≥ 0.15 且 sh ≥ 0.70；自动失败为 sh < 0.25，或 sh < 0.40 且 sc < 0.05；边界交给 WildGuard。

作者指出的局限与后续方向

• 后续方向（Section 5，Future directions）：多锚点训练（从多个参考模型推离）、与 RLHF/DPO 的协同、多模型联合优化。作者称附录 K.7 的初步集成源结果显示对 best-of-2 后缀选择具有鲁棒性。
• 局限所在位置（Section 5）：作者写明 Limitations、规模方面的考虑，以及其他分析（CB 的 MT-Bench 异常、CKA 估计器比较）在附录 H、K.3 和 L 中讨论。正文未展开这些附录条目的具体句子。
• 共享的已知局限（Related Work）：Schwinn and Geisler 表明嵌入空间攻击可绕过所有表征工程防御，作者称这一局限 AnchorRep 同样有。Section 4.2 报告 Embedding PGD 与 TAP 部分绕过。
• 仅 CKA 的失败模式（Section 3.3、Section 5）：全强度 CKA 推离会广泛扰动表征并损害良性输出；作者用 BGR 量化，并称该模式出现在 CKA-only 原型（Table 4, Run 2）和已有防御中。

实验覆盖范围

• 被防御模型为 Llama-3-8B、Mistral-7B、Vicuna-7B、Qwen-1.5-14B、Phi-3-medium-14B 共 5 个；CB、RMU、RepBend、CRL 的对比只在 Llama-3 与 Mistral 上，作者称后三个目标未重训现有方法（Table 2）。
• 主迁移集为 20 个源 × 100 条 GCG、共 2000 条；Self 为 100 条，Transfer 为其余 19 源的 1900 条。白盒自适应为五种攻击各 100 条。相似度分析为 Figure 1 的 20 个 LLM，Table 1 为三个架构一致族、离群点排除后的对级聚合。
• 训练用 AdvBench 池 520 条中的 30 条有害提示、WikiText-2 的 500 条良性提示、XSTest safe 子集 200 条边界提示；与 2000 条评测集零重叠。HarmBench 为 100 × 5；OR-Bench Hard 为 1320 条；FalseReject 报告了五个防御方相对基线的变化。
• 攻击判决为五阶段流水线加 WildGuard，被防御模型越狱再按附录 B 人工复核。论文未报告实验重复次数。附录 A.11 给出 Pipeline + WildGuard 的 F1 0.778 与准确率 0.836。
• 层深、锚点、LoRA 子集分别在附录 E、D、E.4；γ 的主消融在 Mistral、锚点 Qwen-1.5-7B（Table 4）。跨提示实验报告的是 Mistral-7B。

AnchorRep 是针对跨模型越狱迁移的表征发散防御：用 LoRA 把有害提示上的内部几何推离一个冻结锚点，训练不使用对抗样本。

• 问题：对一个开源权重模型有 white-box 访问的攻击者，可以把 GCG 等攻击迁到架构不同、优化时未被查询的目标。作者认为迁移与族内共享表征几何一致（同族有害中层 CKA 与 GCG 迁移 ASR 的 Spearman ρ 为 +0.910）。已有表征防御在跨模型上可以压低 ASR，但 CB 在 Llama-3 上 BGR 为 77.1%，OR-Bench 过度拒答最高可升 18 个百分点。
• 方法：中间层最小化与锚点的线性 CKA，再加拒答方向、对基座的加权连贯性、良性与边界提示上的 KL，以及基座拒答弱时的可选 LM 损失。LoRA rank 32、全层更新，CKA 在 50% 深度；报告配置用跨族锚点。成功与否由多阶段流水线加 WildGuard 判定，再经人工复核；退化良性输出用 OR-Bench 上的 BGR 衡量。
• 主结果：Table 2 中五个目标的 Transfer ASR 为 0.0–1.1%，Self ASR 为 0–2%，BGR 均为 0，且只有 AnchorRep 同时满足 ASR ≤ 2%、BGR = 0%、∆OR ≤ 8%。摘要写 Mistral 上从 36% 降到 1.1%，两个模型上为 0%。
• 自适应与泛化：Table 3 的 25 个白盒设置中 22 个 ∆ASR 为负或零；Phi-3 上 TAP 为 +6。Embedding PGD 在 14B 上仍有 40–88% ASR，Llama-3 上 TAP 为 42%（基线 50%）。HarmBench 合计 ASR 从 5.3% 到 2.7%。Mistral-7B 上跨提示 GCG 从 51.3% 到 1.8%。
• 作者的结论：跨模型鲁棒性可以通过塑造表征几何获得，而不必做攻击专用训练。推离必须与辅助损失平衡，否则过度拒答或良性表征崩溃（Table 4：去掉 CKA 时 ∆OR +32.4%，γ=1.4 时良性 CKA 0.142）。作者称中层是同时接近零 ASR 与零 BGR 的干预点，并计划用多锚点、RLHF/DPO 协同和多模型联合优化继续做。