无需目标答案的潜在空间安全对齐：无监督对抗训练提升 LLM 越狱鲁棒性

现有潜空间对抗训练的对抗样本行为偏窄，盖不住真实越狱引出的多种有害行为。

• 场景： 作者认为越狱提示词会绕过对齐，带来网络滥用、有害指令生成和策略规避，因此越狱鲁棒性是LLM安全部署的核心问题（第1节）。
• 现有不足： LAT在有害查询的中间层隐状态注入干预，再微调模型在同一干预下拒答。作者认为现有样本要么朝固定有害补全优化，要么沿单一拒绝方向消融，行为同质，对不上直接遵从、角色扮演、假设情景、编码和多语言绕过。
• 核心问题： 没有越狱策略先验时，能否只从直接有害查询、以无目标且无监督的方式引出多样有害响应，从而扩大对抗训练的行为覆盖。
• 本文提出： target-free潜空间对抗训练。浅层学习多组源干预，放大并分散更深层行为偏移，再在这些干预下做安全对齐；用semantic entropy衡量输出侧多样性。
• 威胁模型：
  • 受害系统： 已做安全对齐的LLM。实验对象是三个开源指令模型。
  • 攻击目标： 对抗提示词诱导有害响应并绕过对齐防护。作者列举的真实模式包括直接遵从、角色扮演、假设情景、编码与多语言绕过。
  • 评测中的攻击： HarmBench覆盖white-box optimization-based与black-box feedback-guided越狱，列为GCG、AutoDAN、GPTFuzz、TAP、FewShot；Multilingual与CodeChameleon使用与HarmBench相同的有害提示词。论文未逐项标明每个攻击的知识类型。
  • 训练期对手： 内层对手不使用越狱策略先验，也不优化到固定有害补全；它优化浅层源干预并注入隐状态。评测报告StrongREJECT分数SR，越低表示越鲁棒。

越狱攻击

• 提示词越狱： 引言把Zou et al. (2023)、Liu et al. (2023)、Perez et al. (2022)、Mehrotra et al. (2023)、Chao et al. (2023)、Deng et al. (2024)、Lv et al. (2024)作为可绕过对齐、引出多种有害响应的攻击来引用。Yi et al. (2024)被引为越狱攻防综述。
• 行为谱： 作者用这些工作说明真实越狱可引出直接遵从、角色扮演、假设情景、编码和多语言绕过，并据此批评训练用对抗样本过窄。

表征层拒绝控制

• 单一拒绝方向： Arditi et al. (2024)研究拒绝可由单一方向介导。Appendix C称这一低秩结构使拒绝可控。
• 向量转向： CAST、Antidote、AlphaSteer（Lee et al., 2025; Shen et al., 2024; Sheng et al., 2025）做向量转向式对齐。论文指出CAST与Antidote不靠真实越狱样本，而是提高任意输入的拒绝倾向，因而过度拒答；AlphaSteer靠真实越狱样本区分良性与有害输入，但对未见越狱脆弱。

潜空间对抗训练

• 固定目标： TLAT（Sheshadri et al., 2024）与LATPC（Yi et al., 2025）把潜表示优化到固定有害输出。第2节把这类方法写成对预定义有害补全的对数概率最大化。
• 拒绝消融： ReFAT（Yu et al., 2025）不做显式目标补全，用有害/良性对比对的difference-in-means得到干预。论文指出它仍倾向引出直接遵从，而不是多种有害行为。
• 分布感知： DAT（Hu et al., 2026）用扩散语言模型的逆过程生成多样提示词。论文指出这些提示最终仍朝固定有害目标优化，未能引出多样有害行为。

基线与基准

• 基线方法： Targeted LAT、ReFAT、Deep-Refusal（Xie et al., 2025；在不同层和token位置随机消融拒绝方向）、DAT。各方法使用对应基座和同一LoRA配置。
• 基准： 鲁棒性为HarmBench上的GCG、AutoDAN、GPTFuzz、TAP、FewShot，以及Multilingual、CodeChameleon。效用为AlpacaEval-2.0与lm-eval（ARC-Challenge、GSM8K、TruthfulQA）。过度拒答为OR-Bench。训练有害数据来自OR-Bench Toxic与AdvBench，良性数据来自UltraChat。

作者把本文放在单干预LAT之外：不依赖输出监督，用深层潜偏移作行为偏移的代理，在同一步内从一个有害提示分出多种有害行为。

Target-free LAT把内层对手从“每个有害提示一个干预、一种有害模式”改成一次学习多组无目标干预，再用外层对齐把这些轨迹拉回拒答。

双层设定

• 统一形式： 第2节把已有LAT写成双层优化。给定有害提示和源层隐状态，内层求干预，外层在干预后的表示上更新模型。已有方法每步只构造一个干预向量。
• 本文的集合： 内层直接优化V，含K个源干预。主实验K=64，每个向量单位范数。
• 注入位置： 作者受浅层偏语义、深层偏行为决策的先前结果启发（Voita et al., 2019; Geva et al., 2021; Gu et al., 2025），把干预加在浅层s的每个token上，到更深的行为层t读偏移。主实验s=10、t=20。
• 注入式： 对提示x和干预v_k，h′_s(x)=h_s(x)+λ v_k。λ按模型取：Llama-3-8B-Instruct与Mistral-7B-Instruct-v0.2为1.5，Qwen2.5-7B-Instruct为15（Table 5）。

内层核范数对手

• 行为偏移： 层t的偏移是加干预与不加干预的隐状态之差。每个干预在有害batch上取平均，得到列向量；K列堆成行为偏移矩阵C(V)。
• 目标： 内层最大化核范数，L_inner(V)=||C(V)||_∗。论文把它同时联系到列范数和列间内积：对角项对应每种平均偏移的强度，非对角项对应干预之间的冗余。
• 一致性： 论文把单列范数拆成各提示偏移的大小，以及提示对之间的对齐项。列范数要大，就既要单次偏移大，也要同一干预在不同有害提示上的偏移方向一致。
• 多样性： 论文写出核范数不超过各列范数之和，且仅当各列互相正交时取等。因此最大化它会被写成在加大各列之余，推动不同干预进入低冗余的行为模式。Appendix D另给直接对矩阵做核范数上升时的有效秩分析；经网络诱导的C(V)不保证单调。

外层对齐目标

• 有害拒答： 对有害提示和全部源干预，外层最大化拒答响应的对数概率，记为L_harm。论文称这是把多种潜在有害轨迹都映回拒答，而不是每步只恢复一种对抗模式。拒答响应如何取得，论文未写。
• 良性保持： 对良性提示，用与原对齐模型逐token的KL，使干预下的生成接近原模型响应，记为L_benign。
• 合并： L_outer为两项之和，论文未再写额外权重。

训练实现与多样性度量

• 流程： 每轮重采样有害与良性提示，并把V随机初始化为单位向量（Algorithm 1）。内层只用有害提示优化V；外层只更新LoRA，其余参数冻结。LoRA秩16、alpha 32、作用于全部层。
• 步数： 内层10步，内层有害batch大小8；每轮外层20步，学习率2×10^-5（Table 5）。总训练轮数论文未在Table 5给出。
• 数据： 有害训练整合OR-Bench Toxic与AdvBench共1000条，并相对HarmBench评测集去重。良性为UltraChat的1000条。另从OR-Bench抽1000条边界提示，与评测划分不相交；论文未写这1000条进入哪一项损失。
• 多样性度量： 对每个提示，在全部源干预下生成输出，用bge-m3取嵌入，再用DBSCAN聚类，不预设簇数。semantic entropy是簇经验分布的熵；数据集统计是各提示熵和簇数的平均。DBSCAN的具体参数论文未给。评测成功与否则用StrongREJECT的SR，越低越鲁棒。

实验设置

• 模型： Qwen2.5-7B-Instruct、Llama-3-8B-Instruct、Mistral-7B-Instruct-v0.2。三者都做LoRA微调；对照方法使用同一基座和同一LoRA配置。
• 越狱： HarmBench上的GCG、TAP、AutoDAN、GPTFuzz、FewShot，以及Multilingual、CodeChameleon。论文未报告各攻击的提示词条数。
• 效用与过度拒答： AlpacaEval-2.0报告胜率。lm-eval报告ARC-Challenge、GSM8K、TruthfulQA的平均准确率，不单列。OR-Bench报告过度拒答率FPR，越低越好。
• 基线： Targeted LAT、ReFAT、Deep-Refusal、DAT。原模型在Table 1中作为参照，不是训练类防御。
• 判定： 用vLLM生成回复，用StrongREJECT评估有害遵从，报告平均SR，越低越鲁棒。评审模型论文未说明。后文ASR取SR>0.3的比例。Table 1的SR与Table 4的Mean SR写法不同，论文未说明是否同一刻度。
• 实现环境： Appendix A写默认单张NVIDIA RTX PRO 6000，PyTorch 2.10.0、CUDA 12.8、Transformers v5.5.4、vLLM v0.19.1。重复次数论文未报告。

主结果

下表只摘Table 1的一部分。SR与FPR越低越好，Alpaca WR越高越好。数值按表中原文，未加百分号。省略Targeted LAT、ReFAT、Deep-Refusal的全部行，以及Mistral的DAT。

Swipe horizontally to read the table

模型	方法	GCG	CodeChameleon	FPR	Alpaca WR
Qwen2.5-7B-Instruct	原模型	49.94	23.34	5.58	50
Qwen2.5-7B-Instruct	DAT	4.01	19.42	15.35	47.26
Qwen2.5-7B-Instruct	Ours	1.32	6.33	12.48	48.53
Llama-3-8B-Instruct	原模型	29.79	22.34	9.97	50
Llama-3-8B-Instruct	DAT	3.33	18.96	27.43	47.82
Llama-3-8B-Instruct	Ours	2.15	8.32	19.52	47.55
Mistral-7B-Instruct	原模型	63.34	25.87	1.21	50
Mistral-7B-Instruct	Ours	3.15	8.88	4.15	48.47

• 作者的总评： 作者称Ours在Qwen与Mistral上整体防御最强，在Llama上仍有竞争力，并称增益在GCG、AutoDAN、GPTFuzz、FewShot和CodeChameleon上更明显。Table 1的反例是Llama的FewShot：Ours为7.48，高于Targeted LAT的6.75和DAT的6.84。AutoDAN上Ours为Qwen 2.18、Llama 0.11、Mistral 0.30，原模型分别为38.81、3.04、74.67。
• 两类异质攻击： 作者称已有LAT基线在Multilingual上已降低SR，但在CodeChameleon上降幅有限。Multilingual的Ours为3.66、3.45、6.20（Qwen、Llama、Mistral）。CodeChameleon上，训练基线最低值为Qwen的ReFAT 18.94、Llama的ReFAT 18.73、Mistral的DAT 21.41。
• 拒答与效用： 作者称OR-Bench上，Ours的FPR在训练类防御中于Qwen和Llama最低，于Mistral不是。Mistral上DAT的FPR为3.33，低于Ours的4.15。lm-eval平均准确率：Qwen Ours 76.8、原模型79.4；Llama 63.1与63.9；Mistral Ours与DAT同为57.3，原模型58.1。三行原模型的Alpaca WR都是50，论文未解释该取值。

内层动态与语义模式

• 测了什么： 第5节跟踪目标层偏移的幅度和跨提示一致性，再用SR、ASR、semantic entropy和语义簇数看输出。Figure 2未在图注中写明模型，轴上具体端点此处不读。
• Table 4： K=64的十步内层轨迹，论文未说明模型。有效秩从第0步55.43降到第1步22.14，第9步为42.34。Mean SR从0.11到0.52；harmful-only entropy从0.07到0.70；SR>0.3的比例从0.17到0.67，第2步与第8步为0.72。
• 作者的解读： 作者称第1步先增强能引出有害输出的平均偏移，有效秩暂时下降；继续优化后多种偏移方向恢复。Table 2把优化后的方向标成v31多语言（中文）、v62角色扮演、v37编码、v9直接遵从；随机初始化很少越狱。附录H给出逐步DBSCAN图，作者称输出离开初始拒答区并分成多个簇。有害文本不复述。

多方向因果消融

• 设置： 只在Qwen2.5-7B-Instruct上做。V含512个方向，比较无潜对手的监督微调、单方向targeted-LAT、取64个最不相似方向，以及用满512个方向。其余因素保持不变。
• 指标： Figure 3报告full-V NLL、训练损失和StrongREJECT分数。full-V NLL是全部转向对抗样本上拒答的负对数似然，作者把它当作脆弱性代理，越高越易被潜干预击中。图中端点数值论文未以表格给出。
• 作者的解读： 作者称无潜对手训练损失最低、收敛最快，但full-V NLL和StrongREJECT更高；单方向优于无对手，两项脆弱性指标仍相对高。64个多样方向在这两项上与全部512个方向相当。作者认为驱动鲁棒性的是行为覆盖，而不是方向的原始数量。

其他消融与分析

• K（Appendix F，Qwen2.5-7B-Instruct）： 取16、32、64、128、512。作者称mean SR与semantic entropy从16到512单调上升，64之后边际变小；越狱SR的主要下降在16到64之间。
• λ： 取5、10、15、20、30。作者称5到15时mean SR与semantic entropy上升；超过15后mean SR下降、entropy继续上升，并称约15时平衡最好。
• 内层batch： 取2、4、8、16、32。作者称2到8改善两项内层指标，超过8后下降，越狱SR在8附近最低。
• Table 3： 直接优化4096×64、初值全为10^-5的矩阵，100步SGD。核范数、步长10^-5时有效秩由1.00到第10步4.76、第100步47.56；Frobenius保持1.00。步长10^-2时核范数第10步为64.00，Frobenius仍为1.00。
• Table 6： 单对手构造，Targeted LAT为每步2次、合计2T、0.85s；ReFAT为1次前向、0.24s；Ours为2T/K。作者称T=10、K=64时约0.31次、0.012s。测时硬件未在该表写明。

作者指出的局限与后续方向

• 局部线性： Appendix B写明，包括本文在内的LAT依赖加性潜扰动，实际只探索表示附近的局部线性方向。
• 仍是近似： 同一节写明，多方向形式扩大了行为覆盖，但仍是有限的局部近似。
• 非线性流形： 作者认为真实越狱行为很可能位于复杂非线性流形上，不能只靠线性扰动完全覆盖。
• 后续建模： Appendix B提出的方向是在表示空间建模非线性越狱流形，例如高阶交互，或随输入变化的自适应对手。
• 几何问题： 作者把有害行为在潜空间中的几何称为鲁棒对齐的开放问题。
• 结论中的转向： 第6节写，结果把LAT的重点从单纯对抗强度转到行为覆盖，并促使在表示空间更广地探索对抗行为。

实验覆盖范围

• 模型： 被测模型为Qwen2.5-7B-Instruct、Llama-3-8B-Instruct、Mistral-7B-Instruct-v0.2，第4.1节称为三个开源指令模型。
• 攻击与指标： 越狱为HarmBench上的GCG、AutoDAN、GPTFuzz、TAP、FewShot，以及Multilingual、CodeChameleon；主指标是StrongREJECT的SR（Table 1）。
• 效用与拒答： 同时报告OR-Bench的FPR、AlpacaEval-2.0胜率，以及ARC-Challenge、GSM8K、TruthfulQA的平均准确率。
• 对照与消融： 训练基线为Targeted LAT、ReFAT、Deep-Refusal、DAT。Figure 3的方向消融和Appendix F的超参分析写明在Qwen2.5-7B-Instruct上。
• 论文未报告的设置： 各攻击的提示词条数、重复次数，以及StrongREJECT和AlpacaEval的评审模型均未报告。Table 4的十步内层轨迹和图2未写明模型。主实验总轮数未在Table 5给出。

Target-free LAT是一种不监督有害输出的潜空间对抗对齐。它要处理的问题是：现有LAT每步大多只造一种有害行为，对不上真实越狱里的直接遵从、角色扮演、编码和多语言等模式。

• 方法： 浅层同时学习多组单位范数干预，在更深层汇总成行为偏移矩阵，最大化核范数，使每种偏移强且跨提示一致、不同干预低冗余。外层在全部干预下学拒答，并用与原模型的KL约束良性生成；只更新LoRA。
• 主评测： 三个开源指令模型，七种越狱，外加OR-Bench、AlpacaEval-2.0和lm-eval平均准确率。对照为Targeted LAT、ReFAT、Deep-Refusal和DAT。
• Qwen： Table 1中Ours的GCG SR为1.32，CodeChameleon为6.33；原模型为49.94和23.34。OR-Bench FPR为12.48，低于同表其他训练类防御。
• Llama与Mistral： Llama上Ours的AutoDAN SR为0.11，CodeChameleon为8.32；FewShot为7.48，高于Targeted LAT的6.75。Mistral上GCG为3.15、CodeChameleon为8.88；FPR为4.15，高于DAT的3.33。
• 作者结论： 作者称鲁棒性提高并不以效用崩溃为代价，并把行为覆盖而不是单纯对抗强度视为潜空间对齐的关键因素。Appendix B同时写明，加性干预仍只覆盖局部线性方向。