PEV 攻击利用嵌入向量加噪越狱六款开源权重模型

开放权重 LLM 虽会拒答有害提示，作者要找一种更简单、更快、更省 GPU 时间、且能稳定引出不安全响应的越狱。

• 场景：作者称这类模型已在多个领域部署，仍可能给出虚假信息、有毒文本或危险建议。模型通常拒绝不安全提示，但改输入或改模型仍可越狱。
• 现有不足：作者称梯度后缀优化，以及关闭负责安全护栏的神经元，GPU 时间都很高；梯度修改有时每个提示词要数千次前向（Zou et al., 2023）。
• 本文提出：Perturbed Embedding Vector（PEV）。只在提示词 embedding 上加独立高斯噪声并重复采样，不算梯度，不改内部权重。
• 威胁模型：
  • 目标：使有害提示产出所请求的有害内容，而不是拒答或偏转。
  • 知识：作者称不需要模型描述、内部权重，也不必知道 embedding 函数；只需能向生成函数的输入注入加性噪声，并对 embedding 层做一次性写入。
  • 操作：每个 token 只加一次噪声，再对未改权重的原模型做前向；不改用户可见提示，也不做持久修改。五种对照被作者标为 white-box。
  • 受害系统：六个 open-weight instruction-tuned chat 模型；提示来自 JailbreakBench。

论文把对照分成提示词级攻击和模型级攻击，基准是 JailbreakBench。

提示词级攻击

• GCG / I-GCG（Zou et al., 2023; Jia et al., 2025）：在恶意提示后优化对抗 token 后缀，用梯度把回复引向顺从开头。I-GCG 增加目标模板目录和多坐标更新。作者称它是实验里 GPU 时间最慢的攻击。
• Soft Prompt（Schwinn et al., 2024; Yang et al., 2024）：附加对抗 embedding 后缀，用梯度把最终 embedding 引向不安全响应。作者称 PEV 不需要这类梯度或模型修改，因而更快收敛。

模型级攻击

• Latent Fusion（Xing et al., 2026）：为恶意提示选结构相似的良性提示，在被认定承载拒答的层上，用两者隐藏状态的插值覆盖原状态。
• Refusal Cones（Arditi et al., 2024; Wollschläger et al., 2026）：在残差流中找出与安全拒答相关的向量并投影掉。作者称它需要梯度，且预处理昂贵；并称 PEV 更轻量、也更有效。
• NeuroStrike（Wu et al., 2026）：找出与安全拒答相关的神经元并剪掉，从而改写权重。作者称这是对模型的永久、确定性改动。

基准与拒答训练

• JailbreakBench（Chao et al., 2024）：100 条不安全提示。作者称它从 AdvBench 与 HarmBench 中选取较好的部分；AdvBench 被 Chao 等称为提示相当简单，HarmBench 更大但更噪。十个类别对齐 OpenAI 使用政策。早期工作常用自建提示（Wei et al., 2023）。
• 拒答训练：引言用 Robey et al.（2023）的 SmoothLLM 与 Zou et al.（2024）的 circuit breakers 说明模型会被专门训练来抵抗越狱。

实验对照

• 基线方法：直接请求，以及 I-GCG、Soft Prompt、Latent Fusion、NeuroStrike、Refusal Cones。基准：JailbreakBench 的 100 条提示。

作者把 PEV 定位为：同一套加性噪声用于全部提示和全部 LLM，不搜索 embedding，不改权重或隐藏层，也不改用户可见提示。

PEV 在提示词 token 的 embedding 上加一次随机高斯噪声，再送入 transformer；同一提示反复重采样，直到出现 unsafe 响应。

输入如何写成矩阵

• 作者把 LLM 拆成 tokenization、embedding 和输出生成。每个 token 有 embedding，整段提示写成 d 乘 n 的矩阵；n 为上下文窗口长度，不足则用空 token 填充。
• 生成部分被写成随机函数。作者写，模型里可能还有提示清洗或系统提示；因能接触内部规格，这些修改可以去掉。实验里 chat 模板使用空系统消息。

噪声怎么加

• 固定尺度 σ 后，输出为 M̃(E(T(x))+Z̃)。Z 的每个元素独立采自均值为 0、标准差为 σ 的高斯分布。
• 这等于每个 token embedding 加一次独立噪声。噪声只在调用生成函数时加一次，不加到随后生成的 token 上。
• 作者称不需要模型描述、内部权重，也不必知道 embedding 函数，只需能注入加性噪声；过程对全部提示和全部 LLM 相同。

采样与尺度

• 同一提示、同一 σ 下独立重采样噪声矩阵。作者称多跑几次可以提高越狱率，并称 JailbreakBench 上通常少于 20 次即达 100%；Table 3 显示 Qwen2.5-1.5B 有提示需要更多次。
• σ 按模型在 0.003 到 0.08 之间选取。作者称先在一小部分不安全提示上扫描 σ，取不安全响应比例达到峰值的 σ。各模型取值在 Table 3。
• r 是近似噪声范数与提示 embedding 平均范数之比，分母含填充到窗口长度的部分。作者写噪声总范数约为 σ 乘以 n 与 d 之积的平方根。

成功如何判定

• 每次输出分为三类。safe 是拒答或偏转，且不产生所请求产物；unsafe 是全部或部分产生所请求的有害产物，含有害内容的重复循环也算；degenerate 是无关、幻觉或其他语言，且不含有害内容，作者不把它算作 unsafe。
• 一个提示只要任一 run 为 unsafe 即算越狱。分类用 Claude Opus 4.6，指令与 JailbreakBench judge 相同。

实验设置

• 模型：Qwen2.5-1.5B-Instruct、SmolLM3-3B、Phi-4-mini-3.8B、Mistral-7B-Instruct、Llama-3.1-8B-Instruct、GLM-4-9B。Table 1 用简称。全部方法使用默认参数。
• 数据与解码：JailbreakBench 100 条有害提示、十个类别；附录 Table 4 按类给了示例。temperature 0.7、top-k 50、top-p 0.9；用户轮为空系统提示，无 persona、前后缀或 wrapper。
• 对照：直接请求，以及 I-GCG、Soft Prompt、Latent Fusion、Refusal Cones、NeuroStrike。后五者均被写成使用 white-box 梯度或 white-box 访问。
• 硬件与重复：单张 NVIDIA A100-SXM4-80GB，batch 为每提示 20 runs。Figure 2b 把 Qwen2.5-1.5B、Phi-4-mini、Llama-3.1-8B 标为 37、52、79 ms/step。
• PEV：σ 依模型取 0.003–0.08（Table 3）。每提示先 20 runs，部分提示再增加。作者观察其他方法的改动是确定的，再加 runs 不提高越狱率。
• 判定：Claude Opus 4.6 使用与 JailbreakBench judge 相同的指令，标 safe、unsafe 或 degenerate。任一 run 为 unsafe 则该提示算越狱。作者称人工通读了全部标为 unsafe 的响应，并抽样其他响应，未见 Claude 出错。论文未报告抽样条数或一致性系数。

主结果

据 Table 1 的逐提示词攻击成功率（%）。下表省略 I-GCG 与 Latent Fusion 的逐模型列。

表格较宽，可左右滑动

模型	Baseline	Soft Prompt	NeuroStrike	Refusal Cones	PEV
Llama-3.1-8B	8	58	87	92	100
Qwen2.5-1.5B	13	95	96	94	100
Phi-4-mini	16	75	92	96	100
GLM-4-9B	56	88	93	93	100
SmolLM3-3B	97	100	85	98	100
Mistral-7B	99	70	95	89	100

• 作者称 PEV 越狱了全部模型上的全部提示，其他被测方法没有同时做到这一点。Table 1 的六模型均值为：Baseline 48、I-GCG 75.2、Soft Prompt 81.0、Latent Fusion 61.0、NeuroStrike 91.3、Refusal Cones 93.7、PEV 100。Refusal Cones 在任一模型上都未到 100%。
• 作者称 Llama-3.1-8B 基线 8% 意味着它被训练得较安全；Mistral-7B 与 SmolLM3-3B 基线高于 97%，作者称它们就是不安全的模型，列入实验是为了完整性。PEV 的 100% 含超过 20 runs 的提示：Qwen2.5-1.5B 在 20 次内为 93%（Table 3）。
• 例外：SmolLM3-3B 上 Soft Prompt 也是 100%；该模型上 I-GCG 为 92%、NeuroStrike 为 85%，低于基线 97%。Mistral-7B 上 Soft Prompt 70%、Latent Fusion 85%、Refusal Cones 89%，低于基线 99%。Llama-3.1-8B 上 Latent Fusion 为 9%。Table 2 列出仅 PEV 成功的提示及 run 数，作者称都少于一分钟：Llama-3.1-8B 为 14、6、11，GLM-4-9B 为 6、6、5，Phi-4-mini 为 13、2。

第一次越狱的时间

• Figure 2 测单张 A100-80GB 上、从未经修改的模型到某提示第一次成功的墙钟时间。图注称对六个模型的平均成功率作图，并称 PEV 在最低的首次越狱时间处达到 100%。
• 作者称 PEV 在全部被测模型上可在一分钟内、且无需预处理得到不安全响应，并称它最快。作者称成功率次高的 Refusal Cones 时间高一个数量级，主要花在预处理，之后每提示时间与 PEV 相当。摘要称第一次成功攻击的平均算力成本最多比先前攻击低一个数量级。
• 图注称 I-GCG 因尺度被省略：Figure 2a 写它约 730 s/提示才到 75% 成功；Figure 2b 写 Qwen2.5-1.5B、Phi-4-mini、Llama-3.1-8B 上为 7、17 和 29 分钟，未逐一对应。图中另有秒级和分钟级标注，正文未逐条对应到方法，这里不赋值。

噪声尺度与所需 run 数

据 Table 3。r 为噪声相对长度。

表格较宽，可左右滑动

模型	σ	r	20次内	最大runs	平均runs
Llama-3.1-8B	0.016	2.055	100%	16	1.8
Qwen2.5-1.5B	0.024	0.994	93%	160	9.02
Phi-4-mini	0.08	0.393	100%	14	1.71
GLM-4-9B	0.003	2.196	100%	8	1.37
SmolLM3-3B	0.008	0.064	100%	15	1.7
Mistral-7B	0.005	2.395	100%	12	1.6

• Figure 3a 在各模型 σpeak 上统计第一次成功所需 runs：GLM-4-9B、Phi-4-mini 分别在 8、14 次内覆盖全部 100 条；Qwen2.5-1.5B 在 20 次内为 93 条，其余 7 条最多到 160 次。
• Figure 3b 画每个模型 2000 次生成（100 条乘 20 次）中 unsafe 比例随 σ 的变化。作者称 Llama-3.1-8B、GLM-4-9B、Qwen2.5-1.5B 在 σpeak 处形成尖峰，Phi-4-mini 从 σpeak=0.08 起升降较缓。正文未给出各 σ 的精确百分比。
• 作者称 r 从 6% 到 240%，并称相对原始 embedding 如此大的扰动后，提示语义仍被足够保留，因为响应仍满足有害提示的要求。

安全响应与退化

• Figure 4 在 n=2000（100 条乘 20 runs）上画 safe 与 degenerate 比例随 σ 的变化，模型为 Llama-3.1-8B、Phi-4-mini、Qwen2.5-1.5B；σ=0 是无扰动直接请求。正文未给出曲线上的具体百分比。
• 作者称扰动增大后，单条提示会出现很多退化响应；安全响应比例在较大扰动下仍非零。作者称其他方法通常 20 次 run 属于同一类，模型自身随机性几乎不起越狱作用。
• 脚注称其他语言的响应若翻译，常常是不安全的。分类规则仍把不含有害内容的其他语言标为 degenerate，不算 unsafe。

其他消融与分析

• I-GCG 逐模型（Table 1）：Llama 44、Qwen 78、Phi 65、GLM 77、Smol 92、Mistral 95。
• Latent Fusion 逐模型（Table 1）：Llama 9、Qwen 59、Phi 49、GLM 68、Smol 96、Mistral 85。
• 平均 runs 最低为 GLM-4-9B 的 1.37，最高为 Qwen2.5-1.5B 的 9.02（Table 3）。
• Figure 1：σ=0.003 时，同一 GLM-4-9B 在不同 run 上分别给出另一种语言、unsafe 完成或退化输出；无扰动时拒答。
• 论文未报告各方法的查询次数；除 Figure 2 图注外，未给出可逐方法对应的秒数。

作者指出的局限与后续方向

• 限于开放权重：作者称该技术目前限于 open-weight 模型（§5）。
• 闭源训练数据：作者认为扰动也可用来为闭源模型生成不安全训练数据，作为设计护栏和训练数据的便宜方法（§5）。
• 扰动下的行为：作者认为 PEV 是理解 LLM 在扰动下行为的一步，并认为可能与动力系统理论有联系（§5）。

实验覆盖范围

• 被测为六个 open-weight instruction-tuned chat 模型，默认解码参数在全部方法上固定（§4）。
• 提示为 JailbreakBench 的 100 条、十个类别；每模型、每提示、每方法先做 20 runs（§4、Table 1）。
• 对照为直接请求，以及 I-GCG、Soft Prompt、Latent Fusion、NeuroStrike、Refusal Cones（§4）。
• 判定用 Claude Opus 4.6；作者称人工核对了全部 unsafe，并抽样了其他响应。论文未报告抽样数量或一致性系数（§4）。
• σ 在一小部分不安全提示上选取，该小样本规模论文未报告；Figure 4 的 safe 与 degenerate 曲线包含三个模型（§4、Figure 3、Figure 4）。

PEV 是对 open-weight LLM 的 embedding 噪声越狱。

• 问题：作者要一种不算梯度、不改权重、又能稳定引出不安全响应，且 GPU 时间低于既有攻击的方法。
• 方法：对每个 token embedding 加一次独立高斯噪声，只加在输入上，随后按原模型前向。重复采样，任一 run 被判 unsafe 即该提示越狱。σ 按模型取不安全响应比例的峰值。
• 主结果：JailbreakBench 100 条、六个模型上，PEV 的逐提示词成功率为 100%（Table 1）。六模型均值上，Refusal Cones 为 93.7%，NeuroStrike 为 91.3%，直接请求为 48%。Llama-3.1-8B 基线为 8%，PEV 仍为 100%。
• 时间与例外：作者称第一次成功通常在一分钟内，平均算力成本最多比先前攻击低一个数量级。Qwen2.5-1.5B 在 20 次内只覆盖 93%，最多 160 次（Table 3）。SmolLM3-3B 上 Soft Prompt 也是 100%；Mistral-7B 与 SmolLM3-3B 上，若干攻击低于各自很高的基线。
• 作者结论：作者认为如此简单的方法能越狱全部被测提示，因而开放权重模型存在安全问题。作者还认为扰动既构成安全风险，也可用来查看 embedding 扰动下的模型行为，并为闭源模型准备不安全训练数据。