跳到正文
原文
arXiv：越狱、提示注入、投毒与防御· arXiv:2609.13534· Noor Islam S. Mohammad·本站收录· 原文发表

HPD 与 HERALD：用跨层有害性传播轨迹检测越狱提示

Harmfulness Propagation Dynamics: Layer-wise Trajectories of Adversarial Intent in Large Language Models

论文速读

防御

据论文 PDF 整理（AI 生成），以原文为准

HERALD 用逐层 LDA 有害方向上的投影轨迹做输入审核，OLMo2-7B 上八个基准平均 F1 为 89.3。

威胁模型输入审核发生在生成之前。攻击者可构造对抗性/越狱提示词，并可通过在越狱提示后追加良性 token 稀释 last-token 表示。

问题
对齐后的模型仍易受对抗与间接提示影响，输入审核是生成前的补充防线。Guard 模型准确但要另跑大模型；已有 latent 方法轻量，却只看单层隐藏状态，丢掉跨层轨迹。
方法
HERALD 对每层 last-token 隐藏状态做无梯度 LDA，得到有害方向并计算余弦投影序列。再抽出七维轨迹特征（终端值、均值、总升幅、曲率、单调性、起始层及其投影），用 288 参数 MLP 分类。
实验与结果
在四个指令微调模型、八个有害性基准上，以 WildGuardMix 训练、其余零样本评测。OLMo2-7B 平均 F1 为 89.3；WildJailbreak 上 98.4，高于四个 guard 的最高 96.9。ToxicChat 与 OpenAI Moderation 上则落后最强 guard。
局限与可以继续做的
作者指出 WildGuardMix 以英语为主，可能漏掉文化特定、多语或弥散伤害；训练中的虚假相关可能抬高误报。自适应白盒对手仍是开放问题。实验覆盖四个 7B–8B 主骨干、八个基准和三类随机种子。
实验设置Llama-3.1-8B-Instruct、Mistral-7B-Instruct 等 · Aegis、HarmBench 等 · macro-averaged F1、pairwise cosine similarity
威胁模型
输入审核发生在生成之前。攻击者可构造对抗性/越狱提示词，并可通过在越狱提示后追加良性 token 稀释 last-token 表示。方向由训练集约一次前向、无梯度的 LDA 学得。自适应白盒对手若能访问已学方向，可能压低早期层投影同时维持高终端值；论文将其标为开放方向。
被测模型
Llama-3.1-8B-InstructMistral-7B-InstructOLMo2-7B-InstructQwen3-8B-Instruct
基准
AegisHarmBenchOpenAI ModerationSimpleSafetyTestsToxicChatWildGuardMixWildJailbreakXSTest
指标
macro-averaged F1pairwise cosine similarity
AI 导读论文提出有害性传播动力学（HPD）：对有害提示，最后一 token 隐状态在学得的危害方向上的投影随 Transformer 深度单调上升，而良性提示保持平坦或振荡，说明轨迹形状比单层快照更有信息量。基于此作者提出 HERALD，从跨层投影序列中提取斜率、曲率、单调性、起始层等七维特征，用 288 参数 MLP 分类；每层存一个 d 维方向（32 层、d=4096 模型约 262 KB），训练不需梯度计算，推理仅增加 2.6×10⁻⁶ 的 prefill FLOPs。

论文提出有害性传播动力学（HPD）：对有害提示，最后一 token 隐状态在学得的危害方向上的投影随 Transformer 深度单调上升，而良性提示保持平坦或振荡，说明轨迹形状比单层快照更有信息量。基于此作者提出 HERALD，从跨层投影序列中提取斜率、曲率、单调性、起始层等七维特征，用 288 参数 MLP 分类；每层存一个 d 维方向（32 层、d=4096 模型约 262 KB），训练不需梯度计算，推理仅增加 2.6×10⁻⁶ 的 prefill FLOPs。

深度解读

6个问题，点开问题读完整回答

  1. 这篇论文试图解决什么问题？

    有害意图沿层深单调上升，单层快照丢掉轨迹形状，HERALD 用七维轨迹做生成前审核。

    有害提示的 last-token 投影沿层深单调上升，良性提示则平坦或振荡；单层审核丢掉这条轨迹。

    • 场景：作者认为安全部署需要超出对齐微调的防御。即便对齐良好的模型仍易受对抗与间接提示影响（Perez et al., 2022; Greshake et al., 2023; Ganguli et al., 2022; Carlini et al., 2023），而对齐可能牺牲通用能力（Askell et al., 2021）。输入审核在生成前拦截不安全提示，避免对有害输入做完整前向。
    • 现有方法：Guard 模型（Markov et al., 2023; Vidgen et al., 2023）准确，但要额外跑一个大模型（7B guard 约 14 GB）。Latent 方法（Ryu et al., 2024; Li et al., 2025）轻量，却只提交单层隐藏状态，丢掉跨深度的表示进程。
    • 核心观察：作者称有害性是逐步被解析的语义属性：表层形式出现得早，语用意图在更深层巩固。把每层 last-token 状态投到逐层 LDA 有害方向上，有害提示（尤其越狱）从近零单调升到后期强正值，良性提示平坦或振荡。轨迹形状（起始层、单调性、曲率）比终端值更有信息，差距在对抗越狱上最大。
    • 提出的方法：作者提出 Harmfulness Propagation Dynamics（HPD），并据此做轻量输入审核器 HERALD（Harmful Encoding Recognition via Activation Layer Dynamics）。它从跨层投影序列抽出七维特征，用 288 参数 MLP 分类；每层只存一个方向（32 层、d=4096 时 262 KB），训练不需梯度，推理增加 2.6×10−6 的 prefill FLOPs。
    • 威胁模型：
      • 目标：在生成前判断提示是否有害，并留下可读的逐实例轨迹审计记录。
      • 知识与能力：方向由带标签训练集一次无梯度前向学得。后缀实验中，攻击者可在越狱提示后追加良性 token，以稀释 last-token 表示。
      • 受害系统：宿主 LLM 的 prefill 激活（实验主骨干为四个指令微调模型）。Guard 基线不访问宿主激活。
      • 自适应情形：作者称白盒对手若能访问已学方向，可能压低早期层投影并维持高终端值；轨迹感知对抗训练被标为开放方向（Section 8）。

  2. 有哪些相关研究？

    相关工作分对齐、输入审核、线性探针与拒答方向、时序异常检测四组；HERALD 分类整条跨层轨迹。

    • 对齐与红队：RLHF（Christiano et al., 2017; Stiennon et al., 2020）与 DPO（Rafailov et al., 2023）提升安全性，但对齐模型仍易受对抗提示影响（Ganguli et al., 2022; Perez et al., 2022; Zou et al., 2023c）。作者把输入审核定位为训练期对齐的补充，作用在生成之前。

    • 输入审核：Guard 模型（Markov et al., 2023; Vidgen et al., 2023）分类强，但需要第二个大模型。规则过滤器（Röttger et al., 2021）可解释但脆弱。Latent 方法（Ryu et al., 2024; Li et al., 2025）利用宿主激活，却从选定的单层分类。论文明确对比：HERALD 把整段跨层投影序列当作输入。

    • 表示几何与拒答方向：线性方向可编码语义概念（Mikolov et al., 2013; Park et al., 2024）。探针工作认为层从句法到语用逐步编码更抽象的性质（Jawahar et al., 2019; Tenney et al., 2019; Rogers et al., 2020）。Zou et al.（2023c）用对比激活加法学 reading vector 做探测与转向；Markov et al.（2023）显示真值方向呈线性几何。Park et al.（2024）在残差流中找出线性 refusal direction，消融后安全行为消失。作者称这与本文互补：refusal 刻画生成时行为，HPD 刻画推理时对提示意图的编码，且本文逐层学 LDA 方向并分类轨迹，而不是固定深度上的投影。

    • 时序特征与治理：斜率、曲率、单调性是异常检测中的标准时序特征（Christ et al., 2018）。作者称 HERALD 把这一范式搬到 LLM 激活空间。Ganguli et al.（2022）与 Vidgen et al.（2023）被用来支持可复现评测对部署的重要性；逐实例轨迹被写成可查询的审计记录。

    • 基线与基准：潜表示基线为 Embed. Clf.（嵌入层线性分类器）与 Act. Delta（固定层隐藏状态之差），与 HERALD 共用同一宿主。Guard 基线为四个独立安全分类器 Guard A–D，不访问宿主激活。评测基准为 Aegis、HarmBench、OpenAI Moderation、SimpleSafetyTests、ToxicChat、WildGuardMix、WildJailbreak、XSTest；除另有说明外在 WildGuardMix 训练集上训练，其余划分零样本评测。

    作者把本文与固定深度探针、单层 latent 审核和生成侧拒答方向区分开：逐层 LDA 方向上的投影轨迹本身是被分类的对象。

  3. 论文如何解决这个问题？

    逐层 LDA 方向上的余弦投影形成轨迹，七维几何特征交由 288 参数 MLP 做二分类。

    HERALD 把提示的跨层有害投影当成一条标量序列：先无梯度地为每层学一个 LDA 方向，再抽出七维几何特征，用小型 MLP 判定有害。

    问题设定与形式化

    • 轨迹定义：长度为 T 的提示 x 经 L 层模型处理，hl ∈ Rd 为第 l 层 last-token 隐藏状态。余弦投影为 pl(x)=⟨ hl/|hl|, vl/|vl|⟩∈[−1,1]，序列 {pl} 即 harm trajectory。
    • 经验形态：在以 WildGuardMix 训练的 Llama-3.1-8B-Instruct 上，作者称有害提示分三阶段：早期（l ≲ 8）投影近零，中层稳定单调上升，后期 pL ≳ 0.4。良性提示平坦或振荡，均值投影近零。作者称该模式在四个模型族、多种伤害类别和释义上稳定。
    • 命题 3.1（非正式）：若有害意图主要编码在更深层、vl 是该层最优 Fisher 判别的一致估计、有害表示在 vl 上的投影期望随 l 增加而良性表示有界，则有害轨迹期望单调上升，良性轨迹满足 E[pl]≈0。假设 (i)(iii) 在附录 B 经验检验，(ii) 由方向稳定性分析支持。
    • 为何不只用终端值：两个提示可以 pL 相近而形状不同。作者用越狱（早起始、单调上升）与仅在末层偶然靠近有害方向的边界提示说明这一点；起始层 l̂* 与单调性被用来区分二者。

    逐层有害方向

    • LDA：每层对 last-token 状态做二分类 LDA。vl 最大化 v⊤ SB(l) v / v⊤ SW(l) v，闭式解正比于 SW(l) 的逆乘以（μharm − μsafe），再单位化。
    • 收缩：当 d ≫ ntrain 时用解析 Ledoit–Wolf 收缩反演类内散度。作者称无正则时低数据区间 F1 最多下降 27 点（Table 10）。训练后丢弃散度矩阵，每层只留 vl（d=4096、半精度约 8 KB）。
    • 相对类均值差：作者认为类均值差忽略长度、措辞和修辞风格造成的类内散度。经验上 LDA 比类均值差高 0.5–0.8 F1（Table 4）。

    七维特征与分类器

    • 特征：ϕ(p)∈R7 含 pL、均值 p̄、总升幅 pL−p1、平均绝对曲率 Δ²p、单调比 mono(p)、起始层投影 p_l̂* 与起始层 l̂。l̂ 定义为首个 pl>τ90 的层，τ90 为 90 分位阈值。训练与推理流程见 Algorithm 1：对训练集做一次前向收集各层 last-token 状态，解出 vl，抽出 ϕ，训练 MLP。
    • 分类器：两层 MLP，隐藏维 32，输出经 σ，共 288 参数，CPU 上数秒可训。判定阈值为 g(ϕ(p))≥0.5。作者称逻辑回归与完整 MLP 相差不超过 1.0 F1（Table 9），隐藏维 64–128 或两层隐藏层没有统计上的额外收益。
    • 开销：推理增加 L 次点积与 L 次归一化，O(2Ld) FLOPs。L=32、d=4096 时约 262K FLOPs，相对 100-token 提示约 100B prefill FLOPs 的比例为 2.6×10−6。存储为 L×d×2 字节（fp16）=262 KB；作者称约为全协方差方法的 1/650、7B guard（约 14 GB）的 1/53000。

  4. 论文做了哪些实验？

    四模型、八基准上 HERALD 平均 F1 最高 89.3；WildJailbreak 上 98.4，ToxicChat 与 OAI 落后最强 guard。

    实验设置

    • 被测宿主：Llama-3.1-8B-Instruct、Mistral-7B-Instruct、OLMo2-7B-Instruct、Qwen3-8B-Instruct。正文写另有 1B 到 70B 的规模实验；本解读所据正文表格的主结果是上述四个骨干。
    • 基准：Aegis、HarmBench、OpenAI Moderation（OAI）、SimpleSafetyTests（SimpST）、ToxicChat（TChat）、WildGuardMix（WGMix）、WildJailbreak（WJB）、XSTest。除另有说明外在 WildGuardMix 训练集训练，其余划分零样本评测。论文未在 Table 1 给出各集样本量。
    • 基线：Embed. Clf. 与 Act. Delta 使用同一宿主激活。Guard A–D 为独立分类器，不访问宿主激活。
    • 指标与统计：macro-averaged F1。报告三个随机种子的均值；HERALD 的标准差 ≤0.3 并被省略。≥0.5 F1 的提升在配对 bootstrap（p<0.05）下被作者称为统计显著。
    • 消融默认：Section 7 每次只改一项，报告 WildGuardMix 上的平均 F1，数据划分与超参与完整模型相同。
    • 方向稳定性：五个随机划分上逐层 LDA 方向的配对余弦相似度 >0.97（Table 12，附录 H）。

    主结果

    Table 1 为八个基准上的平均 macro-F1（三种子均值）。Guard 行的 Backbone 列为 NE。

    表格较宽，可左右滑动

    方法骨干AegisHarmBOAITChatWJBAvg
    HERALDLlama-8B84.197.669.564.995.886.3
    HERALDMistral-7B85.797.968.463.694.386.3
    HERALDOLMo2-7B88.797.473.174.698.489.3
    HERALDQwen3-8B82.498.670.362.792.184.7
    Act. DeltaOLMo2-7B81.490.772.970.891.085.0
    Embed. Clf.OLMo2-7B85.693.865.463.194.284.7
    Guard CNE86.278.476.171.896.984.4
    Guard DNE88.498.181.578.996.487.8

    表中省略 SimpST、WGMix、XSTest 三列，以及 Embed./Act. 在 Llama、Mistral、Qwen 上的行和 Guard A、B。据 Table 1，SimpST 上 HERALD 为 98.4 / 98.9 / 99.5 / 95.9，WGMix 为 86.3 / 86.7 / 87.9 / 84.9，XSTest 为 93.7 / 94.9 / 95.8 / 90.8（顺序均为 Llama、Mistral、OLMo2、Qwen）。Guard A、B 的 Avg 为 78.0 与 71.4，WJB 为 66.1 与 58.3。

    • 作者解读：HERALD 在四个骨干上都高于两个 latent 基线，平均增益 2.3–4.1 F1；OLMo2-7B 平均 F1 89.3 为表中最高。WildJailbreak 上四个骨干都超过四个 guard，OLMo2-7B 为 98.4，次高为 Guard C 的 96.9（Section 6.1 写超出最好 guard 1.5 点）。
    • 例外：ToxicChat 与 OpenAI Moderation 上，HERALD 落后最强 guard 2–4 F1。Section 8 给出更具体的差距：ToxicChat −4.3 F1，OpenAI Moderation −8.4 F1。作者将其归于这两类伤害更弥散、依赖语境，且 WildGuardMix 可能未充分覆盖其风格。
    • Figure 1：图注称 (a) 为八基准、四骨干的 F1，HERALD 高于两个 latent 基线，并在 WildJailbreak 上相对 guard 更有优势；(b) 为跨基准平均 F1；(c) 为 WildJailbreak F1。曲线端点数值正文未另给，与 Table 1 并列。

    数据效率与分布外

    • Table 2（WildGuardMix F1）：Llama-8B 上 HERALD 在 100 / 1k / 10k / Full 样本为 79.6 / 84.1 / 85.9 / 86.3；Embed. Clf. 为 79.3 / 81.6 / 82.9 / 83.6；Act. Delta 为 77.8 / 80.4 / 82.1 / 82.7。OLMo2-7B 上 HERALD 为 83.7 / 86.5 / 88.0 / 87.9。作者称约在每类 1,000 样本处进入平台，100 样本时在所有骨干上领先超过 2 F1。
    • OOD：仅在 Aegis 上训练、在 WildGuardMix 上评测时，作者称 HERALD 的下降小于两个基线。论文未在所给正文中写出该 OOD 的具体 F1。
    • 与终端值对照（Section 6.3）：只用 pL 时 OLMo2-7B 为 87.8，比完整模型低 1.5；WildJailbreak 上为 96.3 对 98.4，差 2.1。100 样本时 OLMo2-7B 的 HERALD 为 83.7，作者称与 latent 基线的全量结果相当。

    轨迹特征与伤害类别

    • Table 3（特征累加，OLMo2 的 WJB 列）：仅 pL 为 87.8（WJB 96.3）；加均值 88.1（96.6）；加总升幅 88.5（97.1）；加单调性 88.9（97.6）；加曲率 89.1（97.9）；加起始层的完整模型 89.3（98.4）。去掉起始层后 OLMo2 为 88.4、WJB 97.1。作者称起始层贡献最大，尤其在越狱上（完整模型 +0.5 F1，逐步累加 +1.3 F1）。
    • 类别签名（Table 13）：越狱起始层 l̂≈7、单调性 0.83；社会刻板印象起始层 l̂≈19、单调性 0.58。作者称单层方法看不到这种类别差异。
    • 方向学习（Table 4）：OLMo2-7B 上随机方向 79.9、类均值差 88.5、有害类残差 PCA 88.1、LDA 89.3。Llama-8B 与 Mistral-7B 上 LDA 均为 86.3。

    其他消融与分析

    • 层覆盖（Table 5）：全层最好（Llama / Mistral / OLMo2：86.3 / 86.3 / 89.3）；oracle 单层 85.5 / 85.0 / 88.5，落后 0.8–1.4 F1；Top-8 为 85.9 / 85.8 / 89.0；早期三分之一最低，OLMo2 为 83.2。
    • token 位置（Table 6）：last token 86.3 / 86.3 / 89.3；全 token 均值 84.1 / 83.7 / 87.2；首 token 80.6 / 79.3 / 82.4。
    • 后缀填充（Table 7，Llama-8B，WildGuardMix）：last token 在 k=0/10/50/100/200 为 86.3 / 85.8 / 85.0 / 83.7 / 81.5；跨层 max projection 为 85.9 / 85.7 / 85.4 / 85.0 / 83.8。作者称 k=50 下降 1.3 F1，k=200 下降 4.8 F1；max-pooling 在长后缀上更稳，干净输入上牺牲 0.4 F1。
    • 归一化（Table 8）：同时归一化 hl 与 vl 为 86.3 / 86.3 / 89.3；不归一化为 84.5 / 84.0 / 87.5。作者称提升 1.3–1.8 F1。
    • 分类器容量（Table 9）：逻辑回归 OLMo2 为 88.4；hidden=32 为 89.3；两隐藏层 32×32 为 89.4。作者称更大网络没有显著增益。
    • 协方差（Table 10）：无正则时 Llama-8B 为 61.3（F1@100 为 52.1）；Ledoit–Wolf 为 86.3 / 86.3 / 89.3，其 F1@100 为 79.6，低于固定 ridge（λ=0.01）的 81.7。作者称收缩在低样本下更稳，但该列上 ridge 的 F1@100 更高。附录 Table 23：oracle 单层 Embed. clf. 为 82.7 / 82.6 / 85.8，HERALD 为 86.3 / 86.3 / 89.3，差距 3.6 / 3.7 / 3.5；正文另写 3.5–4.8 F1。

  5. 有什么可以进一步探索的点？

    作者指出训练分布偏英语与弥散伤害、方向可能编码虚假相关，以及白盒自适应逃避仍开放。

    作者指出的局限与后续方向

    • 训练分布（Section 10）：有害方向来自 WildGuardMix，主要为英语，可能低估文化特定、多语或弥散伤害；作者建议在其他语言或文化场景中验证，并最好用领域数据重训。
    • 虚假相关（Section 10）：若训练数据含人口统计或风格上的虚假相关，方向可能部分编码这些信号，提高受影响群体上良性提示的假阳性；作者建议做子群评测与公平审计。
    • 公开表征的双重用途（Section 10）：发表有害性传播动态的刻画可能帮助对手设计逃避；作者认为部署前需要持续红队、按类别评测和自适应威胁建模。
    • 弥散伤害（Section 8）：社会刻板印象或含蓄讽刺几何上不够连贯，未来应探索多方向子空间，以覆盖弥散或文化特定的伤害。Section 8 末还列出多语与多模态扩展、接入检索增强生成以标记结构上含糊的检索内容，以及弥散类别的子空间扩展。
    • 自适应逃避（Section 8）：能访问已学方向的自适应白盒对手可能压低早期投影并维持高终端值。作者把轨迹感知的对抗训练标为重要开放方向。
    • 可学习序列聚合（附录 W）：若每类训练样本远多于 50,000、轨迹含无法用曲率/单调性表达的非单调模式，或层数远长于当前（例如 L>100），学习到的序列模型会更合适；70B、L=80 且有大规模安全数据时，学习型聚合是自然扩展。

    实验覆盖范围

    • 主评测：四个指令微调骨干（Llama-3.1-8B、Mistral-7B、OLMo2-7B、Qwen3-8B）与八个提示有害性基准；指标为三随机种子的 macro-F1，训练默认用 WildGuardMix。
    • 对照范围：latent 基线为 Embed. Clf. 与 Act. Delta；独立分类器为 Guard A–D。消融覆盖方向估计、层选择、token 位置、归一化、MLP 容量与协方差收缩，并报告 WildGuardMix 上的 F1。
    • 数据与后缀：Table 2 给出 100、1k、10k 与 Full 训练规模；Table 7 在 Llama-8B、WildGuardMix 上测试 k∈{10, 50, 100, 200} 的良性后缀。OOD 设置为只在 Aegis 上训练、在 WildGuardMix 上评测，正文未给出具体 F1。
    • 稳定性与类别：五个划分上逐层方向余弦相似度 >0.97（Table 12）。Table 13 报告越狱与社会刻板印象的起始层和单调性。
    • 规模实验：正文称另有 1B 到 70B 的规模实验；所附表格未给出这些规模上的 F1。论文未报告人工与自动判定的一致性，分类由 MLP 阈值 0.5 完成。

  6. 总结一下论文的主要内容

    HPD 用跨层投影形状区分有害与良性提示；HERALD 在越狱检测上高于所测 guard，在两类弥散基准上落后。
    • 定位：HERALD 是生成前的轻量输入审核器，依据有害性沿层深的投影轨迹做分类，并保留逐实例轨迹作为审计记录。
    • 问题：对齐模型仍会被对抗与间接提示绕过。Guard 要另跑大模型；已有 latent 审核只看单层，丢掉意图如何随深度显现。
    • 方法：每层用 Ledoit–Wolf 收缩的 LDA 从 last-token 状态学一个有害方向，计算余弦投影序列，抽出终端值、均值、总升幅、曲率、单调性、起始层及其投影，再用 288 参数 MLP 以 0.5 为阈值分类。32 层、d=4096 时存储 262 KB，相对 100-token prefill 的额外 FLOPs 比例为 2.6×10−6。
    • 主结果：四个骨干、八个基准上，OLMo2-7B 平均 macro-F1 为 89.3（Table 1）。WildJailbreak 上该骨干为 98.4，四个 guard 中最高为 Guard C 的 96.9。作者称相对先前 latent 方法平均高 2.3–4.1 F1。只用终端投影时 OLMo2-7B 为 87.8，WildJailbreak 为 96.3。
    • 例外与作者结论：ToxicChat 与 OpenAI Moderation 上落后最强 guard 4.3 与 8.4 F1。作者认为越狱呈早起始、高单调（约第 7 层、0.83），社会刻板印象晚起始且增长不一致（约第 19 层、0.58）。作者的结论是：把激活序列当作结构化时序信号，比单层快照更能支持可查询的安全治理，同时方向稳定性（配对余弦相似度 >0.97）使轨迹可复现。
阅读原文arxiv.org
#防御与护栏