用 HASTE 主动加固 LLM 防御

如何持续生成能绕过当前检测器的对抗提示，并在运行时据此强化对 prompt-based attack 的检测。

• 场景：作者认为大模型输入空间理论上无限，可信与不可信输入都作为自然语言处理，恶意性判断没有封闭形式；因此需要与提示攻击同样自适应的防御。作者还指出，零日或刚合并的稀疏行为需要在人工更新规则前快速适应。
• 现有不足：作者称预防和检测已有进展，但仍缺可扩展、自适应的防御。检测效果与训练分布紧耦合；作者援引的分析称，相对原训练数据，新出现或分布外攻击上检测模型往往吃力。
• 做法假设：把持续绕过当前检测器的对抗提示当作 hard negative，再注入后续训练，可在闭环中提高检测并增加攻击多样性。作者称该过程不绑定某一种合成数据方法。
• 本文提出：HASTE（Hard-negative Attack Sample Training Engine）。主动方面，开发者用它压力测试提示注入检测；反应方面，模仿新观察到的攻击类型，让优化后的检测模型识别它们。
• 威胁模型：
  • 目标：对抗侧要让恶意提示被当前检测器持续误判（hard negative）；防御侧要提高对这类提示的检出。
  • 知识：论文未写 white-box、black-box 或 gray-box。闭环使用检测器的误分类结果选择再注入样本。
  • 能力：从种子对抗提示生成、变异并按比例混入 hard negative；也可模仿新观察到的攻击类型。具体生成提示作者称不予提供。
  • 受害系统：LLM 应用中、推理前或与推理并行的恶意提示检测模型。实验中被再训练和打分的是 ProtectAI 的 DeBERTa 检测器。

论文按分类法、难负例挖掘、防御技术和基准来组织相关工作，并在实验里用 Base 与未重训检测器作对照。

提示与攻击分类法

• 已有分类：Schulhoff 等（2024）归类提示技术；Liao 等（2025）与 Chowdhury 等（2024）综述攻击和防御；Rossi 等（2024）只覆盖 prompt injection。文献 [11] 分功能影响与技术两条轴。
• 本文采用的类：作者选用 role play、objective manipulation、obfuscation、other，以便评估生成方法和检测覆盖。作者称种子集不含 repeated token，但框架可换任何分类法。

合成数据与难负例

• 嵌入空间挖掘：FaceNet（Schroff 等，2015）与 Musgrave 等（2020）在连续嵌入上做 hard 或 semi-hard mining。作者指出这与离散指令式提示不同。
• GPTFuzzer：变异提示并用评审模型保留高成功变体，目标是提高对基座 LLM guardrail 的越狱成功。作者指出它没有 hard-negative 闭环、分类法覆盖和跨迭代时间评估。
• 邻近用法：Defensive Distillation（Papernot 等，2016）用对抗扰动扩充训练；Bartolo 等（2021）与 Qiao 等（2023）分别在问答和知识图谱中使用难负例。作者指出二者都没有多轮 hard-negative mining 加分类法类别。

检测、护栏与基准

• 检测器：LlamaGuard 按政策做分类；ProtectAI DeBERTa 在注入与越狱语料上微调；ToxicDetector 用内部层嵌入训练 MLP。作者援引的分析称，这些模型在新出现或分布外攻击上往往吃力。
• 护栏与基准：NeMo Guardrails（Rebedea 等，2023）等被写成多层、可主动也可反应的控制。JailbreakBench、HarmBench、JailbreakEval 主要围绕攻击成功或拒答。作者称缺少分类法时，难以按攻击族解释检测器。

实验基线与数据

• 对照：Base 只做生成，不做 hard-negative mining 或 fuzzing；检测器基线是第一轮不重训的 protectai/deberta-v3-base-prompt-injection。另有语义、句法、格式及全部 fuzzing。
• 数据：种子来自内部与公开对抗提示，benign 另有语料。论文提到 JailbreakBench 等，但未报告在这些基准上的实验结果。

作者称，据其所知近期 LLM 攻击综述并未描述一种迭代、分类法感知、由生成驱动、面向 prompt-injection 检测的 hard-negative mining 框架。HASTE 被定位为把生成、fuzzing、分类法与时间上的再训练合在一起的扩展。

HASTE 把生成、评审、fuzzing 和再训练串成可替换组件的闭环：误分类样本回到下一轮，检测器在第 5 轮和第 10 轮更新。

设定与留出集

• 对象：要优化的是 prompt-based attack 检测器，而不是直接改被保护的生成模型。技术类为 role play、objective manipulation、obfuscation、other。作者称 harm domain 与 OWASP 等对应，但细节不在本文范围。
• 留出：实验前划出评测集，不参与 fuzzing、合成或 hard-negative mining。再训练后的检测效果对着这个 out-of-loop 集合测量。
• 硬样本：假阴性与假阳性都可再注入。本文实验用 Seed:HM 比例控制 hard negative 的用量。

采集与生成

• 种子：来自野外越狱、公开基准、内部发现和 CTF 式挑战，去重并按分类法标注。Figure 2 是种子战术分布，正文没有各类条数。IV-B 写种子约 4,500，3,500 用于迭代生成，1,000 作 hold-out。
• 生成：可插拔。本文用 G1、G2，差别主要在给模型的提示；作者称提示不提供，以免被滥用，且二者只为展示评估流程，不是宣称某种生成提示新颖。系统比较不同提示不在本文范围。
• 实现参数：从种子抽样，让模型以不同角色和风格扩展或变异，每次输出 1 条合成样本。生成骨干是 GPT-4o。每运行生成 500 条，分到四个攻击类。

评审与精炼

• 评审：合成提示先交给模型得到回复，再把 prompt-response 交给评审。出回复的是 GPT-4o；评审是 usail-hkust/JailJudge-guard，分数 1–10，并给出理由。分数 1 既包括不应产生恶意回复的良性提示，也包括会立刻被拒的明显恶意提示，因为拒答被当作良性回复。更高分表示出现未被拦住的恶意输出。
• 阈值：Base 数据第一轮有 65% 样本分为 1，III-C 把阈值保守设为 2。同一节称更换阈值、目标模型或评审模型留作后续。IV-B 的精炼过滤又写 maliciousness_threshold = 1，以保留从轻到重的对抗样本。论文未说明这两个阈值如何同时使用。
• Fuzzing：可选。语义改变措辞并保持含义，实验用 humarin/chatgpt_paraphraser_on_T5_base。句法改大小写、空格、标点，实验为 replacement、5% mutation。格式把提示放进其他结构；III-D 举例 JSON、YAML、Markdown、XML，IV-B 写 YAML、Markdown、plaintext，Table I 的格式变体写 markdown。启用时 benign 也做 fuzzing，以免模型把 fuzzing 特征当成某一标签。

配平、训练与配置

• 配平：生成到精炼阶段只扩展恶意行为。本阶段按当轮有效恶意样本数，从约 40,000 条去重 benign 中等量抽取，得到 50/50。GPT-4o 用固定分类法提示标注。再 80:20 分层划分。
• 训练：分类器为 protectai/deberta-v3-base-prompt-injection。第一轮不重训。第 5、10 轮重训，记为 M5、M10，再到留出集上测。环内测试划分上的误分类样本回到生成与精炼。
• 配置即消融：Table I 中 Base 为 Seed:HM = 5:0、无 fuzzing。HM-Max 为 0:5，下一轮种子只用分类器找出的 hard negative。HM-Bal 为 3:2。Sem、Syn、Form、All 叠加对应 fuzzing。作者称关掉 fuzzing 即去掉 Refinement，Base 即去掉 Hard-Mining。Table I 里 Base+Syn、Base+Form、Base+All 的迭代数为 5，其余为 10。

实验设置

• 检测器：protectai/deberta-v3-base-prompt-injection。第一轮原样使用；第 5、10 轮再训练为 M5、M10。
• 其余模型：生成与标注用 GPT-4o；评审用 usail-hkust/JailJudge-guard；语义 fuzzing 用 humarin/chatgpt_paraphraser_on_T5_base。论文未报告重复次数。
• 数据规模：种子约 4,500（3,500 用于迭代生成，1,000 为 hold-out）；benign 约 40,000；每运行 500 条，跨四类。划分 80:20。各类条数未给出。
• 配置：Table I 含 Base、语义/句法/格式/All，以及 HM-Max、HM-Bal 与 Sem/All。V-A 因 Base+Sem 绕过更强，后续省略 Base+Syn 与 Base+Form。
• 指标：iteration accuracy 是再训练前、静态检测器在环内测试划分上的准确率，越低表示合成提示越能绕过检测（Table II、III）。H accuracy 是再训练后在环外评测集上的准确率（Table IV）。Table V、VI 是环外、正文所称第 5 轮再训练后的分类准确率。
• 评审：JailJudge 分数 1–10。III-C 阈值为 2；IV-B 写精炼阈值为 1。论文未报告评审与人工一致性。

主结果

下表为环外 H accuracy（Table IV）。各配置 M0 均为 82.12%。省略 HM-Max+All（M5 92.93%，M10 93.03%）。

配置	M5	M10
Base	81.06%	92.80%
Base+All	92.22%	93.13%
Base+Sem	93.94%	94.14%
HM-Bal	92.82%	93.74%
HM-Bal+All	93.74%	94.44%
HM-Bal+Sem	93.94%	93.84%
HM-Max	93.62%	93.96%
HM-Max+Sem	93.23%	94.24%

• 收敛说法：作者称 Base 在 M5 提升有限，到 M10 才与 hard-negative mining 的增益相当；表中 Base 的 M5 为 81.06%，M0 为 82.12%。作者另写至少 5 倍迭代、省去一半轮次、收敛加快 50%，以及迭代循环至少减少 50%。摘要写循环更少。论文未报告这些比较的统计检验。
• M5 与 M10：作者称六个 hard-mining 配置的大部分提升在 M5，M10 增加很少。表内 M10 最高为 HM-Bal+All 的 94.44%；HM-Bal+Sem 从 93.94% 到 93.84%。作者称 HM-Bal+All 的 H accuracy 最高，尽管各轮 iteration accuracy 只处中间。
• 训练信号：作者称 Base+Sem 与 HM 最终准确率接近，但信号不同。Table III 的 Base-Sem（即 Base+Sem）在 It10 为 66.16%，HM-Max+Sem 为 31.76%。作者认为后者面对更难样本仍回到高准确率，鲁棒性更耐久。结论写成 31% 对 66%。

未再训练时的绕过

• Fuzzing：Table II 环内、It0 均为 95.91%。Base+Sem 的 It2 为 65.26%、It5 为 65.87%，作者称语义改写最能产生绕过检测的恶意提示。Base 的 It1 至 It5 在 95.54% 至 95.73%。Base+Syn、Base+Form、Base+All 的 It5 为 71.62%、71.23%、71.08%。作者称峰值多在第二轮，并认为句法与格式可能抵消语义 fuzzing；该交互超出本文范围。
• Hard mining：Table III 未再训练、环内。HM-Max+Sem 的 It1 为 37.00%，It10 为 31.76%。作者称主要收益在一轮内，到第 10 轮只再降约 5%，且各策略几乎在第一轮后进入平台。Base 的 It10 为 93.49%，HM-Max 为 55.21%，HM-Bal 为 83.54%，Base-All 为 71.81%，HM-Bal+All 为 70.47%，HM-Max+All 为 61.35%。作者称任何程度的 hard-negative 采样都低于对应 Base、Base-Sem 或 Base-All。摘要称检出大约降低 64%。
• 采样比例：作者称 HM-Bal（3:2）的 It1 为 81.62%，与 Base 的 It1 95.68% 和 HM-Max 的 It1 58.60% 成比例。Table I 把 Base+All 的迭代数写为 5，Table III 仍给出至 It10 的数。论文未解释该差异。

类别准确率

• Table V：环外，正文称第 5 轮再训练后。ProtectAI deberta 的 Benign、Obfuscation、Objective Manipulation、Other、Role Play 为 70.4%、92.8%、95.3%、94.5%、97.6%。相对该行，HM-Bal 与 HM-Bal+All 的 Benign 均为 +19.9，Base 的 Benign 为 -6.9、Other 为 -1.6。
• 作者解读：作者称 benign 提升最多，可达 19.9 个百分点；其余类别提升更小，但起点已经较高。作者认为低表现子类更多时，才更能比较配置差异。
• Table VI：环外且为 All-type fuzzing。ProtectAI 五类为 27.6%、94.8%、97.3%、92.1%、98.4%。HM-Bal 与 HM-Bal+All 的 Benign 为 +62.7，四个攻击类为 -4.1、-6.0、-10.2、-10.2。Base+All 的 Benign 为 +59.8，攻击类为 -1.0、-4.0、-4.7、-5.1。该段未单独解释这些负向变化。

其他消融与分析

• Base+Syn 的 It2 与 It5 均为 71.62%，Base+Form 的 It2/It5 为 70.86%/71.23%（Table II）。
• HM-Bal+Sem 的 It1/It10 为 57.74%/57.18%（Table III）。
• HM-Max+All 的 M5/M10 为 92.93%/93.03%（Table IV）。
• 第一轮 Base 样本 65% 的 JailJudge 分为 1；III-C 阈值 2，IV-B 精炼阈值写为 1。
• 作者给出的 95% 置信区间示例：It2 为 0.6257–0.6794，It5 为 0.6417–0.6757。
• Figure 9 无正文数值；作者称一条假阳性在 fuzz 后 SHAP 不同，词中大写、异常空格和特殊字符似乎最敏感。

作者指出的局限与后续方向

• 评测敏感度（VI）：最终准确率接近时，作者认为当前基准可能不够敏感，捕捉不到更难样本带来的更深层鲁棒性。
• 解释（VI）：SHAP 或注意力可视化可能加强生成组件，并有利于分类器再训练。
• 相似度（VI）：自然语言或嵌入空间中的提示相似度，可用来指导 hard-negative 选取；作者指向知识图谱中的选例做法。
• 多轮（VI）：把框架扩到多轮 prompt-response，迭代精炼整段序列，使分类器能针对转折，而不只是单条提示。
• 子模块（VI）：作者计划更系统地评估各子模块，包括不限于固定变异率、replacement 和 Markdown 的 fuzzing，改变 LLM-as-a-Judge 阈值，以及评估多种基分类器架构。
• 总方向（VI）：向框架扩展（含更多评测指标）和更细的子模块效应两边延伸，以覆盖更多对抗行为、产生更难检出的提示，并理解哪些提示成为 potent hard negative。

实验覆盖范围

• 报告分数的检测器是 protectai/deberta-v3-base-prompt-injection；再训练点为第 5 轮和第 10 轮（IV-B、Table IV）。
• 生成与标注用 GPT-4o，评审用 usail-hkust/JailJudge-guard，语义 fuzzing 用 humarin/chatgpt_paraphraser_on_T5_base（IV-B）。
• 种子约 4,500，其中 1,000 为 hold-out；benign 约 40,000；每运行 500 条、四类攻击。iteration accuracy 在环内测试划分，H accuracy 与 Table V、VI 在环外集合。
• Table I 含 Base、语义/句法/格式/All，以及 HM-Max、HM-Bal 与 Sem、All 的组合。V-A 写明后续比较不再包括 Base+Syn 与 Base+Form。
• 论文给出一条 SHAP 例子（Figure 9）和一组 95% 置信区间示例。未报告重复次数、各类样本量，以及评审分数与人工判定的一致性。

HASTE 是检测器侧的闭环硬化框架：持续构造能绕过当前检测的对抗提示，再用来更新恶意提示分类器。

• 问题：提示空间无界，检测与训练分布绑在一起，稀疏的新攻击来不及靠人工规则补上。
• 流程：GPT-4o 扩展约 4,500 条种子中的训练集部分；JailJudge 以 1–10 分过滤；可选语义、句法或格式 fuzzing。与等量 benign 配平后微调 ProtectAI DeBERTa。hard negative 按 0:5 或 3:2 回到下一轮。1,000 条 hold-out 不进循环。
• 绕过：未再训练、环内，HM-Max+Sem 的 It1 为 37.00%，It10 为 31.76%，It0 为 95.91%（Table III）。Base-Sem 的 It10 为 66.16%。作者在摘要中称检出大约降低 64%，在结论中写成 31% 对 66%。
• 再训练：环外 H accuracy 的 M0 为 82.12%。HM-Bal+All 的 M10 为 94.44%，Base+Sem 为 94.14%，Base 的 M5 为 81.06%、M10 为 92.80%（Table IV）。作者称 hard-mining 在更少迭代里拿到主要增益。
• 类别与结论：第 5 轮后，环外 Benign 上 HM-Bal 相对 70.4% 变化 +19.9 个百分点（Table V）。All-type fuzzing 下 ProtectAI 的 Benign 为 27.6%，多个攻击类变化为负（Table VI）。作者称该原型按 fuzzing、hard-negative mining 和时间采样增强了 prompt-based attack 检测。