Defense Against the Dark Prompts：用提示词评估缓解 Best-of-N 越狱

如何在回答模型之前拦住 Best-of-N（BoN）一类随机文本增强越狱。

• 场景：作者称越狱会绕过 LLM 与 VLM 的安全限制，生成有害或受限内容。引言转述 BoN 能绕过 circuit breakers 等开源防御。
• 现有不足：作者称不少缓解针对特定攻击向量，是反应式防御，难以跨多样对抗场景泛化。
• 作者的理由：要引出危险回答，提示词须能被模型理解；作者认为这与评估智能体生效的条件一致，尽管模型对看似无害的改动敏感。
• 威胁模型：
  • 目标：引出有害或受限输出。实验只做文本；视觉与音频留作后续。
  • 能力：对有害提示词做 word scrambling、random capitalization、ASCII noising，并重复采样。作者转述 [16]：效果来自输入方差，而非某种增强本身。
  • 受害位置：评估智能体在回答模型之前，同时查危险内容与越狱企图。作者认为绕过评估器与绕过内部安全彼此牵制。
• 本文做法：提出 Defense Against The Dark Prompts（DATDP），用评估 LLM 反复检查，直到给出安全评级。作者称与一些其他做法不同，它显式查找越狱企图。

越狱攻击

• FigStep（Gong 等, 2023）用排版式视觉提示绕过 VLM 的文本过滤；Jailbreaker（Deng 等, 2023）做跨聊天机器人的自动越狱。
• 符号数学（Bethany 等, 2024）与说服式提示（Zeng 等, 2024）被引言列为可绕过现有防护的攻击。
• 引言还提到提示词拼接、上下文嵌入操纵，以及用 LLM 生成对抗提示词以攻击商业聊天系统。

防御与评测资源

• Self-Reminder（Xie 等, 2023）用自我提醒防御 ChatGPT 越狱；Self-Guard（Wang 等, 2023）把迭代自我评估与安全训练结合起来。
• WildTeaming（Jiang 等, 2024）从真实交互中找攻击向量并改进防御数据。
• 越狱分类（Abhinav 等, 2023）与 JailbreakBench（Chao 等, 2024）被引言当作形式化分析与稳健性基准。

BoN 与方法前身

• Best-of-N Jailbreaking（Hughes 等, 2024）对文本、视觉、音频做随机增强并重复采样。本文转述：10,000 次样本下 GPT-4o 为 89%、Claude 3.5 Sonnet 为 78%，并绕过 circuit breakers（Zou 等, 2024）。
• DATDP 建在 Gorman 与 Armstrong（2022）的提示词评估做法上（Section 2）。
• 结论把本文与 AI control（Greenblatt 等, 2023）相联系：用较小模型监察更强模型。

测试数据：实验没有把其他防御列为对照。所用集合是 HarmBench 的 159 条有害提示词，BoN 仓库的 1045 条成功增强，作者复制的成功与失败越狱各 1000 条，1590 条随机增强，以及 250 条正常提示词。

作者把 DATDP 定位为前置评估智能体，用来对付 [16] 的文本增强；并称小模型评估器与前沿模型评估器几乎同样能拦住这类提示词。

DATDP 在回答模型前放一个评估智能体，反复判断用户提示词是否危险或企图越狱，再按加权和决定拦截或放行（Figure 1）。

流水线

• 用户提示词先进入评估智能体，不直接交给回答模型。
• 判为有害则返回拦截错误信息；判为安全才生成回答。有害包括危险内容与越狱企图。
• 图注称评估到 high confidence 再分流。正文实现是固定次数后看加权和，论文未另给置信度阈值。
• Figure 2：同一 LLaMa-3-8B-instruct 作回答模型时会顺着有害请求给建议，作评估器时拦截并说明理由。不复述图中输出。

评估任务

• 系统提示要求逐步解释，并以 yes 或 no 结尾。yes 表示含 forbidden_task。
• 实验中的 forbidden_task 同时覆盖“回答会危险”和“意图欺骗或越狱”。Section 2.1.2 有英文原文，此处不逐句列出句式要求。
• 用户消息只包入待评估提示词。不以 yes/no 结尾的回答排除；作者称这出现在 LLaMa 上，Claude 没有。论文未报告排除条数。
• 两个评估模型是 Claude 3.5 Sonnet（API：claude-3-5-sonnet-20241022）与 LLaMa-3-8B-instruct。

迭代加权

• LLaMa 回答不稳定，每条 N=25；作者称 Claude 更一致，N=5。
• yes（拒绝）记 +2，no（接受）记 −1。正和判有害并拒绝；严格负和放行。和为 0 时如何处理，论文未写。
• 作者举例：N=5 时两 yes 三 no，加权和为 1，拒绝；一 yes 四 no，加权和为 −2，放行。
• 作者称这是偏保守的规则：只要有少量有害迹象就倾向拒绝。

测试提示词如何来

• 六个集合：HarmBench 159 条（去掉版权与依赖上下文的行为）；BoN 论文列出的 1045 条成功增强；复制实验中越狱成功、失败各随机 1000 条；每个基提示 10 条、共 1590 条随机增强；250 条正常提示词。
• 复制 [16] 时 σ=0.25，三种文本增强。每个基提示 5000 条，共 795,000 条。由 LLaMa-3-8B-instruct 作答，再用 HarmBench auto-grader 判断是否实现原始有害行为。
• 作者称 [16] 用 GPT-4o 做该判断，本文因速度与成本改用 LLaMa-3-8B-instruct。795,000 条中 26,946 条被判成功，768,054 条失败，再各抽 1000 条。
• 主评测看评估器是否拦截应当拦截的提示词，不是重测回答模型的攻击成功率。

实验设置

• 评估器：Claude 3.5 Sonnet（claude-3-5-sonnet-20241022），N=5；LLaMa-3-8B-instruct，N=25。yes 记 +2，no 记 −1。
• 数据：HarmBench 未增强 159 条；BoN 成功增强 1045 条；复制成功、失败各 1000 条；随机增强 1590 条；正常提示词 250 条。
• 复制：σ=0.25，共 795,000 条；成功 26,946、失败 768,054。有害性标签由 LLaMa-3-8B-instruct 运行 HarmBench auto-grader 产生，不是 [16] 的 GPT-4o。
• 指标：Table 1 为 % blocked。前五类应当拦截；正常提示词上该比例是误拦。95% 区间用 Clopper-Pearson（Table 2）。
• 对照：结果表没有其他防御的拦截率。论文未报告独立重复次数，也未报告格式不符而被排除的回答数。

主结果

数据集（n）	Claude	LLaMa-3-8B-instruct
HarmBench 未增强（159）	100%	98.74%
BoN 论文成功越狱（1045）	100%	100%
复制成功越狱（1000）	99.90%	99.80%
复制未越狱增强（1000）	99.50%	100%
随机增强（1590）	99.94%	99.94%
正常提示词（250，% blocked）	0%	0.40%

据 Table 1。最后一行越低，误拦越少。复制未越狱集仍是应当拦截的增强有害提示词。

• 作者称六组里 Claude 更好三组、LLaMa 更好一组、持平两组；只看增强提示词则是一好、一差、两组持平（Section 3、3.1）。
• 摘要的 99.8%（CI [99.28%, 99.98%]）对应 LLaMa 的复制成功越狱，不是两模型共用。BoN 样本 100% 的 CI 为 [99.65%, 100.00%]（Table 2）。
• 作者称增强集效果大致恒定在约 99.7%，预期不改变 [16] 幂律的指数，只乘小标量，使该越狱大约难 500 倍。论文未报告重算后的攻击成功率。

未增强提示词与正常提示词

• Figure 4 纵轴是正确分类比例，范围 90%–100%。图注标题写 Augmented Prompts，图注正文与 Section 3.2 写的是未增强 HarmBench 和正常提示词。
• LLaMa 漏掉 HarmBench 中 2 条，Claude 全部拦住。附录 A.1 有原文，此处不复述。作者认为拦增强提示词可能比拦未增强提示词更有效。
• 正常提示词的拦截 CI：Claude [0.00%, 1.46%]，LLaMa [0.01%, 2.21%]（Table 2）。LLaMa 误拦 1 条。作者称可以理解为何拦截，但仍认为判错。不复述该句。

自评、迭代与回答侧

• 作者称 Claude 评估器拦住 [16] 的全部提示词，包括其中越狱了 Claude 的那些；论文未给该子集条数。LLaMa 评估器拦住曾越狱其回答角色的提示词，比例即 Table 1 复制成功越狱一行。
• Figure 5 以 N 为横轴画 LLaMa 的拦截比例。作者称 N=12 似乎已接近文中所用的 N=25。纯文本没有各点百分比。
• 改去评估回答时，LLaMa 在 1000 条复制越狱里拦住 760 条。作者称初步结果不理想，并认为可能是评估器比 HarmBench auto-grader 更宽松。提示词侧漏掉的 3 条也被回答侧拦住（Section 4、A.3）。

其他消融与分析

• 权重 +2/−1、σ=0.25 与 N 的选取没有对照实验数字；Figure 5 的文本未给各 N 百分比。
• 附录 A.3：复制成功越狱中 Claude 漏 1 条、LLaMa 漏 2 条。不复述增强文本。
• 附录 A.4：复制未越狱中 Claude 漏 5 条，其中 4 条只有 1 次 yes；作者称更保守的加权会拦住这 4 条。另 1 条没有 yes。LLaMa 全部拦住。
• 附录 A.5：1590 条中两模型漏掉同一条，与 A.4 中没有 yes 的那条是同一原始行为的不同增强。
• 附录 A.2：1045 条两模型全部拒绝，与 Table 1 一致。

作者指出的局限与后续方向

• 视觉与音频越狱留作后续研究（Section 1.1）。
• 评估模型可针对任务微调；作者称这类改进尚未充分测试（Section 4）。
• 把评估器放到回答之后：1000 条复制越狱上只拦住 760 条，作者称初步结果不理想（Section 4）。
• 作者提出可同时评估提示词与回答，并加入改写智能体（翻译往返或改写文体）。改写方案写成可以引入的设计，论文未给出该方案的实验结果（Section 4）。

实验覆盖范围

• 评估模型为 Claude 3.5 Sonnet（N=5）与 LLaMa-3-8B-instruct（N=25）两个（Section 3、Table 1）。
• 六个文本集的规模为 159、1045、1000、1000、1590、250（Section 2.2.1）。
• 复制增强用 σ=0.25 和三种文本增强，共 795,000 条后再抽样（Section 2.2.2）。
• 越狱标签由 LLaMa-3-8B-instruct 运行 HarmBench auto-grader 产生；论文写明 [16] 用的是 GPT-4o（Section 2.2.2）。
• 主结果是拦截比例及 Clopper-Pearson 95% CI（Table 1、Table 2）。论文未报告非 yes/no 回答的排除数量，也未报告与其他防御方法的对照拦截率。

DATDP 是放在回答模型之前的提示词评估，用来对付 BoN 式文本随机增强。

• 问题：词序打乱、随机大小写和 ASCII 噪声的重复采样，可以让有害提示词绕过模型自身防护。作者要在生成之前同时拦住危险内容与越狱企图。
• 做法：评估 LLM 多次判断，并以 yes 或 no 结尾。yes 记 +2、no 记 −1；正和拦截，严格负和放行。Claude 3.5 Sonnet 每条 5 次，LLaMa-3-8B-instruct 每条 25 次。
• 增强集：BoN 论文的 1045 条成功越狱，两评估器均为 100%，95% CI [99.65%, 100.00%]（Table 2）。复制成功越狱 1000 条上，Claude 为 99.90%，LLaMa 为 99.80%（Table 1）。结论写增强提示词的拦截在 99.5% 到 100% 之间。
• 例外：未增强 HarmBench 上 LLaMa 为 98.74%，漏 2 条。250 条正常提示词上 Claude 拦截 0%，LLaMa 拦截 0.40%。改评回答时，LLaMa 只拦住 760/1000。
• 作者结论：作者称小模型评估器与 Claude 几乎同样能拦住增强提示词，同一模型换到评估角色后能拦住会越狱其回答角色的大部分提示词。作者认为这可以加在现有流程前，作为与内部安全互补的一层；视觉、音频以及微调等待测。论文未报告费用或延迟。