How Few-shot Examples Affect Prompt-based Defenses Against LLM Jailbreak Attacks

few-shot 示范与两类 system prompt 防御（RoP、ToP）的交互方向和机制仍不清楚。

• 场景：作者称经 RLHF、DPO、Constitutional AI 对齐的 LLM 仍会被越狱提示绕过，在敏感应用中引出有害输出。提示词防御因无需重训练而被使用。
• 现有不足：作者称 SG-Bench 发现 few-shot 可能诱发有害回答，但把它当独立因素，没有分开看它与 RoP、ToP 的交互。many-shot 与 improved few-shot jailbreaking 则把 few-shot 当作攻击。
• 假设：作者假设安全 few-shot 会提高 RoP 的安全率、降低 ToP 的安全率。机制分别是角色后验被加强，以及任务指令的注意力被稀释。
• 本文做法：作者比较无防御、RoP、ToP 及两类 few-shot 的组合，并给出贝叶斯 in-context learning 与注意力分析，以及部署建议。
• 威胁模型：
  • 目标：越狱提示要绕过安全对齐，引出有害、不道德或危险输出。
  • 知识：论文未把所评六种攻击标成 white-box、black-box 或 no-box。
  • 能力：攻击把 AIM、DAN、Evil Confident、Prefix Rejection、Poems、Refusal Suppression 用到基准查询上。防御只改 system prompt 和可选 few-shot，不重训练模型。
  • 受害系统与判定：受害系统是被测 LLM。Safe Rate 为判为安全的回答比例，ASR 定义为 1 减 Safe Rate。评审模型是 Qwen3Guard-Gen-8B。

论文按主题综述，并把缺口放在 few-shot 与不同 system prompt 的交互上。

安全对齐

• 反馈对齐：RLHF（Ouyang 等，2022）、Safe RLHF（Dai 等，2024）、Constitutional AI（Bai 等，2022）、DPO（Rafailov 等，2024）用偏好训练安全行为。论文也提到 Safety-tuned LLaMAs（Bianchi 等，2024）。
• 论文转述的限度：Wolf 等（2024）称对齐常只影响开头若干 token。Qi 等（2024）称良性微调也可损害安全。Huang 等（2024）与 Mo 等（2024）讨论生成利用和脆弱模式。

基准与攻击

• 基准：AdvBench、HarmBench、JailbreakBench、SafetyBench、XSTest、SG-Bench 等。论文称最相关的是 SG-Bench：它含 RoP、ToP 和 few-shot，但未把 few-shot 与两种 system prompt 的交互分开测。
• 攻击与红队：角色扮演（DAN、AIM）、梯度后缀（GCG、AutoDAN）、黑盒迭代（PAIR、Tree of Attacks），以及 many-shot jailbreaking（Anil 等，2024）。Perez 等（2022）、MART、HARM、RedAgent 用模型做红队。论文称 many-shot 把示范当攻击，而不是防御组件。

提示词防御与 few-shot

• 防御：self-reminder（Xie 等，2023）、intention analysis（Zhang 等，2024）、Llama Guard、NeMo Guardrails、SmoothLLM 等。RoP、ToP 的表述来自 SG-Bench。这些方法不是本文结果表里的对照行。
• 示范与理论：Brown 等（2020）、Min 等（2022）讨论 in-context 示范。Zheng 等（2024）的 improved few-shot jailbreaking 与 BadChain 显示示范可绕过防御或植入后门。解释来自 Xie 等（2022）、Liu 等（2024）的 lost in the middle、Xiao 等（2024）的 attention sink。
• 基线与基准：无防御、单独 RoP、单独 ToP，以及各自加上 FS-General 或 FS-Harmful。数据为 AdvBench、HarmBench、SG-Bench、XSTest。

作者称没有既有基准系统考察这一交互，并称本文是首次系统研究。第 6.3 节称：SG-Bench 所说 few-shot 可能诱发有害回答，主要对应 ToP；RoP+FS 在非 Think 模型上多为正。

作者用贝叶斯 in-context learning与注意力分析，预测 few-shot 对 RoP 和 ToP 方向相反，再用全部提示组合检验。

问题设定

• 防御形式：防御含 system prompt s，以及可选 few-shot F。F 是 k 组输入输出。回答由 s、F、查询 q 拼接后生成。安全率是回答落在安全集合中的概率。
• 两类提示：RoP 做身份变换，论文举例为把模型写成安全助手。ToP 做任务说明，论文举例为要求生成安全回答。Table 3 有模板，这里不抄句子。
• 交互：同一 s 下，加入 F 前后的 Safe Rate 之差记为 Δ。作者假设 RoP 的 Δ 为正、ToP 的 Δ 为负。
• 定义式：Δ(s, F)=SafeRate(s ⊕ F)−SafeRate(s)，即拼接 few-shot 带来的安全率变化。

贝叶斯更新

• 生成假设：作者沿用 Xie 等，把预训练分布写成潜概念 θ 上的混合，θ 决定输入到输出的映射。
• 后验：k 条示范把先验更新为后验，新查询的预测再对后验积分。第 3.2 节写有 Proof。
• RoP：Proposition 2 称，RoP 把先验集中在助手类概念。安全回答在安全概念下似然更高，所以安全 few-shot 会放大该后验。
• 未测内部量：论文没有报告模型内部后验或概念概率。这一节是解释框架。

注意力稀释与位置偏置

• 熵：Lemma 4 称，长度为 n 时 softmax 注意力熵不超过 log n，均匀分配时取等号。
• 稀释上界：E[α_instr]=O(L₀/(L₀+L_F))。L_0 是 ToP 指令长度，L_F 是 few-shot 总长度。作者称 L_F 变大时，指令 token 的注意力下降，跟随指令的准确率变差。
• 位置：作者引用 lost in the middle，称 few-shot 插入后任务指令被推到中间，检索准确率可低于 50%。Theorem 7 称，因果掩码下靠前 token 逐层累积注意力，与 attention sink 一致，所以写在开头的 RoP 不易被后面的 few-shot 冲掉。
• 可检验预测：第 3.5 节预测，示范变多时 RoP 的 Δ 上升、ToP 的 Δ 下降。RoP 对两种内容都受益，FS-Harmful 有时更强。ToP 下降主要由长度驱动。更深的模型位置偏置更强。

实验中的配置与判定

• 材料：FS-G 是三条良性对话。FS-H 是三条拒绝有害请求的示范。组合为无防御、单独 RoP、单独 ToP，以及四种加上 FS-G 或 FS-H 的配置。
• 攻击改写：每个基准的查询都用第 4.3 节的六种越狱改写。论文未把这些攻击写成优化循环，也未报告查询次数。
• 判定：指标为 Safe Rate、Refusal Rate，以及 ASR 等于 1 减 Safe Rate。评审模型是 Qwen3Guard-Gen-8B。论文未写温度、阈值和重复次数。
• 固定设置：实验把 k 固定为 3，没有按第 3.5 节的条数或深度做扫描。

实验设置

• 被测模型：Table 1 列出 Pangu-Embedded-1B、Pangu-Embedded-7B、Pangu-Embedded-7B-Think、Qwen-7B-Chat、Qwen3-8B、Qwen3-8B-Think、Qwen2.5-7B-Instruct、DeepSeek-7B-Chat、Llama-2-7B-Chat。结果表未报告 Pangu-Embedded-1B。
• 基准：AdvBench 520 条；HarmBench 300 条；SG-Bench 1,442 条、6 类安全问题；XSTest 450 条，测过度拒绝。每个基准都加六种越狱。论文只写出 AdvBench 变为 3,120 条（520×6）。
• 攻击与防御：攻击为 AIM、DAN、Evil Confident、Prefix Rejection、Poems、Refusal Suppression。配置为无防御、RoP、ToP、RoP+FS-G、RoP+FS-H、ToP+FS-G、ToP+FS-H。每类 few-shot 为 3 条。
• 指标：Safe Rate 为判安全的比例。Refusal Rate 为明确拒答比例，论文未说明判定规则。ASR 定义为 1 减 Safe Rate。表中主要报告 Safe Rate。
• 评审：Qwen3Guard-Gen-8B，作者称遵循 SG-Bench 协议。论文未报告阈值、温度、重复次数，以及评审与人工的一致性。

主结果

AdvBench 上，few-shot 相对单独 RoP 或 ToP 的 Safe Rate 如下（Table 8）。该表未列入 Pangu-Embedded-7B-Think、Qwen2.5-7B-Instruct、DeepSeek-7B-Chat、Pangu-Embedded-1B。

Swipe horizontally to read the table

模型	RoP+FS-G	RoP+FS-H	ToP+FS-G	ToP+FS-H
Pangu-Embedded-7B	94.9%→99.2%（+4.3）	94.9%→98.8%（+3.9）	96.0%→94.1%（-1.9）	96.0%→92.6%（-3.4）
Qwen3-8B	98.8%→99.8%（+1.0）	98.8%→96.9%（-1.9）	93.1%→97.8%（+4.7）	93.1%→82.4%（-10.7）
Llama-2-7B-Chat	95.5%→95.1%（-0.4）	95.5%→97.7%（+2.2）	92.7%→83.0%（-9.7）	92.7%→92.8%（+0.1）
Qwen-7B-Chat	94.6%→95.2%（+0.6）	94.6%→99.1%（+4.5）	96.5%→75.3%（-21.2）	96.5%→82.9%（-13.6）
Qwen3-8B-Think	90.8%→85.8%（-5.0）	90.8%→77.6%（-13.2）	77.4%→72.5%（-4.9）	77.4%→61.5%（-15.9）

• 作者称这确认 few-shot 增强 RoP、削弱 ToP，并给出平均 Δ：RoP 的 FS-G/FS-H 为 +2.0% 与 +2.2%，ToP 为 −6.6% 与 −8.7%。
• 表中符号并不全同向：RoP 有负 Δ，ToP 有正 Δ。Think 模型一行均为负。作者称 Think 模型违反标准预测。
• 摘要与引言、结论对 RoP 增幅上限的写法不同，分别对应 Qwen-7B-Chat 的 RoP+FS-H 与 Pangu-Embedded-7B 的 RoP+FS-G。结论的 ToP 降幅上限对应 Qwen-7B-Chat 的 ToP+FS-G。

越狱下的 RoP 与 ToP

• 无防御：Table 5，AdvBench。Llama-2-7B-Chat 由 99.8% 到 86.5%。Qwen3-8B-Think 由 97.3% 到 52.0%，作者称降 45.3 个百分点。DeepSeek-7B-Chat 由 54.8% 到 21.7%。作者称平均下降 15–60 个百分点，未给出计算表。
• 攻击类型：Table 6，仅 Pangu-Embedded-7B。Prefix Rejection 为 63.1%，AIM 为 72.1%，Poems 为 98.5%，Evil Confident 为 97.3%。作者称前两者最能绕过对齐，后两者成功有限。
• 加上 RoP/ToP：Table 7。Qwen3-8B-Think 由 52.0% 到 RoP 90.8%、ToP 77.4%。作者称 RoP 平均提高 15.2 个百分点、ToP 提高 12.8 个百分点，且 RoP 略高。同表 Pangu-Embedded-7B 为 ToP 96.0%、RoP 94.9%，Qwen-7B-Chat 为 ToP 96.5%、RoP 94.6%。

跨数据集与 HarmBench

• SG-Bench：Figure 3 图注称 RoP+FS-General 的平均 Safe Rate 为 0.88，单独 ToP 为 0.82，ToP+FS 为 0.79 与 0.78。论文未说明参与平均的模型。
• 跨数据集 Δ：Table 11 为 RoP+FS-G −0.6%±3.1%，RoP+FS-H −0.9%±5.4%，ToP+FS-G −3.0%±7.6%，ToP+FS-H −4.0%±5.4%。这与第 5.4 节在 AdvBench 上给出的 RoP 正平均不同。
• HarmBench：Table 13。Pangu-7B 的 RoP 由 93.2% 到 RoP+FS 96.5%。Qwen-7B 的 ToP 由 94.9% 到 ToP+FS 80.7%，作者称 −14.2%。Qwen3-8B 的 ToP 由 84.8% 到 ToP+FS 93.2%，并非下降。论文未说明 FS 是 General 还是 Harmful。Think 行的 RoP+FS 为 86.1%，低于 RoP 的 89.6%。

XSTest 与 Think 模式

• 过度拒绝：Table 14，越狱条件下，论文未说明防御配置。Pangu-7B 的 Safe Rate 为 97.4%、Refused Rate 为 78.0%、Gap 为 75.4%。Llama-2-7B 为 95.7%、83.4%、79.1%。Qwen3-8B-Think 为 60.1%、34.5%、−5.4%。作者称前两模型 Gap 大于 70%。作者称 Think 模型 Gap 为负，既会答应应拒绝的请求，也会拒绝良性请求。
• Think 对照：Table 4 中 Pangu-Embedded-7B-Think 为 75.0%，非 Think 为 99.8%。第 5.9 节作者称 Think 模型的攻击降幅比非 Think 大 20–45%，且不论 RoP 或 ToP，few-shot 交互都为负。第 6.1 节把 Qwen3-8B-Think 的 52.0% 与 75.6% 并列，把 Pangu-7B-Think 的 75.0% 与 99.8% 并列。前者对应 Table 5 的越狱、无防御，后者对应 Table 4 的直接查询。
• 作者解释：第 6.1 节用双过程理论与 instruction hierarchy 解释 Think 模式和 RoP/ToP 不对称。这是作者的解释，不是额外测量。

其他消融与分析

• Table 12，RoP+FS-G 的 Δ：Pangu-7B 在 Adv/Harm/SG/XS 为 +4.3、+3.3、+2.6、−0.7。Qwen3-8B-Think 为 −5.1、−3.5、−9.4、−5.5。Adv 上 Qwen-7B 为 +0.5，Table 8 写 +0.6。
• Table 9 把观察写成 Δ_RoP +2.0% 到 +4.5%、Δ_ToP −6.6% 到 −21.2%，未纳入 Table 8 的反号格子。Table 10 写首 token 注意力大于 10%，论文未报告自测注意力。
• 第 5.5 节案例：作者称 RoP+FS-Harmful 拒绝 AIM 类请求，ToP+FS-General 在 Qwen-7B-Chat 上未拒绝。此处不复述提示与输出。
• Table 6 其余攻击，仍是 Pangu-Embedded-7B、AdvBench：DAN 89.2%，Refusal Suppression 85.6%，无攻击 99.8%。
• 作者在第 5.4 节称 Pangu-Embedded-7B 的 +4.3% 与较低初始后验一致。论文未报告后验数值。

作者指出的局限与后续方向

• 模型规模：作者称主要评测 7–8B，更大规模可能呈现不同模式（第 6.4 节）。
• 机制验证：作者称角色强化与注意力分散是由经验模式支持的假设，注意力可视化或 probing 才能加强确认（第 6.4 节）。
• 示范数量：作者称只用了 3 条，不同数量可能有不同效应（第 6.4 节）。
• 闭源模型：作者称因访问限制未评测 GPT-4 与 Claude（第 6.4 节）。
• 后续方向：作者列出注意力分析、按模型特性自动选择配置、评测大于 70B 与闭源模型、考察示范数量与内容，以及进一步分析 Think 模式（第 6.5 节）。

实验覆盖范围

• 结果表出现的模型为 Llama-2-7B-Chat、Pangu-Embedded-7B、Pangu-Embedded-7B-Think、Qwen-7B-Chat、Qwen3-8B、Qwen3-8B-Think、Qwen2.5-7B-Instruct、DeepSeek-7B-Chat。Table 1 还列出 Pangu-Embedded-1B，结果表未给数字。
• 基准为 AdvBench、HarmBench、SG-Bench、XSTest。越狱方法为 Table 2 的六种。相关工作讨论了 GCG、AutoDAN、PAIR，实验节未报告这些方法的数字。
• 防御组合为无防御、RoP、ToP，以及与 FS-General、FS-Harmful 的搭配。few-shot 为 3 条（第 4.4 节、第 6.4 节）。第 3.5 节预测效应随条数单调变化、并随模型深度增强，实验未报告这两项对照。
• 评审模型为 Qwen3Guard-Gen-8B。论文未报告重复次数、采样设置、拒答判定规则，以及评审与人工的一致性。
• Table 8 的交互结果含 5 个模型。Table 13 的 RoP+FS、ToP+FS 未写明是 FS-General 还是 FS-Harmful。Table 14 未写明防御配置。

作者评估 few-shot 示范如何改变 RoP 与 ToP 对越狱的防御效果。

• 设定：防御是 system prompt 与可选 few-shot 的拼接。RoP 规定安全助手身份，ToP 规定安全回答任务。FS-General 与 FS-Harmful 各 3 条。Safe Rate 由 Qwen3Guard-Gen-8B 判定，ASR 为 1 减 Safe Rate。
• 越狱与单防御：AdvBench、无防御时，Llama-2-7B-Chat 的 Safe Rate 为 86.5%，DeepSeek-7B-Chat 为 21.7%（Table 5）。作者称 RoP、ToP 平均提高 15.2 与 12.8 个百分点。Table 7 中 Pangu-Embedded-7B 与 Qwen-7B-Chat 的 ToP 高于 RoP。
• 交互：Table 8 里，Qwen-7B-Chat 的 RoP+FS-H 相对 RoP 为 +4.5，ToP+FS-G 相对 ToP 为 -21.2。作者称 AdvBench 上 RoP 平均增强、ToP 平均削弱，但表中有反号，Think 模型整行为负。摘要的 RoP 上限是 4.5%，引言和结论写 4.3%。
• 其他基准：图注称 SG-Bench 上 RoP+FS-General 的平均 Safe Rate 为 0.88（Figure 3）。Table 11 的跨数据集 RoP+FS 平均 Δ 为负。HarmBench 上 Qwen-7B 的 ToP 到 ToP+FS 为 94.9% 到 80.7%，作者称降 14.2 个百分点。同表 Qwen3-8B 的 ToP+FS 高于 ToP，且论文未说明 FS 变体（Table 13）。
• 作者结论：作者建议非 Think 模型用 RoP 加 few-shot，使用 ToP 时不要加 few-shot。作者称 Think 模式在直接查询、越狱和 few-shot 交互上安全率更低。机制解释被写成与观察模式相符的假设。