WIFA:按意图分组监督缓解包装式越狱与过度拒答
Refusing Intent, Not Form: Wrapper-Based Intent-Group Supervision for LLM Safety
WIFA 用匹配的有害/良性包装意图组做监督;Qwen 上 WIFA-Boost 的 SORRY-Bench 拒答升至 63.7,A-GCRT-M5 把 OR-Bench 过拒从 25.7% 降到 17.4%。
训练时防御:模型可能把包装形式学成拒答捷径,包装后的有害请求绕过安全、结构相近的良性请求被过拒。
- 安全微调常按单条提示词学遵从或拒答,包装后的有害请求可绕过安全,结构相近的良性请求又被过拒。目标是在包装变化下拒绝有害意图,同时保留匹配形式下的良性遵从。
- WIFA 自动把同一意图配成共享包装族下的有害组与结构匹配的良性组,不靠外部教师或逐包装人工标签。其上有两条微调:WIFA-Boost 两阶段偏安全,A-GCRT 用组内决策分数一致性并把有害/良性组锚到间隔两侧。
- 主设定为 Qwen2.5-7B-Instruct。WIFA-Boost 的 SB-avg5 从基座 22.1 升至 63.7,SB-mis 为 59.3。A-GCRT-M5 把 OR-Bench 过拒从 25.7% 降到 17.4%,SB-avg5 为 46.7。Llama 上 A-GCRT 未低于基座 OR。作者称复现基线未同时达到这两个工作点。
- 作者指出方法是训练时拒答塑形,不是完整部署防护;实验用固定包装族、两个 7–8B 指令模型与两种有害种子,换更大模型、其他语言、多模态或工具使用、自适应攻击者及不同有害/良性配比时工作点可能变;GSM8K 仍有能力代价,决策分数只作训练时正则。
- Threat model
- 训练时防御:模型可能把包装形式学成拒答捷径,包装后的有害请求绕过安全、结构相近的良性请求被过拒。目标是在包装变化下拒绝有害意图、对匹配形式保持良性遵从。攻击者知识与自适应能力论文未按白盒/黑盒形式化;评测含固定包装与 15 类未见攻击族,作者称不构成对自适应攻击者的鲁棒性。
- Evaluated models
- Qwen2.5-7B-InstructLlama-3.1-8B-Instruct
- Benchmarks
- HarmBenchSORRY-BenchStrongREJECTOR-Bench-HardXSTestMMLUGSM8K15-family unseen-attack suite
- Metrics
- SB-avg5SB-misORXS SafeRefHBMMLUGSM8KASRSR Mean
论文提出 Wrapper-Based Intent-Form Augmentation(WIFA),一种自动意图分组增强方法,把带包装的有害示例与结构匹配的带包装良性反例配对,无需外部教师模型或逐包装的人工意图标注。WIFA 作为通用数据层支持两条微调路线:两阶段高安全配方 WIFA-Boost,以及 Anchored Group-Consistent Refusal Training(A-GCRT),后者在同一意图的不同包装间正则化拒答与合规决策分数,并把有害与良性分组锚定在间隔两侧。
Paper analysis
What problem does this paper attempt to solve?
安全微调易把包装形式当成拒答标签,论文要用意图组监督分开有害拒答与良性遵从。
安全微调容易把表面包装学成拒答捷径:包装后的有害请求绕过安全,结构相近的良性请求被过拒。
- 场景与重要性:作者认为对齐应让模型帮助良性请求、拒绝不安全请求,但同一意图可用角色扮演、翻译、学术讨论、虚构框架、格式约束或自动提示搜索等包装表达。越狱改变表面形式而保留有害意图;只加包装后的有害提示词会教出“包装即拒答”的捷径,表面安全上升,相似包装的良性请求被过拒。
- 现有方法的不足:作者称常规安全微调多学单条提示词上的遵从/拒答,监督的是孤立的提示词–回复对,而不是同一意图的不同表面形式。只在变换后的有害提示词上训练,仍可能让变换本身成为拒答捷径;提示时防御、组鲁棒训练和外部安全系统也未说明如何让目标模型对同一意图的表面变体给出一致且方向分离的拒答/遵从决策。
- 核心观察:作者把意图组而不是孤立提示词当作监督单位。在共享包装族下同时构造有害组与结构匹配的良性组,使包装形式不再能预测期望决策。
- 提出的方法:作者提出 Wrapper-Based Intent-Form Augmentation(WIFA),自动配对包装有害样本与结构匹配的包装良性反例,不需要外部教师或逐包装人工意图标签。WIFA 作为公共数据层,支撑两条互补微调:WIFA-Boost(两阶段、偏高安全)和 Anchored Group-Consistent Refusal Training(A-GCRT)(组内拒答/遵从分数一致,并把有害组与良性组锚到间隔两侧)。
- 威胁模型:
- 目标:在包装变化下拒绝有害意图,同时对匹配表面形式保持良性遵从;两条路线分别偏向变换后有害请求的拒答,以及降低不必要的良性拒答。
- 受害系统:被安全微调的指令跟随模型。主实验为 Qwen2.5-7B-Instruct 与 Llama-3.1-8B-Instruct。
- 攻击者能控制的输入:表面包装(角色、翻译、学术、虚构、格式约束、自动提示搜索等)。评测另含 HarmBench、SORRY-Bench 变换、StrongREJECT,以及 15 类训练包装之外的未见攻击族。
- 知识与判定:论文未用 white-box / black-box / no-box 刻画攻击者。成功看有害请求拒答率与良性过拒率的工作点,而不是单一拒答率。作者称未见攻击结果不构成对自适应攻击者的鲁棒性保证。
What related research exists?
相关工作分安全拒答微调、越狱与鲁棒评测、过拒评测,以及提示时防御与组鲁棒训练。
作者把相关工作分成安全对齐、越狱评测、过拒评测,以及提示时防御与组鲁棒训练四组,并指出它们多未把同一意图的不同表面形式绑在一起监督。
- 安全对齐与拒答微调
- 指令微调、RLHF 与 DPO(Ouyang et al., 2022; Bai et al., 2022a; Rafailov et al., 2023)——在有用性与有害补全拒答之间做平衡。
- Constitutional AI、Safe RLHF 与解耦拒答训练(Bai et al., 2022b; Dai et al., 2024; Yuan et al., 2025)——提供通向无害性的相关路线。
- 拒答机制研究(Arditi et al., 2024; Qi et al., 2025)——分析拒答行为表示在何处、如何被操控。作者称这些工作常监督单条提示词–回复对,而不是显式连接同一意图的不同表面形式。
- 越狱与鲁棒安全基准
- 红队与越狱(Perez et al., 2022; Ganguli et al., 2022; Wei et al., 2023; Shen et al., 2024; Zou et al., 2023)——扩大对抗发现,并显示对齐模型在后缀、角色扮演和模板变化下仍然脆弱。
- 自动攻击(Liu et al., 2024; Chao et al., 2025; Mehrotra et al., 2024)——用搜索与优化加大压力。
- HarmBench、SORRY-Bench、StrongREJECT(Mazeika et al., 2024; Xie et al., 2025; Souly et al., 2024)——在变换或对抗提示词下测量有害行为。作者称只在变换后的有害提示词上训练,仍可能让变换本身成为拒答捷径。
- 过拒与良性敏感评测
- XSTest、OR-Bench、FalseReject(Röttger et al., 2024; Cui et al., 2024; Zhang et al., 2025c)——强调敏感措辞与双用途语境。
- Do-Not-Answer 与伪有害提示诊断(Wang et al., 2023; An et al., 2024)——隔离良性敏感失败。作者称鲁棒安全不能只看有害请求拒答,还要在类似不安全提示的表面形式下保持良性遵从。
- 提示时防御、组鲁棒与外部安全系统
- Self-Reminder、Intention Analysis、Goal Priority(Xie et al., 2023; Zhang et al., 2024, 2025a)——不更新参数,加入提醒、目标优先级或意图分析。
- Instruction hierarchy 与安全推理(Wallace et al., 2024; Zhu et al., 2025)——在提示或训练时增加相关结构。
- 一致性/组鲁棒训练与外部防护(Xie et al., 2020; Arjovsky et al., 2019; Sagawa et al., 2019; Inan et al., 2023; Han et al., 2024; Shen et al., 2025)——处理干扰变异与虚假相关,或用 guard、奖励式机制做外部安全。作者称这些工作留下的问题是:如何训练目标模型本身,使同一意图的表面变体得到一致且方向分离的决策。
基线方法为六种复现防御:提示时的 Self-Reminder、Intention Analysis、Goal Priority;训练时的 Vanilla Refusal-SFT、LookAhead Tuning、RATIONAL。SIRL 只作外部参考,不是复现基线。基准/数据集包括 HarmBench、SORRY-Bench、StrongREJECT、OR-Bench-Hard、XSTest、MMLU、GSM8K,以及 15 类未见攻击族。
作者把本文定位为:用自动匹配的意图组把包装形式变成干扰变量,并在同一数据层上分开“有害请求更安全”和“避免不必要良性拒答”两个目标。
- 安全对齐与拒答微调
How does the paper address this problem?
WIFA 用共享包装族配对有害与良性意图组;WIFA-Boost 两阶段偏安全,A-GCRT 约束组内分数并加方向锚。
整体思路是把 意图组当作监督单位:先用 WIFA 在共享包装族下构造匹配的有害组与良性组,使包装形式不能预测期望决策;再在这一数据层上走 WIFA-Boost 或 A-GCRT。Figure 1 左侧为数据构造,中间为两条训练路线,右侧为期望行为:相似表面形式下拒绝有害意图、遵从良性意图。
问题设定与 WIFA 数据
- 形式化:令 z 为底层意图,d(z) 为其直接形式提示词,w 为表面包装,x = w(z) 为包装后提示词。Wm 是有害与良性构造共享的匹配包装族。有害意图 zh 的组为 Gh(zh) = Ah(zh) ∪ {w(zh) : w ∈ Wm},其中 Ah 含直接形式拒答锚点;良性意图 zb 的组为 Gb(zb) = {w(zb) : w ∈ Wm}。匹配只定义在共享包装形式上,有害组额外包含直接形式锚点。
- 目标格式:任意组内输入的目标为意图分析段加上 y(z)。分析段写入底层直接形式提示词,回复段使用同一模型对该直接形式提示词的回复:有害来源为拒答,良性来源为经审核的有帮助回答。因此不需要外部教师推断每个包装提示词的意图,也不需要逐包装人工标签。
- 主设定规模:|Wm| = 7。每个有害意图 9 种形式(7 个匹配包装加 2 个直接形式拒答锚点),每个良性提示词 7 个匹配包装。共 2250 条有害样本、3500 条包装良性样本,合计 5750 条 WIFA-SFT 样本。包装类型包括角色框架、翻译、学术框架、虚构框架、间接表述等;附录 A 给出完整来源、包装与重叠细节。
- 来源:Qwen 用 250 条 AdvBench 风格有害种子;Llama 用 HH-Inst 去重后抽样的 250 条有害意图。良性提示来自 Alpaca 风格池,由对应基座模型作答并过滤明显拒答。BeaverTails 只作预实验数据源警示:作者称其边界敏感样本会偏向宽泛谨慎,故主实验不用。
WIFA-Boost:两阶段安全提升
- 两阶段 SFT:θ1 = SFT(θ0, DW),θ2 = SFT(θ1, Dcal)。DW 为 5750 条 WIFA-SFT;Dcal 为 2750 条校准集,含同一批 2250 条有害拒答样本加 500 条带意图分析目标的普通良性样本。实现上两阶段都是 LoRA SFT。
- 作者给出的分工:第一阶段让模型学到包装不是标签;第二阶段加强有害拒答边界,并用额外的普通良性样本重新引入普通良性遵从。作者把 WIFA-Boost 定为变换形式有害请求上的高安全工作点,而不是低过拒方法。
A-GCRT:带锚点的组一致拒答训练
- 目标:不训练辅助安全分类器,而是让同一底层意图的提示词产生相近的拒答/遵从决策,并把有害组与良性组推到决策间隔的两侧。总损失为 L = LSFT + λgcr (Lvar + γ Lanchor)。
- 决策位置分数:在闭合意图分析标记之后的第一个回复 token 上,用预定义拒答前缀集 R 与遵从前缀集 C 的 next-token logit 定义 sθ(x) = max_{r∈R} ℓθ(r|x) − max_{c∈C} ℓθ(c|x)。正分设计为偏向拒答,负分偏向遵从。作者称该分数只作训练时正则代理,不是校准过的推理时分类器。前缀集合见附录 B。
- 组内一致性与方向锚:Lvar 是组内决策分数方差,鼓励同一意图的不同包装取向一致。Lanchor 把组均值锚到间隔 m:有害组为 [m − s̄z]+,良性组为 [m + s̄z]+,即有害组被推向高于 +m,良性组被推向低于 −m。作者称这不同于通用组鲁棒或不变风险目标:不优化最差组任务损失,也不搜索域不变预测器,只在同一意图的包装组上正则化“拒答减遵从”分数。
- 实现:组按底层意图形成;每组采样少量包装形式,把 A-GCRT 损失加到序列级 SFT 损失上。复现的训练方法均用 LoRA。A-GCRT-M5 与 A-GCRT-M10 用同一 WIFA-SFT 提示池,区别在目标与间隔设置。间隔、采样、前缀 token 与其他超参数在附录 B。
成功判定与评测协议
- 指标:有害拒答用 HarmBench 拒答率 HB、SORRY-Bench 拒答率(SB-avg5 为五个变换子集平均,SB-avg6 再加 base 子集,SB-mis 为 misrepresentation 子集)、StrongREJECT 的 SR Safe 与 SR Mean。过拒用 OR-Bench-Hard 的 OR,以及 XSTest 安全提示的 XS SafeRef;XS UnsafeRef 为不安全提示拒答。未见攻击用 ASR,越低越好。能力用 MMLU 与 GSM8K。除另行说明外,数值为百分比,SR Mean 除外。
- 能力协议:所有方法含基座都用修正后的能力协议。MMLU 与 GSM8K 加固定的良性意图分析前缀,以把解题与分析格式生成分开;XSTest 与 StrongREJECT 不加该前缀。附录 B 报告超参数、基准规模、解码设置与计算细节。论文未在正文给出各基准条数。
What experiments did the paper conduct?
Qwen 上 WIFA-Boost 的 SB-avg5 为 63.7,A-GCRT-M5 把 OR 从 25.7% 降到 17.4%;Llama 上 OR 未低于基座。
实验设置
- 被测模型:Qwen2.5-7B-Instruct 为主设定;Llama-3.1-8B-Instruct 为另一模型与有害来源分布上的压力检验。作者称跨设定只看作趋势,不作一一对应比较。评审侧 Table 24 使用 Qwen-72B 与 GPT-4o。
- 数据:Qwen 为 250 条 AdvBench 风格有害种子;Llama 为 HH-Inst 的 250 条有害种子。WIFA-SFT 各 5750 条(2250 有害 + 3500 匹配包装良性)。WIFA-Boost 再加 2750 条校准集(2250 有害拒答 + 500 普通良性)。附录 A.5 对 Qwen 种子与 HarmBench 做重叠检查,排除精确与归一化提示词重复;作者称不主张零语义重叠。
- 方法与基线:最终方法为 WIFA-Boost、A-GCRT-M5、A-GCRT-M10。诊断变体包括 Harmful-Only SFT、WIFA-SFT、Joint WIFA+Plain SFT、Reverse WIFA-Boost。复现基线六种:Self-Reminder、Intention Analysis、Goal Priority、Vanilla Refusal-SFT、LookAhead Tuning、RATIONAL。SIRL 仅外部参考。
- 指标与评审:HB、SB-avg5、SB-mis、OR、XS SafeRef、MMLU、GSM8K 见 Table 1;另有未见攻击 ASR、StrongREJECT、决策分数诊断。Table 24 以 Qwen-72B 与 GPT-4o 做交叉评审。论文未报告重复次数。
- 消融范围:除非另述,消融用 Qwen。变量包括数据结构、良性/有害比例、两阶段顺序、A-GCRT 分量、学习率与轮数、间隔与锚点权重。
主结果
Table 1 的标题比较(SB 为 SB-avg5;OR 为 OR-Bench-Hard 过拒;MMLU、GSM8K 为能力准确率):
Swipe horizontally to read the table
方法 Qwen SB↑ Qwen SB-mis↑ Qwen OR↓ Qwen MMLU↑ Qwen GSM8K↑ Llama SB↑ Llama OR↓ Llama XS SafeRef↓ Base 22.1 0.2 25.7 70.1 89.39 31.2 28.4 9.66 Intention Analysis 43.2 15.2 64.1 68.2 68.99 60.6 83.0 20.6 RATIONAL 59.0 42.0 87.9 3.2 33.13 54.5 52.7 10.8 WIFA-SFT 63.6 49.3 69.7 68.4 82.79 63.7 53.0 28.15 WIFA-Boost 63.7 59.3 56.0 67.9 79.00 52.8 39.8 17.65 A-GCRT-M5 46.7 20.9 17.4 69.0 83.70 50.8 40.1 9.24 A-GCRT-M10 52.0 28.9 40.7 68.5 84.61 52.8 45.3 8.12 表中省略 Self-Reminder、Goal Priority、Vanilla Refusal-SFT、LookAhead Tuning;它们的 Qwen SB 分别为 22.7、36.0、36.0、42.7,Qwen OR 分别为 29.4、67.2、78.9、50.6,均未同时达到 WIFA-Boost 的 SB 与 A-GCRT-M5 的 OR(据 Table 1)。
- Qwen 工作点:作者称 WIFA-SFT 显示数据层效果,SB 63.6、SB-mis 49.3,但 OR 69.7 仍偏保守。WIFA-Boost 把安全优先方向推到 SB 63.7、SB-mis 59.3、OR 56.0,作者称这是该指标上最强的变换有害拒答,超过最强复现防御(RATIONAL 的 SB 为 59.0)。A-GCRT-M5 把 OR 从基座 25.7 降到 17.4,低于基座和全部复现防御,同时把 SB 从 22.1 升到 46.7;M10 更保守,SB 与 OR 都更高。
- Llama 边界:作者称直接拒答微调代价高;A-GCRT 相对拒答微调变体降低宽泛拒答倾向,但 OR 为 40.1/45.3,未低于基座 28.4。XSTest 安全提示上 A-GCRT-M5/M10 的 XS SafeRef 为 9.24/8.12,低于基座 9.66 与复现防御。作者称这支持权衡解读,但不意味着普遍低于基座的过拒。
- 能力:作者称修正协议下,Qwen A-GCRT-M5 的 MMLU 69.0、GSM8K 83.70,接近基座 70.1 与 89.39,并保持最好的 OR。WIFA-Boost 的 GSM8K 为 79.00。RATIONAL 降到 MMLU 3.2、GSM8K 33.13。Llama 上 A-GCRT-M5/M10 的 MMLU 回到 67.2/67.6,接近基座 67.4,高于 WIFA-SFT 的 57.2;GSM8K 为 68.16,低于基座 85.52。附录 Table 15 中作者称剩余错误多为算术、推理不完整和重复,而不是安全式拒答。作者称 A-GCRT 改善了相对直接 WIFA 式 SFT 的效用权衡,但不是能力中性的。
未见攻击族
- 测了什么:Figure 2 与附录 Table 13 报告 Qwen 上 15 类训练包装之外的未见攻击,指标为 ASR,越低越好。作者称这些族不是 WIFA 训练包装。
- 结果:作者称 WIFA-Boost 的平均攻击成功率低于 A-GCRT-M5,为 9.5 对 16.8,并在 AutoDAN、PAIR 和 random search 等优化或搜索导向族上更强。
- 作者的解读:作者认为这提供了超出简单固定包装记忆的证据,但不建立对自适应攻击者的鲁棒性。作者称结果划定而非推翻权衡:拒绝改写或对抗性有害请求更重要时偏 WIFA-Boost,良性过拒更重要时偏 A-GCRT。
数据结构、阶段顺序与 A-GCRT 分量
- 匹配良性包装(Table 2,Qwen):Harmful-Only SFT 为 SB-avg5 38.7、OR 65.6;Naive Benign-Aug. SFT 为 40.8 与 72.7;WIFA-SFT 为 63.6 与 69.7。作者认为匹配的有害/良性意图–形式结构是关键数据成分,且 WIFA 本身不是最终的低过拒方法。各行 HB 在 98.5–99.5。
- 阶段顺序(Table 19):WIFA-Boost 的 SB-mis 与 SB-logical 为 59.3 与 23.2,联合单阶段控制为 22.5 与 8.0,逆序降到 0.2 与 0.0。WIFA-Boost 为 SB-avg5 63.7、OR 56.0;Joint WIFA+Plain SFT 为 54.0 与 46.8。作者认为先学包装有害/良性结构、再做普通良性校准,对困难有害请求拒答重要,增益偏安全而非低 OR。
- 是否只是更强 SFT(Table 3,Qwen):3 epoch、学习率 2e-5 的 WIFA-SFT 为 SB-mis 49.3、SB-avg5 63.6、OR 69.7。1 epoch、4e-5 为 20.2、55.5、68.1;6e-5 为 18.4、53.7、66.3。Var-only 的 OR 为 74.5,Anchor-only 为 48.7,Full A-GCRT-M5 为 SB-mis 20.9、SB-avg5 46.7、OR 17.4。作者认为更强 SFT 与单分量都不能复现 M5 的低 OR 点,两个 A-GCRT 项都需要。
其他消融与分析
- 比例扫描(Table 18、Figure 11):作者称低比例不稳定;WIFA-r0.50 把 OR 降到 49.1,但困难变换子集表现差;WIFA-r1.50 与 WIFA-SFT 的 SB-avg5 为 60.3 与 63.6;WIFA-r2.00 降到 48.0。作者称没有扫描到的比例同时支配有害拒答与 OR,中等比例更稳。
- 间隔扫描(Figure 3、Table 21):A-GCRT-M5 的 OR 最低,为 17.4;m = 2.5 的 OR 为 29.3,未达到 M5;更大间隔且 γ = 1 时 OR 升至 49.4 或 61.3,SB-avg5 并非一致提高。M10 同时改间隔与锚点权重,SB-avg5 52.0、OR 40.7。作者认为间隔是验证集上选择的工作点控制,不是越大越好。
- 决策分数(附录 C.6,Table 22、23):作者称生成侧校准不支持推理时使用。目标强制诊断中,A-GCRT-M5/M10 的组方差为 0.0099/0.0125,WIFA-SFT 为 0.2125;作者称相对 WIFA-SFT 组内方差大约降低 94–95%,间隔满足度为 0.975/0.995。Table 22 中作者称分数不是干净的有害/良性分类器,但正分对拒答行为有高精确率。
- 交叉评审(Table 24):Qwen 基座 OR 在 Qwen-72B / GPT-4o 下为 25.7 / 23.2;A-GCRT-M5 为 17.4 / 16.6。SB-avg5 分别为基座 22.1 / 48.2、A-GCRT-M5 46.7 / 59.4。作者称过拒低于基座的方向在两个评审下都在,变换子类型对评审更敏感,子类型交叉评审数字只作诊断。
- 负面与例外:Llama 上 A-GCRT 的 OR 高于基座;WIFA-SFT 与 WIFA-Boost 的 OR 高于基座(Qwen 69.7、56.0 对 25.7);逆序两阶段在 SB-mis、SB-logical 上接近 0;Var-only 的 OR 74.5 高于 WIFA-SFT;更多良性数据(r2.00)的 SB-avg5 降到 48.0;GSM8K 相对基座下降,Llama 上从 85.52 到 68.16。
What are some points that can be further explored?
作者指出这是训练时方法,固定包装与两个 7–8B 模型上的工作点可能随规模、语言、模态和自适应攻击变化。
作者指出的局限与后续方向
- 不是完整部署防护:作者在 Limitations 写明,WIFA、WIFA-Boost 和 A-GCRT 是塑造拒答行为的训练时方法,不是完整的部署安全措施(第 8 节)。
- 设定范围:实验使用固定包装族、两个 7–8B 指令模型、两种有害来源设定;作者称对更大模型、其他语言、多模态或工具使用设定、自适应攻击者,以及不同良性/有害配比,工作点可能改变(第 8 节)。
- 能力代价:方法在 GSM8K 上仍保留能力代价(第 8 节)。第 5.2 节作者亦称 A-GCRT 不是能力中性的,GSM8K 低于基座。
- 分数的用途:A-GCRT 的决策位置分数应理解为训练时正则信号,而不是推理时分类器(第 8 节)。附录 C.6 的生成侧校准同样不支持推理时使用。
- 评测仍需扩大:作者称这些局限要求更广的评测,但不改变中心主张:安全监督应针对意图组而不是表面提示形式(第 8 节)。
- 良性拒绝的双重用途:Ethics 一节写明,降低有害遵从的同一方法也可能增加良性拒绝,尤其是敏感但正当的请求;因此用 OR-Bench 与 XSTest 和有害拒答基准一起评测,并把两种方法呈现为塑造权衡的方法,而不是独立的部署防御(第 9 节)。
实验覆盖范围
- 模型与来源:被测训练模型为 Qwen2.5-7B-Instruct 与 Llama-3.1-8B-Instruct。Qwen 用 250 条 AdvBench 风格种子,Llama 用 250 条 HH-Inst 有害种子;良性来自 Alpaca 风格池并由对应基座作答。BeaverTails 只出现在预实验与附录 A.1 的数据源警示中。
- 训练与防御比较:主比较包含基座、三种提示时防御、三种训练时防御,以及 WIFA-SFT、WIFA-Boost、A-GCRT-M5/M10(Table 1)。消融覆盖数据结构(Table 2)、比例(Table 18)、阶段顺序(Table 19)、学习率与单分量损失(Table 3)、间隔与锚点(Figure 3、Table 21)。训练均为 LoRA。论文未报告重复次数。
- 评测面:有害拒答覆盖 HarmBench、SORRY-Bench、StrongREJECT;过拒覆盖 OR-Bench-Hard 与 XSTest 安全提示;能力覆盖带固定良性意图分析前缀的 MMLU 与 GSM8K;另有 Qwen 上 15 类未见攻击族(Figure 2、Table 13)。作者写明该套件不建立对自适应攻击者的鲁棒性。
- 评审:Table 24 对标题指标与 SORRY-Bench 子类型比较 Qwen-72B 与 GPT-4o。作者称关注 OR 方向而非每个子类型的精确一致,并把子类型交叉评审当作诊断。论文未报告人工一致性。
- 诊断边界:附录 C.6 区分生成侧校准与目标强制的组诊断。HarmBench 重叠检查排除精确与归一化重复,作者称不主张零语义重叠或完全语义独立(附录 A.5)。
Summarize the main content of the paper
WIFA 用匹配意图组做数据层,WIFA-Boost 偏高安全,A-GCRT 在 Qwen 上把过拒降到基座以下。
WIFA 是一种自动意图组数据构造,用来让安全微调拒绝有害意图而不是拒绝表面包装;WIFA-Boost 与 A-GCRT 在同一数据层上选取不同的安全–过拒工作点。
- 问题:同一意图可以换成角色、翻译、学术、虚构或格式等包装。只在包装后的有害样本上做拒答监督,可能把包装学成拒答标签,使变换后的有害请求绕过安全,结构相近的良性请求被过拒。
- 做法:每个意图保留直接形式,再套上共享的 7 类包装。有害组另加 2 个直接形式拒答锚点。目标由同一模型的直接形式回复经意图分析格式自蒸馏得到,不用外部教师或逐包装人工标签。主数据为 5750 条。WIFA-Boost 先在全部 WIFA 数据上 SFT,再在 2250 条有害样本加 500 条普通良性样本上校准。A-GCRT 在 SFT 上加入组内决策分数方差,并把有害组均值推向 +m 以上、良性组推向 −m 以下;分数取自意图分析标记后的第一个回复 token。
- Qwen 主结果:基座 SB-avg5 为 22.1、OR-Bench 过拒 25.7%。WIFA-Boost 达到 SB-avg5 63.7、SB-mis 59.3、OR 56.0%,作者称变换有害拒答强于六种复现防御里最强的 RATIONAL(SB 59.0,但其 OR 为 87.9%)。A-GCRT-M5 的 OR 为 17.4%,SB-avg5 为 46.7,MMLU 69.0(基座 70.1),GSM8K 83.70(基座 89.39)。15 类未见攻击的平均 ASR 为 WIFA-Boost 9.5、A-GCRT-M5 16.8。
- Llama 与消融:Llama-3.1-8B-Instruct 上 A-GCRT 的 OR 为 40.1/45.3,高于基座 28.4;XS SafeRef 为 9.24/8.12,低于基座 9.66。匹配良性包装把 Qwen SB-avg5 从 Harmful-Only 的 38.7 提到 WIFA-SFT 的 63.6,但 OR 仍为 69.7。逆序两阶段使 SB-mis 降到 0.2。只做方差或只做锚点都不能得到 17.4% 的 OR。交叉评审下 A-GCRT-M5 的 OR 在 Qwen-72B 与 GPT-4o 上分别为 17.4 与 16.6,均低于对应基座。
- 作者的结论:安全监督应针对意图组而不是孤立提示形式。WIFA 提供数据层,WIFA-Boost 占据高安全点,A-GCRT 用带锚的组一致性塑造权衡。作者同时写明二者是训练时方法,不是完整部署防护;Llama 说明换模型与种子分布后,过拒不一定低于基座。