IH-Challenge：用于提升前沿大语言模型指令层级的训练数据集

核心问题：如何训练 LLM 以可泛化、对抗鲁棒的方式遵循指令层级（instruction hierarchy, IH）。

• 问题场景：IH（Wallace et al., 2024）规定冲突指令按 system ≻ developer ≻ user ≻ tool 的优先级解决。作者认为鲁棒遵循 IH 可防御越狱、系统提示词提取、直接与间接提示注入。
• 现有困难：作者指出 IH 失败易与指令遵循失败混淆；冲突可能很微妙；模型可能学到捷径，例如对涉及密码的任务一律过度拒答（overrefusing）。
• 核心假设：若训练任务本身简单（IF-simple）、可被 Python 评分器客观判定、且任务族足够多样，则 RL 训练出的 IH 鲁棒性可以泛化到训练分布之外的攻击和任务域。
• 论文贡献：提出 IH-Challenge——一个 RL 训练数据集，配合在线对抗样本生成微调 GPT-5-Mini；作者报告 16 个基准上 IH 鲁棒性平均从 84.1% 升至 94.1%，并开源数据集与评分代码。
• 威胁模型（训练与评测中的攻击者设定）：
  • 目标：生成一条低优先级冲突消息，使 defender 违反高优先级指令、获得低奖励。
  • 知识：攻击者拿到任务骨架的高优先级指令作为参考；训练时攻击者是 frozen model without safety guardrails。
  • 能力：在固定工具调用预算内迭代提议候选消息、调用评测工具查询当前 defender checkpoint 并获得评分反馈，再修订攻击。
  • 受害系统：被 RL 微调的 defender 模型（GPT-5-Mini 及其微调版）；评测还包括带 output monitor 等系统缓解的变体。

指令层级与提示注入防御

• Wallace et al. (2024)——提出指令层级概念并训练模型按角色优先级解决冲突；本文沿用其框架并采用 OpenAI 加入 developer 角色后的更新版策略。
• Wu et al. (2024)——提出学习独立的 role embedding 加到 token embedding 上以实现角色分离。
• Hines et al. (2024)——提出 sandwich defense，在生成前重复高优先级指令；作者称自己发现它也有助于 IH 鲁棒性。

基于训练的 IH 防御（作者直接对比）

• Zheng et al. (2025)——与本文方法相近：把 IFEval（Zhou et al., 2023）的原始指令当作高优先级指令、生成违反它的低优先级攻击指令，再用可程序化验证的奖励做 RL。作者指出三点区别：该数据集含更多 IF-hard 任务而非聚焦 IH 冲突；更容易导致过度拒答；攻击字符串固定、对抗性较弱。作者还称本文验证了在大规模前沿模型上的兼容性，并做了人工红队等自适应评测。

RL 训练与奖励 hacking

• RL 用于控制模型行为（Christiano et al., 2017），包括在线的 PPO（Schulman et al., 2017）与离线的 DPO（Rafailov et al., 2023）。
• 奖励 hacking（Amodei et al., 2016; Gao et al., 2023）：模型找捷径最大化奖励；作者据此选择用确定性 Python 评分器设计奖励以降低标签噪声。
• Nasr et al. (2025) 与 Wen et al. (2025)——用 RL 微调 LLM 做自动化红队；本文在 §5.3 复用该策略对 GPT-5-Mini-R 做自适应压力测试。

安全与有用性的平衡

• Askell et al. (2021)——指出指令遵循训练可能促使模型顺从恶意请求，而安全训练又使模型对良性请求过度保守；本文用安全/有用性双指标评测这一权衡。

基线与基准：主结果的对照是微调前的 GPT-5-Mini；能力对照含 OpenAI o1（chat win-rate）。评测基准包括 TensorTrust、Gandalf Password、RealGuardrails、System IFEval、CyberSecEval 2、GPQA Diamond、AIME 2024 及多个内部基准。作者将本文定位为：在 IH 训练数据上同时满足 IF-simple、可程序化判定、防捷径学习，并验证对前沿模型的可扩展性。

整体思路：把 IH 训练数据构造拆成离线、在线两阶段——离线保证任务可客观判定，在线用攻击模型制造对抗性冲突，再用 RL 训练 defender。IH-Challenge 是这套流程产出的数据集。

IH 策略与形式化

• 优先级为 system ≻ developer ≻ user ≻ tool（采用 OpenAI 加入 developer 角色后的版本）。
• 形式化：从最高优先级角色起维护可行响应集，B_i = B_i−1 ∩ C_i（若交集非空），否则 B_i = B_i−1；即低优先级指令仅在与高优先级约束兼容时才被遵循，冲突时被忽略。

离线任务骨架构造（§3.1）

• 骨架内容：一个或多个高优先级指令、低优先级冲突消息的占位符、以及一个 Python 评分器；评分器在任意低优先级消息下保持有效。
• 三条设计原则：IF-simple（难度来自 IH 冲突而非任务本身，且在对抗输入下仍保持简单）；programmatically gradeable（冲突只许出现在低优先级角色，排除越狱这类无法客观判定的任务）；避免捷径学习（任务结构多样化，防止"见到密码就拒答"式捷径）。
• 构造流程：LLM 合成结构化任务对象（对话、评分器代码、应通过/应失败的样例响应）→ 静态检查（如 AST 解析）与格式归一化 → 用样例单元测试评分器 → 人工复核。作者说明人工复核仍不保证评分器完全正确。
• 四个任务族（Table 1）：Single-Constraint（19 种 IFEval 式单约束任务）、Multi-Constraint（2–6 个原子约束组合）、Input-Conditioned（按指定模式解析消息并以严格格式输出）、Anti-Overrefusal（把良性请求改写得看似违规，拒答计为失败）。

在线对抗冲突合成（§3.2）

• 攻击者：frozen model without safety guardrails，可调用评测工具；目标是在固定工具调用预算内产出让当前 defender 得低奖励的低优先级消息。
• 预算化 propose–evaluate–revise 循环：提议候选消息 → 工具把消息填入骨架、查询 defender、用 Python 评分器打分并返回 pass/fail 与诊断 → 攻击者据反馈修订；预算耗尽或提前停止后输出最终消息。
• 攻击多样性：结构化攻击提示词提供 IH 背景并要求探索多种攻击策略；攻击者虽冻结，但因反馈针对不断变强的 defender，攻击随训练变难。
• 静态评测集：在 held-out 骨架上、对 held-out defender checkpoint 跑同一合成流程，得到固定冲突提示词用于测泛化。

Defender 训练

• 每步训练先用上述攻击 rollout 在线合成冲突提示词，采样多条 defender 响应，用 Python 评分器打分，做 policy gradient 更新。
• 为避免能力回退，把 IH 数据与少量能力任务（如 tool use、writing）混合训练。论文未报告 RL 算法名称、学习率、工具调用预算等具体超参数。

实验设置

• 被测模型：GPT-5-Mini 与其在 IH-Challenge 上 RL 微调得到的 GPT-5-Mini-R；部分实验加入 output monitor 等系统缓解变体。
• 训练攻击者：在线合成用 frozen attacker LLM（无安全护栏）；§5.3 自适应自动红队用 anti-refusal GPT-5（经微调去除安全护栏）做攻击方，defender 冻结。
• 基准：IH-Challenge 四个 split；OOD 内部基准（Tutor Jailbreak、多轮冲突对话）；学术基准（Gandalf Password、TensorTrust、RealGuardrails、System IFEval）；OpenAI Production Benchmarks（安全/有用性）；Internal PI Benchmark 与 CyberSecEval 2（提示注入）；GPQA Diamond、AIME 2024、chat win-rate vs. o1（能力）。
• 指标与判定：robustness 为低优先级指令冲突时响应满足最高优先级约束的比例；IH-Challenge 用 Python 评分器；OOD 评测多用 LLM grader（具体模型论文未说明）；安全/有用性按 Yuan et al. (2025) 的协议打分。
• 人工红队：127 名美国远程红队成员，每人攻击 10 个"系统 × 任务类型"组合（19 种任务类型），成功攻击有奖金激励（多数组合赏金 $510）。
• 重复次数与样本量：多数基准未报告；人工红队各模型任务数为 265–271（Table 7）。

主结果

据 Table 3、Table 4、Table 5（数值为 robustness，括号内为相对 GPT-5-Mini 的变化）：

评测	GPT-5-Mini	GPT-5-Mini-R
System <> User Conflict（Table 3）	0.84	0.95 (+0.11)
Developer <> User Conflict（Table 3）	0.83	0.95 (+0.12)
TensorTrust (dev-user)（Table 4）	0.76	0.91 (+0.15)
TensorTrust (sys-user)（Table 4）	0.86	0.94 (+0.08)
RealGuardrails (Handwritten)（Table 4）	0.82	0.89 (+0.07)
System IFEval（Table 4）	0.92	0.96 (+0.04)
Internal PI Benchmark（Table 5）	0.44	1.00 (+0.56)
CyberSecEval 2（Table 5）	0.88	0.91 (+0.03)

• 作者称 RL 微调后在所有 OOD 评测上都有鲁棒性提升，且多数数据集的任务训练中未见、只能由 LLM grader 判定，因此提升"几乎完全来自泛化"。
• 摘要与引言报告 16 个基准平均从 84.1% 升至 94.1%；Internal PI Benchmark 被饱和（1.00）。
• Figure 4b 显示 held-out 攻击下 GPT-5-Mini-R 鲁棒性高于 GPT-5-Mini：Impersonation 0.23→0.90，Automated Attacks 0.73→0.94，Human Red-teaming 0.90→0.97（图上标注值）。

安全与有用性（Production Benchmarks）

• 测了什么：在 system prompt 加入各类别安全规范（safety spec）后，测各违规类别的 safety score 与 helpfulness score（Figure 5、6）。
• 结果：作者报告 GPT-5-Mini-R + safety spec 在所有类别上 safety score 高于 GPT-5-Mini（无论是否加 spec）；有用性基本保持。摘要报告不安全行为从 6.6% 降到 0.7%。
• 作者解读：安全违规请求来自低优先级指令、与安全规范冲突，IH 鲁棒性提升使模型更善于解决这类冲突；附录 A.3 称用全局安全规范也能得到类似提升。

自适应红队（自动与人工）

• 自动红队（§5.3）：用 IH-Challenge 反向奖励 RL 训练攻击者对抗冻结的 GPT-5-Mini-R；Figure 8 显示三个 split 上 ASR 随训练从低位逐渐上升，加 output monitor 后各 split 的 ASR 都更低（图上终点标注：Single-Constraint 约 0.15 vs 0.20，Multi-Constraint 约 0.10 vs 0.14，Input-Conditioned 约 0.3 vs 0.5）。作者认为 defense-in-depth 对自适应攻击者有益。
• 人工红队（§5.4，Table 7）：攻击成功率 GPT-5-Mini 36.2% → GPT-5-Mini-R 11.7% → GPT-5-Mini-R + Monitor 7.1%；平均每任务尝试次数 32.84 → 52.39 → 43.08。作者称红队对更强的模型投入更多努力仍更少成功。

其他消融与分析

• 任务 split 消融（Table 6）：用全部四个 split 时 robustness 0.941、overrefusal 0.950、safety 0.957、helpfulness 0.773；去掉 Anti-Overrefusal 后 overrefusal 降到 0.831、helpfulness 降到 0.613；只用 Multi-Constraint + Input-Conditioned 时 robustness 0.924。
• 系统缓解（§5.2，Figure 7）：对 GPT-5-Mini，output rewriter、sandwich 等能提升鲁棒性；对 GPT-5-Mini-R，多数缓解失去效果，有些反而鲁棒性和能力都更差。
• 过度拒答与能力（Table 2）：IH-Challenge (overrefusal) 0.79→1.00；TensorTrust (overrefusal) 0.91→0.90；GPQA Diamond 0.83→0.83；AIME 2024 0.93→0.94；Chat WinRate vs. o1 0.71→0.66；User Preference Score 0.46→0.40。
• 例外：TensorTrust (overrefusal)、System <> Developer Conflict（0.86→0.86）、Gandalf Password (sys-user)（0.99→0.99）无提升；chat win-rate 与 preference score 有小幅回退。

作者指出的局限与后续方向

• 攻防同时训练未探索（Conclusion）：作者提出同时训练攻击者和 defender 是有前景的 compute-scaling 方向，但本文只做了固定攻击者训练 defender、固定 defender 训练攻击者两种。
• 奖励漂移风险（Conclusion）：作者认为没有可程序化判定的奖励时，攻防目标可能偏离真实鲁棒性目标，并推测这类奖励可能是扩展该对抗训练范式的必要组件。
• 评分器正确性（§3.1）：作者说明过滤与单元测试能去掉几乎所有任务描述与评分器不一致的情况，但不保证评分器完全正确，因此做了人工复核。
• 任务多样性受限（§6）：作者指出 IH-Challenge 的任务 IF-simple 且因需要客观程序化判定而多样性有限，鲁棒性泛化依赖 RL 的 OOD 泛化能力。
• 附录 A.4：给出两个 LLM judge 误判示例（defender 实际遵循 IH 却被判为攻击成功），说明 LLM 判定的误差来源。

实验覆盖范围

• 被微调和评测的模型为 GPT-5-Mini 与 GPT-5-Mini-R 两个；能力对照含 o1（chat win-rate）。
• 评测覆盖：IH-Challenge 四个 split、3 类 held-out 攻击、4 个学术 IH 基准、内部 OOD 基准、OpenAI Production Benchmarks 安全/有用性、2 个提示注入基准、4 项能力与过度拒答评测，以及自动与人工两种自适应红队。
• 人工红队规模为 127 名红队成员、每模型 265–271 个任务（Table 7）。
• 论文未报告 RL 训练的超参数（算法、步数、学习率）、攻击者的工具调用预算数值、各基准的样本量与重复次数。
• 论文未说明 OOD 评测和安全评测所用 LLM grader 的具体模型，也未报告 grader 与人工判定的一致性。

OpenAI 提出 IH-Challenge，一个用于训练 LLM 鲁棒遵循指令层级（system ≻ developer ≻ user ≻ tool）的 RL 数据集，目标是让 IH 行为跨任务域泛化且抗对抗。

• 要解决的问题：IH 是防御越狱、系统提示词提取和提示注入的统一策略，但作者认为其难以训练——失败易与指令遵循失败混淆、冲突微妙、模型易学到过度拒答等捷径。
• 方法要点：离线构造含高优先级指令与 Python 评分器的任务骨架（Single-Constraint、Multi-Constraint、Input-Conditioned、Anti-Overrefusal 四族），保证 IF-simple、可客观判定、防捷径；训练时由无护栏的冻结攻击模型在预算内迭代探测 defender、在线合成对抗冲突消息；再用评分器奖励做 RL，并混入少量能力任务。
• 主要结果：作者报告 GPT-5-Mini-R 在 16 个基准上 IH 鲁棒性平均从 84.1% 升至 94.1%；自适应人工红队攻击成功率从 36.2% 降到 11.7%（加 output monitor 后 7.1%）；Internal PI Benchmark 从 0.44 升至 1.00；加安全规范后不安全行为从 6.6% 降到 0.7% 且有用性基本保持；过度拒答评测从 0.79 升至 1.00。
• 代价与例外：chat win-rate vs. o1 从 0.71 降到 0.66，preference score 从 0.46 降到 0.40；个别评测（如 System <> Developer Conflict）无提升。
• 作者结论：作者认为 IH 是同时获得多项安全收益的机制，RL 配合设计良好的代理任务可泛化到无法程序化判定的领域（如安全）；并提出攻防同时训练的对抗训练范式是后续方向，推测可程序化奖励可能是其必要组件。数据集与评分代码已开源。