Constitutional Classifiers：抵御通用越狱，历经数千小时红队测试

核心问题是如何构建既能抵御通用越狱（universal jailbreaks）攻击，又具备实际部署可行性（低延迟、低误报与合理开销）的语言模型安全防御机制。

• 场景与重要性：随着语言模型在化学、生物、放射性或核（CBRN）等科学领域能力的提升，恶意使用者可能利用越狱提示词诱导模型提供高危流程的详细指导；作者认为如果非专家能够稳定获取具体操作信息，将产生技术能力提升（non-expert uplift）风险。
• 现有方法的不足：作者称单纯依靠无害性微调的单模型防御容易被多样本越狱（many-shot jailbreaking）或“God-Mode”等通用越狱策略绕过，且在红队攻击样本上的微调难以跨领域泛化；同时外部护栏常因过高的误报拒答或破坏逐token流式体验而难以实际部署。
• 核心观察与假设：单个分类器在孤立状态下可能无法实现完全无漏洞，但输入分类器与流式输出分类器协同工作可构成“瑞士奶酪”多层纵深防御；此外，通过显式定义允许和限制内容的自然语言宪法（constitution），能够大批量生成多样化合成数据并确立更清晰的分类边界。
• 威胁模型：
  • 攻击者目标：在特定高危领域（如CBRN）的大多数查询中可靠绕过安全机制，诱导系统泄露高详细度、可操作的具体危害信息。
  • 攻击者知识：攻击者拥有黑盒交互与API调用权限，知晓系统防御架构，但不具备模型内部权重或梯度的白盒访问权限。
  • 攻击者能力：能够使用手动或自动化工具构造复杂的多轮对话、角色扮演、文本变换（如Base64编码、多语言翻译）、良性意译以及长度剥削等攻击载荷。
  • 受害系统：提供交互式API与文本生成服务的前沿大语言模型系统（如Claude 3.5 Sonnet）。
• 论文的提出方案：提出了基于显式自然语言宪法生成合成数据进行微调的宪法分类器（Constitutional Classifiers）框架，构建由输入分类器与支持逐token预测的流式输出分类器组成的双重防护系统。

分类器护栏（Classifier guards）

• Markov et al. (2023)：研究了数据质量与主动学习在训练内容审核API中的作用，并使用合成数据训练分类器。
• Inan et al. (2023)、Rebedea et al. (2023) 与 Chi et al. (2024)：分别开发了 Llama Guard、NeMo Guardrails 以及 Llama Guard 3 Vision 等输入输出护栏系统；Kim et al. (2024) 提出输出过滤能够缓解多种普遍存在的越狱攻击。
• Wang et al. (2024)：在炸弹制造的特定狭窄领域研究了分类器防护；作者称其工作表明额外的分类器微调可以提升性能。

基于红队攻击的微调方法（Finetuning on red-teaming attacks）

• Ganguli et al. (2022) 与 Ouyang et al. (2022)：通过人工红队识别有害行为，并基于人类反馈微调模型以消除有害倾向。
• Perez et al. (2022)、Chao et al. (2024) 与 Mehrabi et al. (2024)：利用语言模型开展自动化红队测试（如 FLIRT）；作者指出经此类微调训练的前沿模型仍易受通用越狱（如 many-shot jailbreaking、GCG）影响，且在初步实验中发现该微调难以跨模态或从文本向代码可靠泛化。

模型内部机制与知识消除（Model-internals approaches & Unlearning）

• Alain and Bengio (2016)、Zou et al. (2024) 与 Casper et al. (2024)：采用线性探测（linear probes）、短路机制（circuit breakers）或潜在对抗训练（latent adversarial training）等依赖模型内部表征的方法防御越狱；作者指出宪法分类器无需改动LLM微调流程，在实用部署中更灵活。
• Li et al. (2024)、Zhang et al. (2024) 与 Lynch et al. (2024)：通过机器遗忘消除模型内部的危险知识，或利用预训练数据过滤进行拦截；作者指出机器遗忘往往无法完全抹除目标知识，且数据过滤缺乏灵活性。
• Zaremba et al. (2024)：探索通过扩展推理时计算来增强对抗鲁棒性；作者指出该方法会引入较高延迟与推理开销。

对比基线与评测基准

• 基线方法：无外挂分类器的单纯无害性微调模型（Claude 3.5 Sonnet HHH模型）、Helpful-only 模型、基于 Claude 3.5 Sonnet 的 0-shot 提示词分类器、CoT 思维链提示词分类器及 32-shot 提示词分类器。
• 评测基准/数据集：HackerOne 众测红队数据集、5,681 条化学武器留出复合越狱数据集、Wildchat 对话集、OR-Bench 误拒基准、Claude.ai 生产流量随机抽样集，以及 GPQA 和 MMLU 的化学子集。

与现有工作的区别定位

• 作者称宪法分类器通过自然语言宪法生成合成数据进行专业微调，无需人工标注即可迅速适应新威胁，且通过输入分类器与流式 Value Head 输出分类器的结合，在经受数千小时高强度人类红队测试下展现出对通用越狱的防御能力，同时兼顾了极低的生产过拒率和流式推理效率。

整体思路是构建宪法分类器（Constitutional Classifiers）框架，利用自然语言规则定义有害与无害边界并生成高质量合成训练数据，部署输入分类器与流式输出分类器构建纵深防护。

宪法规范设计与合成数据生成

• 宪法结构：使用自然语言编写有害宪法与无害宪法规则。有害宪法涵盖化学武器的获取、生产、配方、武器化及运载交付等具体技术环节；无害宪法细化列出无害化学（如日常清洁、中学化学实验）、非化学有害（如常规网络攻击、普通犯罪）及非化学无害主题。
• 合成数据生成流程：使用 helpful-only 模型作为生成器，根据宪法类别提示生成大量针对性查询及对应的有害与无害响应；随后利用提示词驱动的语言模型过滤掉合成样本中偶然出现的拒答内容。
• 多维度数据增强：对合成样本进行多语言互译、模型改写、系统提示词变体以及复合已知越狱模式的语义保持变换，扩充训练数据的覆盖面与表征多样性。

自动化红队与数据过滤

• 两阶段攻击生成：采用自动化红队（ART）技术，先提示模型生成涵盖多轮对话的攻击大纲，再逐阶段重采样填充生成具体交互，形成长上下文和多轮越狱攻击。
• 样本清洗与分布平衡：使用 Claude 3.5 Sonnet 依据评分量规剔除未能成功诱导出有害回复的低质攻击样本；同时自动生成针对有害主题的一般性良性对话，确保 ART 样本在最终训练集中占比低于 2%，避免引入训练噪声。

输入与输出分类器训练与流式优化

• 输入分类器形式化：将输入检测建模为下一 token 预测任务，使用微调语言模型直接判定用户输入是否包含高危意图，并专门训练其识别编码通信或混淆载荷。
• 输出分类器结构设计：在骨干语言模型顶层增加线性 Value Head，在生成前缀序列 t_1:T′ 时预测全序列有害性标签 y，联合优化下一 token 预测损失与二元交叉熵损失： L(y, t_1:T) = λ · L_NTP(t_1:T) + ∑_T′=1^T L_BCE(y, p(y = 1 | t_1:T′))，其中 λ 为正则化超参数。
• 预测目标动态插值：为兼顾单 token 梯度的优化稳定性与累积最大值在流式部署下的贴合性，在训练进程中使用权重 ω 从 0 线性增加至 1（在训练前 3/4 阶段完成）： p(y = 1 | t_1:T′) = (1 − ω) · σ(z(t_1:T′)) + ω · max_{τ ≤ T′} σ(z(t_1:τ))。

阈值校准与流式截断机制

• 约束阈值搜索：在多轮 Wildchat（增量 FPR ≤ 0.5%）、单轮 Wildchat（FPR ≤ 5%）及 OR-Bench（增量 FPR ≤ 5%）设定的误报上限约束下，网格搜索确定分类阈值。
• 流式实时介入：在模型逐 token 解码生成过程中，输出分类器利用缓存的中间激活同步计算有害概率；一旦某一 token 处的预测值超过预设阈值，系统立即截断生成并停止流式输出。

实验设置

• 被测模型：Claude 3.5 Sonnet（红队众测系统目标模型与原型分类器基模）、Claude 3.5 Sonnet (New)（自动化评测目标模型）、Claude 3.5 Haiku（自动化评测分类器微调基模）。
• 数据集与规模：CBRN 红队众测集（10 个非信息危害目标查询）、化学武器留出越狱集（5,681 条未见基元与变换的复合越狱样本）、Claude.ai 生产流量随机抽样（5,000 条真实对话）、Wildchat 对话集（单轮与多轮，以及 1,000 条化学子集）、OR-Bench、GPQA-Chemistry 及 MMLU-Chemistry。
• 对比基线：无外部分类器的单纯无害性微调模型（HHH 模型）、Helpful-only 模型、基于 Claude 3.5 Sonnet 的 0-shot 提示词分类器、CoT 提示词分类器及 32-shot 提示词分类器。
• 主要指标：攻击成功率（ASR / 越狱成功率）、拒绝率（Refusal Rate / 误报率 FPR）、真阳率（TPR）、相对推理成本开销（Inference Cost）。
• 评审与判定方式：采用多阶段 LLM 评分量规管道；红队阶段由模型比对 helpful-only 响应构建量规，评分达到其均值 50% 判定为越狱；自动化评估阶段由 LLM 判定覆盖至少两项有害主题且覆盖度达 helpful-only 均值的 25%（且未触发拒答判定）。
• 样本量与重复次数：红队收到 113 份报告（85 份有效纳入分析）；自动化留出越狱集 5,681 条；推理开销评估抽样 1,000 条生产输入输出对；流式输出评估抽样 10,000 次越狱攻击输出；论文未报告多随机种子重复次数。

主结果

表格较宽，可左右滑动

（据 Figure 6 及 Section 5.2；提示词基线在图 6 中仅以柱状图展示区间，正文未提供文本精确数字）

• 鲁棒性提升：作者称，宪法分类器将针对 Claude 3.5 Sonnet (New) 的留出越狱攻击成功率从无分类器基线的 86% 降低至 5% 以下，拦截了超过 95% 的留出攻击尝试，且没有任何单一文本变换能够攻破全部 10 个测试查询。
• 部署开销控制：作者指出，防御性能的提升伴随较小的实用代价，在 Claude.ai 真实用户生产流量的 5,000 条抽样对话中，绝对拒绝率仅增加 0.38%，在所有基线中增幅最低。
• 计算效率保持：作者报告，通过采用较小规模的 Claude 3.5 Haiku 微调以及缓存机制，相较于基础模型仅带来 23.7% 的额外推理计算开销，低于提示词分类器基线。

人类红队众测结果分析

• 测试设置：在 HackerOne 平台开展针对 CBRN 领域的漏洞赏金计划，邀请 405 名参与者（估计 183 名活跃红队人员，总时长约 4,720 小时）对 Claude 3.5 Sonnet 原型分类器守护系统进行攻防测试，设定 10 个非信息危害目标问题。
• 测试结果：在提交的 113 份报告（85 份有效纳入分析）中，没有任何一份报告能在全部 10 个问题上达到 helpful-only 详细程度的一半；在要求与 helpful-only 详细程度相当的更严格标准下，没有任何红队成员在所有提交中回答超过 6 个问题（图 4B）；各问题之间的成功率差异明显，最难问题仅有 4 份报告达到一半详细度，最易问题超 30 份（图 4C）。
• 作者解读：作者称红队人员未能发现能够在大部分目标查询中稳定提取详细信息的通用越狱；高分报告主要利用良性意译和长度剥削钻评分量规的空子，而非真正绕过了防御机制。

防御组件消融与流式截断评测

• 测试设置：在红队攻击样本子集上评估各组件对 ASR 的贡献，并在 10,000 次越狱攻击采样输出中评测流式输出分类器在 token 级实时阻断有害信息的有效性。
• 测试结果：单纯 HHH 模型 ASR 为约 14%（helpful-only 为约 16%），引入输入分类器降至 2%，结合输入与输出分类器降至 0.5%（图 5）；在 10K 次越狱攻击中系统整体阻断 96.70%，而在被输出分类器拦截的截断输出中，仅有 117 次被判定在截断前泄露了有害信息，即流式未及时阻断率仅为 1.17%。
• 作者解读：作者称输入与输出分类器结合提供了远强于单纯无害性训练的纵深防护；绝大多数攻击被输入分类器拦截或在 token 生成早期被输出分类器阻断，有效防止了有害信息向用户的暴露。

规模扩展与数据增强趋势

• 测试设置：分析分类器模型尺寸（Claude 3 Sonnet 家族 5 个尺寸）、训练数据量（相对 token 规模 2⁻⁶ 至 2⁰）以及数据增强变换数量（1 到 66 种）对固定误报约束下真阳率（TPR）的影响。
• 测试结果：分类器性能随模型规模、训练数据量与变换种类增加而提升（图 7）；模型规模增大时输入分类器的泛化差距缩小；增加无害宪法数据使鲁棒性提升超过 40%（附录 E.5 图 13）。
• 作者解读：作者认为分类器鲁棒性具有良好的可扩展性，通过增加训练数据与数据增强能够有效提升对未见越狱模式的泛化能力。

其他消融与分析

• 分类任务建模形式：下一 token 预测架构在输入与输出分类上的 TPR 均优于 Value Head 架构（图 9）。
• 基模初始化选择：从 Claude 3.5 Haiku 基座模型初始化的分类器性能优于 HHH 微调和 Helpful-only 微调初始化（图 12）。
• 无害宪法类别消融：移除无害化学、无害非化学或有害非化学任一子类，均导致分类器 TPR 出现下降（图 14）。
• 少样本提示词扩展：提示词示例从 2 扩展到 32 时分类器 TPR 提升，但上下文线性增长且仍未达到微调小分类器性能（图 11）。
• 专业领域误拒表现：在 MMLU-Chemistry 上误拒率为 1.50%，而在 GPQA-Chemistry 上误拒率达到 26.05%（附录 E.2）。
• 化学用户查询误拒表现：在 1,000 条 Wildchat 化学子集上，输入与输出分类器额外增加了 3.4% 的拒绝率（附录 E.8）。

负面结果与例外

• 原型系统高拒答率：早期红队原型系统因过度侧重鲁棒性，导致生产 Claude.ai 流量的拒答率高达约 44%（Section 4.1）。
• GPQA 专业化学题目高误拒：在 GPQA-Chemistry 专业题目上误拒率达到 26.05%，作者指出高难度技术内容的精确分类需要复杂领域理解，超出了当前分类器的能力（附录 E.2）。
• 自动化红队良性数据噪声：在化学武器分类器训练中未加入 ART 数据，因初步实验显示 ART 自动生成的“良性”样本与宪法有害类别过于接近，给训练集引入了过多噪声（附录 D.2）。
• 部署基础设施缺陷：红队中曾有报告看似达成通用越狱，后续调查发现并非分类器本身失效，而是部署工程系统在分类器标记有害内容后仍向用户输出了最多 128 个 token 的错误（Section 3 脚注 2 与 Section 4.2 脚注 1）。

作者指出的局限与后续方向

• 红队群体的代表性与激励局限：作者指出参与测试的红队群体仅代表潜在对抗者的一部分，随着对抗手段演化将出现新型攻击；且参与者只要达到 50% 详细度门槛即可获得奖金，在更充分的激励下可能探索出更具破坏力的攻击（Section 4.2 Limitations）。
• 评分量规难以精准判别实操危害：作者指出基于关键词量规的评测机制难以有效区分无害的常识背景与真正促成能力提升的具体可操作信息，这可能同时带来误报与漏报（Section 4.2 Limitations）。
• 测试环境局限于单一聊天交互：作者指出实验主要围绕固定查询的聊天机器人场景展开，分类器在其他实际部署上下文（如复杂代理流程、长上下文工具调用等）中的鲁棒性仍是有待验证的开放问题（Section 4.2 Limitations）。
• 系统潜在漏洞仍需互补防御应对：作者指出经验表明随着测试持续进行系统漏洞很可能再度浮现，仅靠分类器不足以提供长远保障，负责任部署必须辅以快速漏洞热修复与异常越狱监控等多层防御机制（Section 7 Conclusion）。
• 能力提升估算模型的简化假设：作者指出其推演多步科学流程能力提升的模型假定各步骤完全独立且难度均一，属于高度简化的示意性估算，未涵盖真实复杂流程中的反馈循环与非专家试错恢复机制（Appendix C）。
• 红队工时推算存在主观偏差风险：作者指出总红队工时的计算模型依赖于红队人员在问卷中自我报告的时间数据进行校准，可能存在系统性高估（Section 4.1 与 Appendix H.4）。

实验覆盖范围

• 被测模型范围：实验仅评测了 Anthropic 旗下的 Claude 3.5 Sonnet、Claude 3.5 Sonnet (New) 及 Claude 3.5 Haiku 模型，未包含其他模型家族。
• 危害领域覆盖：实验与宪法规则仅覆盖 CBRN 领域（重点针对化学武器和特定生物危害相关查询），论文明确说明未训练分类器识别其他有害类别（如抢劫、网络攻击等）。
• 测试查询规模：人类红队评测使用 10 个预设的非信息危害目标 CBRN 查询，自动化留出越狱评估同样针对 10 个预设的化学武器查询展开。
• 数据与样本数量：自动化留出越狱集包含 5,681 条攻击；生产流量误拒评测抽样自 Claude.ai 的 5,000 条对话；Wildchat 化学子集包含 1,000 条对话。
• 未报告的信息：论文未报告自动化评测中模型采样的随机种子与多次独立运行方差，未报告非英语语言在真实流量下的分类误拒率。

• 研究定位：这是一项针对前沿大语言模型双重用途风险（特别是CBRN高危领域），提出兼顾强鲁棒性与工程部署可行性的防护分类器系统研究。
• 解决的问题：单纯依靠无害性对齐微调无法抵御系统性提取详细操作指导的通用越狱，而非专家借助通用越狱可能跨越技术门槛完成复杂高危流程；但现有防御方案往往因推理延迟高或误拒率过大而难以在实际产品中落地。
• 方法要点：构建了宪法分类器（Constitutional Classifiers）双重防护体系，由自然语言宪法指导合成正负样本与数据增强，训练输入分类器拦截隐藏意图与密码通信，并训练外挂Value Head的流式输出分类器在生成过程中逐token判定并即时截断有害内容。
• 核心实验结果：
  1. 在累计逾3,000小时（均值估计4,720小时）的人类红队众测中，没有报告能在全部10个目标查询上提取达到无防护模型一半详细度的有害信息；
  2. 在5,681条化学武器复合留出越狱集上，分类器将Claude 3.5 Sonnet (New)的越狱成功率从无分类器基线的86%降至5%以下（拦截率超95%）；
  3. 在Claude.ai真实生产流量的5K对话抽样中，宪法分类器带来的绝对拒绝率增量仅为0.38%，相对推理开销仅增加23.7%；
  4. 在10K次越狱攻击采样测试中，输出分类器在token生成早期即可介入，未能及时截断有害流的比例仅为1.17%。
• 作者结论与启示：作者认为抵御通用越狱同时维持实用部署具有工程可行性；随着对抗技术持续演化，长效安全不能仅靠单一防护，必须将宪法分类器与漏洞快速响应和异常监测等多层防御机制深度结合。