Constitutional Classifiers++：抵御通用越狱的高效生产级防御

核心问题：如何让 Constitutional Classifiers 在抵御通用越狱的同时满足生产部署对低计算开销和低拒答率的要求。

• 场景与重要性：越狱是绕过防护、从 LLM 提取有害信息的提示策略；作者认为这类防御对缓解 CBRN（化学、生物、放射、核）高风险威胁很关键。
• 现有系统的不足：作者报告 Sharma et al. (2025) 的系统有 23% 计算开销和 0.38% 生产流量拒答率，限制了部署可行性；作者进一步测试还发现两类可绕过它的攻击（Section 2）。
• 核心观察：重构攻击把有害信息拆散到良性上下文中再重组，输出混淆攻击让输出脱离输入后无法解读；作者认为在对话上下文中评估输出能提高混淆难度，且级联与探针能大幅降低成本。
• 论文提出的内容：一套生产级防御系统，组合 exchange 分类器、两级级联、线性探针与集成，并通过超过 1,700 小时人工红队验证。
• 威胁模型：
  • 攻击者目标：找到 universal jailbreak，即在 CBRN 领域多数目标查询上稳定绕过防护、引出详细有害回答（定义沿用 Sharma et al., 2025）。
  • 攻击者知识与能力：通过 API 访问被防护模型，可提交任意提示词并迭代开发攻击；红队以赏金激励，最高 35K 美元（附录 B）。
  • 受害系统：加载 Constitutional Classifiers 的 Claude 模型（不同实验分别防护 Claude Sonnet 3.7、Claude Opus 4、Claude Sonnet 4.5）。
  • 成功判定：回答在 LLM rubric 评分上达到无防护模型至少一半细节；回答超过 8 个目标问题中 5 个以上即为高危漏洞。

上一代 Constitutional Classifiers 与越狱分析

• Sharma et al. (2025)——提出 Constitutional Classifiers，用输入分类器加输出分类器防御通用越狱；本文直接在其基础上改进，并发现其重构攻击与输出混淆两类漏洞（Section 2）。
• Souly et al. (2024)、Nikolić et al. (2025)——指出越狱会降低模型能力；本文在 GPQA Diamond 上的测试与此一致，并发现不同越狱的能力损失差异很大。

自适应计算与级联分类

• OpenAI (2025a;b)——用轻量主题过滤器识别高风险领域，必要时才触发更贵的分类；论文指出其第一层做主题检测，而本文第一层直接针对越狱尝试。
• Hua et al. (2025)——研究成本约束下多监控器的组合策略；论文指出本文采用更直接的两级分类并用人工红队验证。
• HybridLLM（Ding et al., 2024）、AutoMix（Aggarwal et al., 2025）、Rabanser et al. (2025)、TARS（Kim et al., 2025）——级联、路由与自适应分配 test-time 计算的相关工作。

基于模型内部的分类

• Cunningham et al. (2025)——探索基于内部的分类器，侧重 last-N 层网络；论文指出本文侧重用加权损失和 logit 平滑提升简单线性探针。
• McKenzie et al. (2025)——提出 softmax 加权探针与级联；论文指出他们把 token 分数聚合成序列级预测，而本文做流式连续预测，且对 per-token 损失加权，并额外使用 logit 平滑。
• 其他内部方法：标准激活探针（Alain & Bengio, 2016; Zou et al., 2023; Youstra et al., 2025）、short-circuiting（Zou et al., 2024）、latent adversarial training（Casper et al., 2024）、SAE 特征分类器（Bricken et al., 2024; Kantamneni et al., 2025）。

基线与基准：鲁棒性对比的基线是作者自己实现的上一代双分类器系统（Section 2）；探针实验的基线是 Section 4 的第一级（extra-small）和第二级（small，Claude Haiku 4.5）外部分类器。校准用 WildChat，能力损失测试用 GPQA Diamond，鲁棒性用约 7,000 条人工红队 CBRN exchange 数据集。

作者将本文定位为把 Constitutional Classifiers 从研究原型推向生产级：在鲁棒性超过上一代的同时，把计算开销和误拒率降到可部署水平。

整体思路：先用 exchange 分类器堵住上一代的两类漏洞，再用两级级联和线性探针集成逐级降低计算成本，最终组合成生产级系统。

Exchange 分类器（Section 3）

• 设计：先像输入分类器一样单独评估提示词，随后在生成过程中按批评估采样出的 token，使每段输出都在完整对话上下文中被判定；prompt caching 使该方案开销可控。
• 理由：作者认为重构攻击的片段在模型开始回答后常被重组为类似密文的形式，因而变得可检测；编码语言、隐喻、替换等混淆在分类器知道输入时更容易识别。
• 实现：直接用 Claude Haiku 3.5 微调的输入分类器充当 exchange 分类器（作者发现标准输入分类器也能有效做 exchange 分类），采用更简单的 exchange-only 架构；阈值校准到 WildChat 上 0.1% 拒答率。

两级级联（Section 4）

• 设计：轻量第一级筛查全部流量，被标记的 exchange 升级给更准但更贵的第二级，而非直接拒答；因此可以容忍更高的第一级误报率，使更便宜更弱的模型也能胜任初筛。
• 实现：第二级由 Claude Haiku 4.5 微调，第一级是约为第二级三分之一大小/成本的内部模型；第二级阈值校准到独立使用时 WildChat 上 0.1% 标记率，第一级阈值设为能标记内部红队数据集中绝大多数样本；配合推理流水线优化。

线性探针（Section 5）

• 问题设定：exchange 级标签 y⁽ⁱ⁾ ∈ {0,1} 标记整段对话是否有害，但流式场景需在生成中逐位置预测，探针用中间层激活做线性分类。
• SWiM logit 平滑：训练时对 M 个 token 的滑动窗口平均 logit，z̄_t 为位置 t 的平均 logit；只有连续多个 token 都预测有害才算有害，减少孤立尖峰造成的误报；推理时改用指数滑动平均（EMA），只需保存一个标量状态。
• Softmax 加权损失：按 exp(z̄t/τ) 对 per-token 损失加权，τ 控制温度；无害前缀上的预测几乎不获权重，探针可放心预测无害而不受罚，而无害序列中任何自信的有害预测会被重罚。作者指出这不同于按 |z̄t| 加权，后者会错误惩罚危害出现前的自信无害预测。
• 训练参数：在 Claude Sonnet 4 的全部层拼接激活上训练；软标签由 Claude Sonnet 4 微调的 Constitutional Classifier 产生；τ = 1，M = 16，只用约 25% 的 exchange 数据集（更多数据无提升）。
• 成本：作者以 Gemma 3 27B 为例估算全层探针每 token 约 377K FLOPs，而 Gemma 3 4B 单 token 前向约 8B FLOPs，称探针边际成本实际为零。

生产级系统（Section 6）

• 架构：线性探针在生成中监控全部 exchange，探针分数超阈值则升级到第二级外部分类器；被升级的 exchange 用 zfinal = 0.55·zprobe + 0.45·zclassifier 加权打分。
• 实现：第二级由 Claude Haiku 4.5 微调，防护 Claude Sonnet 4.5，探针使用该模型的激活。

成功判定与评测方式

• rubric 评分：沿用 Sharma et al. (2025) 的 LLM rubric 流程，先用无防护模型生成基线、制定各查询的评分细则，回答达到无防护模型至少一半分数视为成功。
• 高危漏洞：一次攻击成功回答 8 个目标问题中超过 5 个；主指标为每千条红队查询的高危漏洞发现率，以归一化各系统不同的红队投入量。

实验设置

• 被防护模型：上一代系统防护 Claude Sonnet 3.7；exchange 分类器与两级级联防护 Claude Opus 4；生产级系统防护 Claude Sonnet 4.5；探针实验的受保护模型是 Claude Sonnet 4（Figure 3 图注）。
• 分类器：上一代输入分类器由 Claude Haiku 3.5 微调、输出分类器为更小的内部 LLM；exchange 分类器由 Claude Haiku 3.5 微调；级联第二级由 Claude Haiku 4.5 微调、第一级为约三分之一大小的内部模型；探针为线性激活探针。
• 数据：8 个 CBRN 目标查询（两级系统和生产级系统更换了其中 4 个）；探针分析用约 7,000 条人工红队 CBRN exchange（仅取未参与训练的 red-teamer 的数据，截断到 20K token）；阈值校准用 WildChat。
• 指标：高危漏洞发现率（每千条红队查询）、攻击成功率（ASR）、生产流量拒答率、相对计算开销、漏洞发现时间。
• 评审方式：LLM rubric 评分，达到无防护模型至少一半分数视为成功；探针实验中若 exchange 分类器在采样中任意时刻标记则视为防御成功（作者注：这可能低估 ASR）。
• 红队规模：上一代 695K 查询、exchange 226K、两级 569K、生产级约 198K 次尝试、估计 1736 小时；赏金最高 25K–35K 美元。

主结果

据 Table 1（相对开销以作者实现的上一代系统为 100%）：

表格较宽，可左右滑动

系统	相对计算开销 (%)	高危漏洞发现率/千查询	生产流量拒答率 (%)
上一代（§2）	100.0	0.01871	0.073
Exchange 分类器（§3）	150.0	0.00885	0.038
两级级联（§4）	27.8	0.00878	0.036
生产级（§6）	3.5	0.00505	0.050

• 作者称生产级系统在鲁棒性、推理开销和拒答率上取得最佳权衡；其开销较单 exchange 分类器降约 40 倍、较两级级联降约 8 倍（Section 6）。
• 上一代系统发现 13 个高危漏洞，其中 4 个越狱能以无防护模型一半的细节回答全部目标查询，平均发现时间 27 小时；exchange 系统仅 2 个漏洞，其中 1 个通用攻击，发现耗时 100 小时（Section 3）。
• 生产级系统仅发现 1 个高危漏洞，发现时间 30 小时，为各系统最高 minimum vulnerability discovery time；作者报告没有红队成员找到能以一半细节回答全部 8 个目标查询的通用越狱（Section 6）。

探针与集成的静态分析（Section 5）

• 探针对比外部分类器：在静态越狱数据上，最佳探针的 ASR 优于 extra-small 分类器、接近 Claude Haiku 4.5 的 small 分类器（Figure 2a）；全层探针 ASR 约 1.4%，层数减少性能持续变差（Figure 2c）；作者报告探针在良性科学请求上的标记率更高。
• 集成：探针与 small 分类器的 logit 加权集成 ASR 最低，优于更贵的 XS-S 外部分类器集成，等权（α = 0.5）已接近最优（Figure 3a、附录 Figure 6）；探针与 small 分类器预测的 Spearman 秩相关低于两个外部分类器之间，作者认为探针捕捉了互补信号（Figure 3b）。
• 级联权衡：作者称探针-small 级联在该数据集上超过 small 分类器单独使用的鲁棒性，同时计算成本降低 100 倍（Figure 3c，成本相对 small 分类器处理全部流量）。

越狱对模型能力的影响（Section 2）

• 测了什么：Claude Opus 4 在 GPQA Diamond 上、两种不含输入感知混淆的碎片化攻击下的准确率。
• 结果：无混淆时 74.2%，两种攻击下分别降至 32.3% 和 49%。
• 作者解读：这类攻击会削弱模型能力，但程度差异大；作者认为攻击者可能开发出能力损失更小的攻击，因此漏洞仍然值得担忧。

其他消融与分析

• 损失函数消融（Figure 2b）：不用平滑也不用 softmax 加权时 ASR 最高，两者结合最佳。
• 附录 Figure 5a：smoothed softmax 优于 Sharma et al. (2025) 提出的 cumulative max 与 annealed cumulative max 损失。
• 附录 Figure 5b：窗口 M = 16 附近最优，过大或过小都变差。
• 两级级联成本拆分（Section 4）：较单 exchange 系统降 5.4 倍，其中第二级更新贡献 3 倍；约 10% 流量进入第二级，第一级约占系统总成本 77%。
• 例外：作者指出赏金计划之外的专家级红队成员借助自动化工具、付出大量努力后仍为两级系统找到了通用越狱（Section 4 脚注 3）。

作者指出的局限与后续方向

• 更紧密的分类器-模型集成（Section 8）：例如把分类器信号直接纳入模型采样过程，或训练模型更好地抵抗混淆尝试，作者认为可增强鲁棒性。
• 改进训练数据（Section 8）：通过自动化红队（Perez et al., 2022）或纳入更贴近生产流量的数据，可能得到更好的分类器。
• 降低误报的其他方案（Section 8）：作者称最新系统虽改善了误报率，未来可研究定向合成数据生成，让分类器学到预期的决策边界。
• 探针的良性请求标记率（Section 5.2）：作者报告探针在良性科学请求上的标记率高于外部分类器。
• 两级系统的残余漏洞（Section 4 脚注 3）：赏金计划外的专家级红队成员借助自动化工具、付出大量努力后仍找到了通用越狱。

实验覆盖范围

• 被防护模型共 4 个：Claude Sonnet 3.7、Claude Opus 4、Claude Sonnet 4.5，探针实验用 Claude Sonnet 4（Section 3、4、6 及 Figure 3 图注）。
• 红队查询量各系统不同：695K（上一代）、226K（exchange）、569K（两级）、约 198K（生产级）；生产级红队时长为估计值（API 日志、5 分钟分桶）。
• 两级系统与生产级系统的红队协议有改动：更换 8 个目标查询中的 4 个、调整赏金结构、向参与者提供测试查询与 rubric（附录 B.2）。
• 探针与集成的鲁棒性分析在约 7,000 条静态红队 exchange 上进行，截断到 20K token；作者注明"采样中任意时刻标记即视为防御成功"可能低估 ASR（Section 5.2）。
• 论文未报告 rubric 评分所用 LLM 的具体型号、红队人数，以及 LLM 评审与人工判断的一致性。

Anthropic 针对 LLM 通用越狱防御的改进工作，目标是在提升鲁棒性的同时把成本和误拒降到生产可部署水平。

• 问题：作者发现上一代 Constitutional Classifiers（输入加输出双分类器）存在重构攻击和输出混淆攻击两类漏洞，且 23% 计算开销、0.38% 拒答率限制部署。
• 方法：用 exchange 分类器在对话上下文中流式评估输出；两级级联让轻量模型初筛、贵模型复核；再用带 logit 平滑和 softmax 加权损失的线性探针作第一级、探针-外部分类器集成作第二级。
• 鲁棒性：生产级系统（防护 Claude Sonnet 4.5）经估计 1736 小时、约 198K 次红队尝试仅发现 1 个高危漏洞，发现率 0.00505/千查询，低于上一代的 0.01871（Table 1）；作者报告无人找到能以无防护模型一半细节回答全部 8 个 CBRN 目标查询的通用越狱。
• 成本与误拒：生产流量拒答率 0.05%（上一代系统为 0.073%，Table 1）；计算开销为上一代系统的 3.5%，较单 exchange 分类器降约 40 倍。
• 探针分析：静态越狱数据上探针 ASR 优于 extra-small 分类器、接近 Claude Haiku 4.5 分类器；探针与 small 分类器集成 ASR 最低，作者认为二者信号互补。
• 作者结论：作者称 Constitutional Classifiers 可以在满足部署约束的同时达到强鲁棒性，是实用的生产级防护；未来方向包括分类器与模型更紧密集成、改进训练数据和定向合成数据降误报。