Constitutional Classifiers: Defending Against Universal Jailbreaks in Thousands of Hours of Red-Teaming

Anthropic 的 Constitutional Classifiers 论文提出用自然语言规则生成合成数据来训练安全分类器，在超过 3000 小时的专业红队测试中未被找到通用越狱。分类器从宪法规则中学习识别有害请求的类别，而非依赖固定攻击数据集里的表面模式，目标是抵御改写、编码技巧和虚构框架等常见越狱手法。评测以攻击者能否从受防护模型提取到与无防护基线相当细节的危险信息为标准。论文称良性查询未明显退化、计算开销可控，但承认针对高度定向的单次攻击可能仍有绕过，且宪法对潜在危害的覆盖受编写者想象所限。