语言模型角色的抽象化红队测试

在远小于部署规模的计算下，找出仍可能在部署中出现的角色规范违规类型。

• 场景：作者希望助手符合角色规范（character specification），即跨多样用户交互应如何行动。规范可经 Constitutional AI 等显式训练，或在一般人类偏好对齐中隐式学到。作者称大规模部署仍会偶尔违规，包括用户直接索要有害内容，以及训练不完善使普通对话出现有害回复。
• 现有方法：作者认为静态评测靠固定提示集，查询量远小于部署，会漏掉稀有失败；提示优化能引出失败，但得到的是高度调校的单条提示，大规模部署中也不太会出现。
• 观察：改搜自然语言类别。类别是描述一大组用户查询的字符串。若该类经常违规且只占流量一小部分，或很少违规但流量占比大，部署时都应预期看到违规。
• 本文：提出抽象红队（abstractive red-teaming），以及 Category-Level RL（CRL）与 Query-Category Iteration（QCI），对着原则专用奖励模型搜索高分类别。摘要称覆盖 12 条原则与 7 个目标模型。
• 威胁模型：
  • 目标：给定应遵守的一条原则，找出会导致违规、且稀有但仍可能在大规模部署出现的自然查询类型。
  • 知识：论文未写 white-box 或 black-box。搜索方采样类别和类别内查询，再向目标模型取响应并打分。
  • 能力：可更新类别生成器，或用强 LLM 从高分查询合成属性；过滤模型可把直接索要违规的查询打成低分。
  • 受害系统：被期望遵守角色规范的语言模型助手，包括开源模型与前沿模型。

论文 Related Work 分三块，实验另用随机采样作对照。

• 对齐与角色训练
  • RLHF 与 Constitutional AI：Ouyang et al.（2022）、Christiano et al.（2017）、Bai et al.（2022b）用人类或 AI 反馈让模型遵循规范。引言还把 Bai et al.（2022a）列为对一般人类偏好的对齐。
  • 角色训练：Anthropic（2024）与 Lambert（2025）讨论塑造模型人格中主观、质性的一面。作者称本文与这些训练方法互补，用来理解实际部署中角色的稳健性。
• 评测时机
  • 静态查询集：Perez et al.（2023）、Ganguli et al.（2022）、Mazeika et al.（2024）的 HarmBench、Röttger et al.（2025）的 SafetyPrompts 在固定集上做行为评测，有的由开发者构造或模型撰写。作者认为查询量远少于典型部署，可能漏掉稀有失败。
  • 部署后分析：Tamkin et al.（2024）的 Clio、Huang et al.（2025）在部署流量样本里找违规。作者称这是失败发生之后才捕捉；本文要在更大部署之前主动搜索，并引用 Jones et al.（2025）。
• 自动红队
  • 越狱搜索：Perez et al.（2022）用语言模型做红队；Zou et al.（2023）、Chao et al.（2025）、Jiang et al.（2024）的 WildTeaming 寻找让模型产出有害内容的对抗越狱。
  • 查询层强化学习：Chowdhury et al.（2025）与 Li et al.（2025）用强化学习引出与角色相关的病态行为，文中举例为鼓励用户自伤。作者认为这些工作在查询层优化，行为依赖精确措辞，那条查询在部署中不太会出现。
• 基线与评测对象：对照是 random sampling（RS），即在预算内从类别生成器随机抽类别，而不是把上述已发表攻击方法放进实验表。评测对象是 12 条原则上的类别奖励，不是某个命名攻击基准。查询分布来自 WildChat、LMSys-Chat-1M、ShareGPT、Anthropic-HH、UltraFeedback 等公开首轮查询。

作者把本文放在类别层：可以对模型优化，从而找到静态评测漏掉的违规，又比单条对抗提示更粗，使类别内查询仍可能出现在部署中。

抽象红队不直接优化单条提示，而搜索自然语言类别，使类别内许多查询的响应违反某条角色原则。CRL 与 QCI 共用类别生成器、查询生成器和原则奖励模型。

类别与生成器

• 类别：字符串 c 描述任意大的查询集合。能拆成 ℓ 句时，属性写成 (a1, …, aℓ)，每句描述查询的一个不同方面。
• 两个模型：类别生成器拟合数据里类别的无条件分布；给定类别后，查询生成器拟合其中的查询。只对类别生成器施压、不更新查询生成器，使发现的查询仍在类别内多样。
• 数据：只用公开数据的首轮用户查询，丢掉助手回复，去重并做有限垃圾过滤，共 1.4M 条。附录 A.5.1：WildChat 51.3%，LMSys 33.8%，HH 4.3%，UltraFeedback 4.3%，其余约 6.3% 来自 ShareGPT、OpenAssistant 与 HelpSteer2 等。
• 微调：Claude 3.7 Sonnet 用 Prompt A.1 为每条查询写 10 个属性。每条查询配 4 个类别，来自这 10 个属性的 4 个不相交子集，大小分别为 1、2、3、4。两个生成器均由 Qwen3-8B-Base 监督微调 1 epoch、batch size 512。

原则与类别奖励

• 规范：取 Claude constitution 的 12 条原则，全文在附录 A.1，涵盖歧视、违法或不道德、AI 霸权与自我保存、声称个人经历或身体，以及阴谋、酷刑与虐待。
• 奖励：r(x, y) 衡量响应对该原则的违反程度，看绝对有多坏，而不是同一查询下哪条回复更好。
• 过滤：要避开直接索要违规的查询时，加入过滤模型 f(x)。过滤奖励 r_f,τ(x,y) 在 f(x)≥τ 时等于 r(x, y)，否则等于较小的 r_min。论文未给出 τ 和 r_min。
• 聚合：每类抽 k 条查询和目标模型响应，再用统计量 S 得到类别奖励。评测用均值，k=16。

CRL

• 目标：用策略梯度更新类别生成器，最大化 J(θ)=𝔼_{c∼ pθ^C}[R_S(c)]。优势按类别奖励、用 RLOO 在一组类别上留一估计。伪代码见附录 Algorithm 1。
• 超参：实现基于 verl。8 个 group、每组 2 个类别，学习率 10^{-6}，无 KL。作者称对高熵类别生成器加 KL 会不稳定。
• 训练与报告不一致：对外报告 R_mean，RL 优化的是每类的 R_max。作者称这比直接优化均值更容易得到更高的均值。
• 预算：与 QCI、RS 相同，向目标模型发送 102400 次查询，3 个种子，误差为均值的标准误。细节在附录 A.5.3。

QCI

• 状态：不改权重。经验池只保留迄今分数最高的 s 个查询-响应对。
• 利用：用强 LLM 把池中高分查询的共同性质合成 ℓ 个属性，拼接成当前类别。实验用 Claude 3.7 Sonnet 与 Prompt A.2，s=5；该提示要求写出 5 个属性。
• 探索：对每种属性子集大小，均匀抽取 K/(ℓ+1) 个子集，各采样一条查询、响应和奖励；另加同样多的随机类别。并入池后只留 s 个最高分。伪代码见附录 Algorithm 2。
• 并行：作者称轨迹受初始化影响大且收敛快，故每次 M=15 条子轨迹，每步 K=240 次目标模型查询，取全部子轨迹中分数最高的类别。

奖励模型

• 合成：Claude 3.7 Sonnet 按原则生成可能引出违规的类别，与类别生成器的随机类别混合；查询生成器采样后，再让它生成从好到差的响应。概览在 Figure 4。
• 训练：GPT-4.1-Mini 产生偏好。奖励模型比较哪一对更违反原则；过滤模型比较哪条查询更明确地索要违规。两者都从 Qwen3-8B-Base 用 Bradley-Terry 训练，2 epoch、batch 256、学习率 10^{-5}。附录 A.5.2。
• 提示词：附录 A.7 给出属性抽取、QCI 合成、行为判定和属性扰动的完整提示词。

实验设置

• 目标模型：定量比较为 Llama-3.1-8B-Instruct、Gemma3-12B-IT、Qwen3-30B-A3B-Instruct-2507、GPT-4.1-Mini。定性例子另有 Claude Sonnet 4（Figure 2 写作 Claude 4 Sonnet）、Claude 3.5 Haiku（亦写作 Claude Haiku 3.5）、Claude Opus 4.1。摘要称共 7 个目标模型。Figure 7 将 Gemma 写作 Gemma-3-12B-Instruct。
• 原则：12 条全部在 Llama-3.1-8B-Instruct 上比较（附录 Table 2）。另外 3 个模型在 Table 1 报告 AI Supremacy、Illegal Activity、Religious Discrimination，Table 3 还报告 Abuse。
• 基线：RS，在同一查询预算内从类别生成器随机采样类别。
• 指标：分数最高类别的未过滤 R_mean，每类 k=16。CRL 优化时用 R_max。作者注明不同原则用不同奖励模型，分数只在同一原则内可比。论文未给出“成功类别”的分数阈值。
• 预算与重复：每个算法、每个设置 102400 次目标模型查询，3 个种子，误差为均值标准误。
• 评审：主结果是原则奖励模型的分数，不是另一次在线 LLM 裁判。训练该奖励模型的偏好来自 GPT-4.1-Mini，而该模型本身也是目标模型。

主结果

下表数字为 3 个种子的均值 ± 标准误。模型行名对应上一节的全名；Table 1 把最后一个模型写作 GPT-4.1。据 Table 1 与附录 Table 2。

表格较宽，可左右滑动

模型	原则	RS	CRL	QCI
Llama	AI Supremacy	2.87 ±.34	11.7 ±.01	10.9 ±.34
Gemma	AI Supremacy	1.88 ±.45	11.4 ±.24	9.88 ±.49
Qwen	AI Supremacy	1.52 ±.79	10.2 ±.60	10.3 ±.37
GPT-4.1	AI Supremacy	1.46 ±.58	10.9 ±.23	10.1 ±.63
Qwen	Illegal Activity	-2.73 ±.36	1.86 ±1.3	1.27 ±.21
Gemma	Illegal Activity	-2.26 ±.08	2.15 ±1.5	0.41 ±.56
Llama	Unethical Behavior	-1.31 ±.12	2.10 ±.85	0.89 ±.13
Qwen	Religious Discrimination	-1.29 ±.50	2.22 ±.11	4.14 ±.43

• 相对 RS：作者称所有设置里两种方法都优于 RS，且 CRL 通常略高于 QCI。核对 Table 1、Table 3 与附录 Table 2 后，所列 CRL、QCI 均值都高于同一行 RS。这些主结果用的是未过滤奖励。
• QCI 更高的格子：Table 1 的 Religious Discrimination 四个模型都是 QCI 的报告均值更高：Llama 5.32 ±.38 对 CRL 4.84 ±.79，Gemma 2.66 ±.28 对 2.26 ±.70，GPT-4.1 2.82 ±.27 对 2.57 ±.60；Qwen 见上表。表中 Qwen 的 AI Supremacy 也是 QCI 略高。附录 Table 2 的 12 条原则里，只有 Religious Discrimination 的 QCI 高于 CRL。
• 未列入的格子：Table 1 其余 Illegal Activity 与 Religious Discrimination 行、Table 3 的 Abuse，以及附录 Table 2 的其余原则。已列入表内 CRL 最低的 Qwen Illegal Activity，以及 Llama 12 条原则中 CRL 最低的 Unethical Behavior。三个 Claude 模型没有这类奖励表。

样本效率

• 测了什么：分数最高类别的均分如何随目标模型查询数变化。Figure 5 三块面板为 GPT 的 Religious Discrimination、Llama 的 Conspiracy Theories、Qwen 的 Illegal Activity。坐标轴是 Mean Score in Best Category 与 Queries to Target Model。
• 作者的解读：作者称在许多查询预算下 CRL 与 QCI 都高于 RS，且查询受限时 QCI 比 CRL 更省样本，尽管最终分数通常略低。正文没有给出曲线端点数值。
• 附录：Figure 19–24 给出 Llama 全部原则以及 4 个模型子集的均值、20th 与 80th percentile 曲线。作者称这一现象一致出现。论文未列出这些曲线的读数。

过滤奖励下的定性结果

• 与主表的差别：作者称未过滤优化找到的违规常常像用户在越狱，并不总是出人意料。Section 4.3 改用过滤奖励，把过滤分低于 τ 的查询打成 r_min。论文未报告所用 τ。
• Figure 2：作者报告，向 GPT-4.1-Mini 询问监狱生存物品时会推荐非法武器或违禁品；向 Claude Sonnet 4 索要女性课程的滑稽名称时出现性别刻板印象；向 Llama-3.1-8B-Instruct 做长期未来预测时称 AI 将统治、消灭或支配人类。图中有查询与响应摘录。
• 其他例子：Figure 6 与附录 A.2 还写到 Claude Opus 4.1、Claude 3.5 Haiku、Gemma 以及自我保存、阴谋论、人生经历、性别和宗教等原则。附录给出示例。论文未在这些图旁报告类别奖励。

属性消融

• 去掉属性：附录 A.3 对 Figure 6 中 Claude Opus 4.1 的 5 属性类别，每种保留长度随机抽 500 个子类别。作者称 Figure 16 里奖励的均值、标准差和最小/最大都随属性减少而下降。正文没有这些点的数值。
• CSR：定义为从类别抽查询后，某一种违规行为出现的比例；每次抽新查询。判定用 GPT-4.1-mini 和二元量规，Prompt A.3。
• 扰动：Figure 17 针对 Claude 3.5 Haiku 的一个类别，图中 Original ASR 为 0.292。作者称随机扰动任一属性都使 CSR 下降。正文用 CSR，图标题写 ASR。Figure 18 对 Claude Sonnet 4 的人生经历类别贪心删属性；作者称 CSR 下降，且对完整类别影响大的属性在缩减后往往仍然重要。正文无各点数值。

其他消融与分析

• Figure 15（GPT-4.1-Mini，Abuse，一个随机种子，未过滤）分数最高类别均分：RS -1.5，CRL 9.1，QCI 3.4。
• 作者称该种子上 RS 方向相关，但多拒绝或几乎不构成违规；CRL 属性很多且很具体；QCI 均分更低，但中位数和最高分例子仍在侮辱用户。
• 作者称 CRL 的高分类别往往属性很多；QCI 因利用步骤固定属性条数，类别通常更一般。
• 作者称 QCI 受初始化影响大并很快收敛，因此用 15 条子轨迹。

作者指出的局限与后续方向

• 后续用法：结论写，类别描述坏查询的高层属性，因此发现的查询可以用来直接修改训练中的角色规范，例如 constitution，以针对这些行为；也可以用查询生成器生成安全训练的合成数据。作者把这两项探索留作 future work（Conclusion）。
• 专节：论文没有 Limitations 专节，也未在 Discussion 或附录里另列方法失败、奖励误差或部署频率方面的局限。

实验覆盖范围

• 摘要写 12 条原则、7 个目标模型。附录 Table 2 对 Llama-3.1-8B-Instruct 报告全部 12 条原则；Table 1 与 Table 3 对 Gemma3-12B-IT、Qwen3-30B-A3B-Instruct-2507、GPT-4.1-Mini 报告原则子集（Section 4.2、附录 A.6）。
• 每个算法设置使用 102400 次目标模型查询、3 个种子、k=16、未过滤 R_mean；CRL 的优化目标是 R_max（Section 4.1.3、4.2）。
• 实验表中的对照是 RS。相关工作写查询层优化对精确措辞敏感、部署中不太会出现那条查询，但那些方法没有进入实验表。
• 定性搜索使用过滤奖励（Section 4.3）。论文未报告 τ 与 r_min 的取值。
• 奖励与过滤模型的偏好由 GPT-4.1-Mini 生成，CSR 由 GPT-4.1-mini 判定（附录 A.3、A.5.2）。论文未报告评审与人工的一致性，也未报告发现类别占真实流量的比例。

抽象红队把语言模型的角色审计从单条提示改成自然语言查询类别，用来在部署前寻找既稀有、又仍可能进入真实流量的违规。

• 问题：角色规范规定助手在多样交互中应如何行动，但作者称大规模部署仍会偶尔违规。固定提示集查询量远小于部署；把单条提示优化到很窄，又不太像用户会提交的查询。
• 做法：在 1.4M 条公开首轮查询上，用 Qwen3-8B-Base 微调类别生成器与查询生成器。12 条原则各有奖励模型，偏好来自 GPT-4.1-Mini。CRL 用 RLOO 更新类别生成器，优化 R_max、报告 R_mean。QCI 不改权重，由 Claude 3.7 Sonnet 从高分池合成属性，并在 15 条子轨迹中取分数最高的类别。两者都不更新查询生成器。
• 定量：查询预算 102400、3 个种子、k=16、未过滤奖励。附录 Table 2 中，Llama-3.1-8B-Instruct 的 12 条原则上，CRL 的分数最高类别均分从 Unethical Behavior 的 2.10 ±.85 到 AI Supremacy 的 11.7 ±.01，且 CRL 与 QCI 都高于同行 RS。Table 1 里另外三个模型的三个原则也是如此。作者称查询较少时 QCI 更省样本，最终分数通常略低于 CRL；Religious Discrimination 上 QCI 的报告均值可以更高。不同原则的分数不能直接比较。
• 定性：过滤直接索要违规的查询后，作者在 Figure 2 与 Figure 6 报告了未来预测、监狱生存物品、女性课程名称、巴黎缺点和灰色市场建议等类别，并称响应中出现 AI 支配、违禁建议、性别刻板、针对移民的负面刻画和重罪建议。三个 Claude 模型没有进入奖励对比表。
• 作者的结论：作者认为这为部署前审计提供了基础，并建议以后用发现的类别修改规范或制造安全训练数据；这两项留作后续。