Constitutional adapters：用推理期干预防御越狱与失准

核心问题是：宪法一致的行为能否被蒸馏进轻量对象，并在推理时同时缓解误用与失配。

• 场景与重要性：作者认为大语言模型的效用受 misuse（Weidinger et al., 2021）与 misalignment（Ngo et al., 2022）限制，现有安全训练对对抗输入和意外场景不够鲁棒（Wei et al., 2023; Qi et al., 2024）。按显式、可读的 constitution 或 model spec 训练在前沿规模上有结果，且便于透明、并在新场景和后训练后有一定保持（Kutasov et al., 2026），但是否同时稳健防御两类风险仍不清楚。
• 现有方法的不足：宪法方法通常把对齐直接训进模型权重。LoRA 与 steering vector 更轻、可跨 checkpoint 迁移、可组合、推理时可调强度，也能表达 refusal 和 persona，但作者认为尚不清楚它们能否捕捉更细的 constitution-following。分类器或 circuit breaker 会中止对话，而控制推理的防御方可能需要按风险分级塑造行为。
• 核心观察：作者先在被挫败的有害请求与成功越狱上训练轻量对象，发现对未见越狱泛化差，因此改用 Kutasov et al. (2026) 的合成数据：用体现期望伦理行为的文档训练，而不是直接对对抗查询训练。
• 本文提出：从 Claude 宪法生成合成语料，训练 LoRA 或 steering vector，再减去在无价值内容的对照语料上训练的同类对象，得到 constitutional adapters（CAs）。CA 可在 base 上训练、零样本迁到 post-trained checkpoint，并在推理时用标量调节防御与良性遵从的权衡。
• 威胁模型：
  • 目标是在不终止对话的情况下，降低 misuse（越狱下的有害遵从）和 misalignment。
  • 防御方控制 API 推理，可按用户或会话部署额外防御。
  • 训练对象从未见 harmful request 或 jailbreak；评测时与 prompted 及 steered 基线比较。
  • 作者不评测优化 adapter 本身的 white-box 攻击，也不比较 CA 与全参数训练的交互。

任务算术与参数高效模块

• LoRA 与任务算术——Houlsby et al. (2019)、Hu et al. (2021) 用权重空间的轻量模块适配下游任务；Zhang et al. (2023) 表明纯权重更新可相加或取反以组合或抑制行为。Ilharco et al. (2022) 的 task arithmetic 是本文 LoRA 差分的依据。
• 安全上的任务算术——Bhardwaj et al. (2024) 加安全向量以恢复下游微调侵蚀的对齐；Hsu et al. (2024) 的 Safe LoRA 把 LoRA 更新投影到对齐权重与基座权重分离的子空间。作者指出这些方法重定位后训练模型已经具备的对齐或能力。

激活转向

• 对比激活方向——Turner et al. (2023)、Panickssery et al. (2023)、Li et al. (2023)、Zou et al. (2023) 从对比提示的激活统计得到方向并加到残差流。Tan et al. (2024)、Stickland et al. (2024)、Wu et al. (2025) 讨论固定加性向量跨输入不稳定、损害无关能力，且常被提示词追上或超过。
• 条件化与梯度拟合——Lee et al. (2024)、Sheng et al. (2025) 让干预依赖输入；Cao et al. (2024)、Wu et al. (2024) 用梯度下降拟合。Heyman & Vandeputte (2026) 的 Prompt Steering Replacement 用 ReLU 门控学习方向并拟合系统提示的效果。本文保留该参数化，但用普通下一 token 损失在语料上训练，不需要对比对或 prompted teacher。

越狱与防御

• 攻击——静态（Andriushchenko & Flammarion, 2024; Ren et al., 2024a; Ding et al., 2023）、多查询（Chao et al., 2023; Hughes et al., 2024）和多轮（Russinovich et al., 2024; Ren et al., 2024b）攻击仍能攻破安全训练模型。
• 防御——输入输出分类器（Inan et al., 2023; Sharma et al., 2025）、输入扰动（Robey et al., 2023）、防御性提示（Xie et al., 2023）、输入或潜空间对抗训练（Mazeika et al., 2024; Sheshadri et al., 2024）、表示重路由（Zou et al., 2024），以及沿安全方向的推理时转向（Shen et al., 2024; Zhao et al., 2025; Sheng et al., 2025）。作者称这些学习型防御一般拟合有害或对抗样本，因而要预判攻击分布；若干报告自动化单轮近零成功率的方法在多轮人类红队下失败（Li et al., 2024b）。

对齐训练与泛化

• 宪法与规格——Constitutional AI（Bai et al., 2022）和 deliberative alignment（Guan et al., 2024）以书面原则上的推理作为监督或强化学习目标。Tice et al. (2026) 在预训练中加入描绘对齐行为的文档；Li et al. (2026)、Kutasov et al. (2026)、Cho et al. (2026) 用模型规格或宪法派生语料改善后续对齐训练的泛化。

基线与基准：实验基线是 Arditi et al. (2024) 的 refusal steering，以及 safety SI 与 constitution SI。有害目标来自 HarmBench 与 JailbreakBench；另用 XSTest、OR-Bench-Hard、Petri Bloom、Lynch et al. (2025) 的智能体失配场景，以及 MMLU、GSM8K、BigCodeBench、BFCL。

作者把本文定位为：改用 Kutasov et al. (2026) 的数据配方，问一个小对象或对象之差能否在独立后训练之后仍携带该效应、在推理时可调，并从失配泛化到误用；减法用于去掉对照语料共享的语域、格式和遵从偏移，而不是重定位模型已有的对齐。

整体思路是把宪法行为写成合成文档，再蒸馏进冻结模型上的轻量对象，并用对照语料差分去掉共有效应，得到可按强度缩放的 constitutional adapters。

合成数据

• 四步流水线：Claude Opus 5 同时担任生成器、改写器和评分器，因为作者称它是实验时 Anthropic “most aligned” 的模型。两套语料共用近乎相同的流水线，实质差别是参考文档（Figure 1、Appendix A.5）。
• 步骤：从参考文档各节抽取原则；为每条原则编造施压场景；起草文档并改写提示以提高真实感，再把相关章节注入系统提示后重新生成回复；按与参考文档的一致性和质量打分并过滤，例如可训练文本不提及 Claude 或 Anthropic。
• 两种文档：（a）聊天格式的困难建议场景，模拟用户与未具名 AI 助手；（b）虚构故事，其中通用 AI 角色按参考文档行动。
• 对照与规模：宪法语料基于 Claude’s constitution（Anthropic, 2026b）；对照是 Claude Fable 5.1 生成的 “careful work” 手册，结构与语气相近但无价值内容。每套语料约 18,000 篇文档、45M tokens。过滤后长度分布、系统提示标记和多样性统计相近（Appendix A.7）。

轻量对象

• 训练目标：对象 θ 是一小撮参数，修改冻结模型的前向，得到分布 pθ。在语料全部非系统提示 token 上最小化标准下一 token 损失。对 N 个 token，L(θ)=−1/N∑_{x∈ D}∑_tlog p_θ(x_t∣ x_<t)。ReLU steer 另加 gate-opening 正则。优化器用 AdamW，学习率与梯度裁剪由 16 次 Sobol 序列选取（Appendix B）。
• LoRA：对每个存在 attention output 矩阵的层加 rank-4 LoRA，更新写成 W ← W + BA，只训练 A、B。
• 转向：残差流激活 hℓt 上，经典 steering 加固定方向 αv。简单基线用 difference-in-means 在有害（被拒）与无害（被遵从）提示之间计算 refusal direction（Arditi et al., 2024）。作者试过 Sheng et al. (2025)，称其并不稳定优于该基线。
• ReLU steer：写入向量的范数随 token 变化，h^ℓ_t ← h^ℓ_t + α ReLU(w^ℓ⊤ h^ℓ_t + b^ℓ) v^ℓ。参数化来自 Prompt Steering Replacement，但损失换成合成语料上的下一 token 损失，环路中没有 prompted teacher。

差分对象

• 两次训练：从同一初始化分别在宪法语料 DC 与对照语料 DK 上训练，得到 θC 与 θK，主干预是二者之差，再乘标量 α。
• LoRA 差分：权重空间可加，故差仍是 LoRA，无需重拟合。差存成 rank 2r 的拼接 adapter，以 W + αΔW 施加（Figure 2）。
• ReLU 差分：ReLU 使强度成为激活的非线性函数，逐元素相减没有意义。作者在同一 pre-write 状态上分别计算两个写入函数，只把二者之差加回残差流。

评测协议与部署设定

• 成功判定：有害目标取自 HarmBench 与 JailbreakBench。候选越狱由 Claude Haiku 4.5 按 StrongREJECT 打分，严格大于 0.5 才计为具体且有说服力；子集经人工复核。多轮攻击者是本地的 Huihui-Qwen3.6-27B-abliterated。过度拒绝按完全遵从 0、部分拒绝 0.5、完全拒绝 1 计分（Röttger et al., 2023）。
• 评审：过度拒绝与 agentic misalignment 由 Claude Sonnet 5 评分，Claude Opus 5 给出定性相同的结果。Petri Bloom 用 Opus 5 作 judge、Sonnet 5 作 auditor。
• 对比对象：refusal steering，以及聚焦误用的 safety SI 和概括 Claude 宪法的 constitution SI（Appendix E）。主结果以相对无防御基线的百分点报告。有 base checkpoint 时在 base 上微调，再零样本迁到 instruct checkpoint 评测。

实验设置

• 模型：主文为 Qwen3.5-4B，每个对象三个随机种子。附录另有 Llama-3.1-8B-Instruct、Gemma-4-E4B、Nemotron 3 Nano 4B。除 Nemotron 外，对象在 base 上训练并零样本迁到 instruct；作者称直接在 instruct 上训练并不稳定更好（Appendix D.1）。
• 越狱：静态四种：past tense、CodeAttack、ReNeLLM、Pliny，筛选标准是无防御模型上至少 10% 查询出现有害遵从。多查询为 best-of-N（图中为 Best-of-75）和 PAIR。多轮为 Crescendo 与 ActorAttack。长上下文在 SI（若有）与 Pliny 载荷之间插入 Project Gutenberg 文本，填充长度见图中至 65,536 个 neutral filler tokens。
• 其他评测：过度拒绝用 XSTest 与 OR-Bench-Hard。失配用 Petri Bloom 的若干行为，以及 Lynch et al. (2025) 的智能体泄露场景。能力为 MMLU、GSM8K（thinking on）、BigCodeBench、BFCL。
• 指标：主文结果是相对无防御基线的百分点；绝对百分比在 Appendix D.6。越狱由 Haiku 4.5 按 StrongREJECT > 0.5 判定。Petri 为 1–10 分，智能体失配为二元评分。图中带 95% CI。
• 默认强度：拟合对象的自然工作点为 α = 1。refusal steering 没有自然尺度，作者称此处最佳工作点为 α = 0.3（Appendix D.4）。
• 样本量：论文未在正文给出各基准的查询条数或重复次数；Qwen 主结果为三个种子。

主结果

正文图以相对无防御的 Δ defense success（pp）呈现，坐标可读的概括数字如下。附录绝对百分比在所附文本中列对齐不可靠，不摘录。

• 静态与长上下文：作者称短上下文时系统提示与 refusal steering、constitution 及 difference 对象相当；控制语料对象在各上下文长度都降低防御成功。填充加长后，SI 防御下降，甚至差于填充后的无提示基线；每 token 施加的 refusal steering，尤其是 constitution 与 difference 对象，跨长度保持（Figure 3）。作者据此认为把防御移出上下文窗口、放进激活，可以避开长上下文衰减。
• 多查询与多轮：对 best-of-N，非控制防御表现相当。对 PAIR，SI 落后于 refusal steering 和 difference 对象（Figure 4）。多轮上 constitution、尤其 difference 对象优于系统提示。作者称二者的读、写方向与简单拒绝方向正交，宪法与对照方向部分对齐，差分可抵消语域和格式等共有成分（Appendix D.3）。
• 失配：作者称 constitution 与 difference 对象，以及 refusal steering，在 Petri 上有较大平均改善；系统提示即使使用宪法文本也无显著效应（Figure 5；此处“显著”按论文 “no significant effect” 转述）。智能体场景中，constitution 与 difference 对象优于 refusal steering 和提示，作者称几乎消除泄露；宪法提示优于普通安全提示。

过度拒绝、能力与推理时调节

• 过度拒绝：α = 1 时 difference 对象增加拒绝的幅度与 refusal steering 相当（均为 10–18 pp，Figure 6），略高于提示。控制对象则降低拒绝，与其提高攻击成功相对应。
• 能力：MMLU 与 GSM8K 上各干预几乎没有能力损失。BCB 与 BFCL 上轻量对象降低 pass rate；作者称 difference ReLU steer 相对 constitution steer 有所缓解，且受种子方差影响（Figure 6）。
• α 扫描：作者称各对象都画出防御与良性遵从的前沿（Figure 7）。多轮上 difference LoRA 在所测全部强度和攻击类型上 Pareto 支配 refusal steering，并优于固定系统提示。difference ReLU steer 只在 α ≥ 1 时取得更好的多轮防御，同时过度拒绝代价更高。

其他消融与分析

• 四个模型家族上，作者称 Qwen 以外的效应更小、跨对象类型更不稳定，但大体与 Qwen 一致（Appendix D）。
• 直接在 instruct checkpoint 上训练并不稳定优于 base 训练再零样本迁移（Appendix D.1）。
• 4B 模型上 ReLU 与 LoRA difference 对象分别约 330k 与 426k 参数（Section 5.1）。
• 作者早期在被挫败的有害请求与成功越狱上训练，对未见越狱泛化差，因而改用合成宪法语料（Section 2.1）；论文未给出该失败设置的具体 ASR。
• 控制语料对象不是中性的：它降低防御成功并提高良性遵从（Figure 3、Section 3.4）。
• refusal steering 的校准工作点为 α = 0.3，拟合对象的自然点为 α = 1（Appendix D.4、Section 3.5）。

作者指出的局限与后续方向

• 不评测白盒攻击：CAs 面向控制推理的 API 部署方，作者因此不评测优化 adapter 本身的 white-box 攻击（Section 5.1）。
• 不与全参数训练比较：作者不评测 CA 与全参数规模训练（Tice et al., 2026）的比较或交互，并怀疑宪法训练越进入标准训练流程，CA 在其上的增量越可能变小（Section 5.1）。
• 失配评测本身困难：作者称模型可能有 evaluation awareness（Needham et al., 2025），现有评测可能捕捉不到真实部署中更现实的失配（OpenAI, 2026）（Section 3.3）。
• 代码与数据尚未发布：作者计划在稿件被接收后把代码和合成数据上传到 GitHub 与 Hugging Face（Reproducibility Statement）。
• 后训练配方不公开：Qwen3.5 及其他模型的完整训练配方不公开；作者依据模型卡认为 CA 在大量后训练之后仍然有效（Section 5.1）。
• 对扩展的预期：作者认为宪法遵循与 refusal、persona 一样是低维且线性表示的，并因合成语料可扩大规模与多样性，而对进一步分布外泛化持乐观（Section 5）；这是预期，不是已完成的实验。

实验覆盖范围

• 被测模型为 Qwen3.5-4B、Llama-3.1-8B-Instruct、Gemma-4-E4B、Nemotron 3 Nano 4B；主文数字集中在 Qwen3.5-4B 的三个随机种子，参数规模至 8B（Section 3、Appendix D）。
• 误用评测包括四种静态越狱、Best-of-75 与 PAIR、Crescendo 与 ActorAttack，以及 Pliny 上至 65,536 filler tokens 的填充（Figures 3–4）。
• 失配评测包括 Petri Bloom 的若干行为类别和 Lynch et al. (2025) 的泄露场景；能力评测为 MMLU、GSM8K、BigCodeBench、BFCL（Figures 5–6）。
• 基线为 refusal steering、safety SI 与 constitution SI；对象类型为 control、constitution 与 difference 的 LoRA 和 ReLU steer（Figures 3–7）。
• 除 Nemotron 外，对象在 base 上训练再零样本迁到 instruct；Nemotron 没有 base checkpoint（Section 3）。论文未报告各基准的查询条数，也未报告与人工评分的一致性数值，只称子集经人工复核且评分准确。

• 定位：Constitutional adapters 是推理时的轻量干预，用来同时压低误用和失配。
• 问题：宪法方法通常写入全量权重；LoRA 和转向向量更轻、可迁移、可调强度，但是否能承载比拒绝更细的宪法遵循，作者认为尚不清楚。直接在越狱样本上训练的轻量对象对未见攻击泛化差。
• 方法：Claude Opus 5 按四步流水线，从 Claude 宪法和一份无价值内容的 “careful work” 手册各生成约 18,000 篇、45M tokens 的建议记录与故事。在冻结模型上用下一 token 损失训练 rank-4 LoRA 或 ReLU steer，再把宪法对象减去对照对象。LoRA 差分是 rank 8 的拼接适配器；ReLU 差分是同一激活上两个写入之差。推理时乘以强度 α。除无 base 的 Nemotron 外，在 base 上训练并零样本迁到 instruct。
• 结果：主文看 Qwen3.5-4B。短上下文静态越狱上，系统提示与 CA、refusal steering 相当；填充到很长时提示变差，每 token 施加的轻量对象保持。多轮上 constitution 与 difference 对象相对无防御约提高 15 与 30 个百分点，作者称 difference 比 refusal steer 有效超过 3 倍。Petri 上提示几乎没有对齐收益，CA 与 refusal steering 有改善；智能体泄露上 CA 优于二者。α = 1 时过度拒绝增加约 10–18 pp，与 refusal steering 相当。MMLU 与 GSM8K 几乎无损，BigCodeBench 与 BFCL 的 pass rate 下降。多轮前沿上 difference LoRA 在所测强度上 Pareto 支配 refusal steering。
• 作者的结论：作者认为 CA 是 API 部署中轻量、可移植、可按会话调强度的杠杆；训练不见有害请求或越狱。他们不评测针对 adapter 的 white-box 攻击，也不与全参数宪法训练比较，并怀疑后者越充分，CA 的额外收益越小。