Trojan-Speak：对抗微调绕过 Constitutional Classifiers 且无越狱代价

核心问题是：对手若能通过微调 API 改模型，能否绕过 LLM 内容分类器，同时不付出明显的能力损失（jailbreak tax）。

• 场景：作者称主流提供商已提供微调 API，并有大量定制模型；对手可能借微调绕过安全措施，生成包括武器合成与其他灾难性风险在内的详细内容。只检查明文有害数据的分类器挡不住编码内容。
• 现有不足：作者称 CMFT 及相关编码微调在推理基准上报告超过 25% 的能力下降（Halawi et al., 2024; Guo et al., 2025）。作者认为降质模型在需要多步推理的任务上威胁更低。
• 核心观察：作者认为课程学习加上混合 RL+SFT，可以先建立编码能力再做任务。作者称 LLM 分类器解不开任意替换密码，而且会标记看起来像加密的文本，因此还要把编码伪装成技术数据。
• 本文做法：提出 Trojan-Speak，用编码通信微调模型以绕过 Anthropic 的 Constitutional Classifiers。作者还探索用激活探针检测编码后的有害内容。
• 威胁模型：
  • 知识：对商用微调接口为 black-box 访问（Section 3.1）。
  • 能力：可提交数据与奖励信号，不能调整采样温度或 KL 惩罚系数；论文称典型 API 会固定这类超参。
  • 受害监控：Constitutional Classifiers 同时检查微调训练数据，以及推理时的用户输入和模型输出。被标记的训练数据丢弃；被标记的推理通信在检测点拦截，拦截可以发生在模型产生任何输出之前。
  • 目标：对有害查询给出有帮助的回答，推理输出通过分类器，并保留通用能力。作者称能力保留对需要领域推理的 CBRN 任务很关键。

论文在引言和 Related Work 中按四条线讨论前人工作。

有害微调与 jailbreak tax

• Qi et al. (2024)：用少至 10 个对抗样本微调对齐 LLM 即可损害安全。作者称这说明对齐在微调压力下很脆弱。
• Zhan et al. (2024)、Volkov (2024)：前者去掉 GPT-4 的 RLHF 保护；后者用 LoRA 在消费级硬件上、数分钟内去掉 Llama 3 的安全微调。
• Halawi et al. (2024) 的 CMFT，以及 Guo et al. (2025)：把有害内容编码后再微调，以绕过数据检查。作者称这些工作在推理基准上报告超过 25% 下降，即 jailbreak tax。Huang et al. (2024a) 综述有害微调攻防。Huang et al. (2024b) 的 Vaccine 做扰动感知对齐；作者称这类防御还没有在保住能力的攻击上评过。

编码与规避

• Wei et al. (2023)：把安全训练覆盖不到、但能力仍在的领域称为 mismatched generalization。Yuan et al. (2024) 在推理时使用密码，作者称其在 GPT-4 安全对齐上达到 near-100% 绕过。Deng et al. (2024) 称低资源语言提示带来 3× 更高的有害内容率。
• Guo et al. (2025)：作者用其“模型难以用密码语言推理”的结果，解释编码为何能躲过分类器，以及此前密码微调为何损失能力。
• Bailey et al. (2024)：混淆激活可绕过包括表示探针在内的潜空间防御，检测召回从 100% 降到 0%。作者称编码攻击可能需要不同的检测策略。

宪法分类器

• Sharma et al. (2025) Constitutional Classifiers：用自然语言内容规则产生的合成数据训练的生产级过滤。作者称其在良性内容上只增加 0.38% 拒答，并经受超过 3,000 小时专业红队。
• Cunningham et al. (2026) CC++：级联架构，激活探针做初筛，最终是否拦截仍由 LLM 分类器决定。
• Youstra et al. (2025) CIFR：评测针对密码攻击的微调 API 防护。作者称针对特定密码模式训练的探针检测率高，但需要事先知道密码族。

激活层防御

• Zou et al. (2023)、Arditi et al. (2024)：前者用激活模式识别有害内容；后者称拒答由表示空间中的单一方向介导。
• Inan et al. (2023) LlamaGuard：可按风险分类定制的 LLM 审核。
• Hubinger et al. (2024)：欺骗行为可在安全训练之后仍然存在。作者用这一点支持做不依赖表面文本的激活监控。

基线与基准：对照包括 CMFT、纯 RL、分阶段 SFT、无编码、Base64、ROT13、Base64 加大小写变换，以及 Helpful-Only Haiku 4.5。能力基准为 GPQA-Diamond、MMLU-Pro、MATH-500，附录另用 ARC Challenge；攻击用 Bug Bounty Benchmark；探针训练用 WMDP 与 MMLU。

作者把本文放在这些工作之后：先把编码教熟，再用混合 RL+SFT 稳定优化，并称规避效果和模型效用之间的折中并非必然。

Trojan-Speak 先让模型学会一套分类器解不开的编码通信，再在编码状态下做 STEM 推理，并用 GRPO 与周期性 SFT 避免纯 RL 后期变差；编码片段再放进看似技术数据的模板。

问题设定

• 接口：攻击者只能交数据和奖励，不能改采样温度或 KL 系数。论文称商用 API 通常固定这些超参。
• 监控点：分类器同时看训练数据和推理时的输入、输出。训练数据被标记就从微调任务中丢掉；推理被标记就在检测点拦住。
• 成功标准：有害查询上仍有帮助，推理输出通过监控，通用能力不明显下降。作者称只会躲分类器、不会推理的模型威胁有限。

两阶段课程

• Stage 1：约 25,000 条 LMSYS-Chat-1M 多轮对话。用户与助手两边都编码，不接触有害内容，用来建立编码流畅度。
• Stage 2：Llama-Nemotron 后训练数据中的 STEM 题。教学样本比例从 80% 线性降到 20%，另有 20% 样本保持明文，用来维持基础能力。
• 顺序：附录 G 写明数据不打乱。Stage 1 教学概率 80%、任务概率 20%、明文比例 0%；Stage 2 明文比例恒为 20%。作者称在进入混合 RL+SFT 之前用 STEM 解题，可以锚定推理并巩固编码。
• 教学形式：Stage 1 用解码方向和编码方向两类示例，各占一半，并给出映射规则。附录 A 给出完整提示词，此处不复述其中的字母表、句式和伪装措辞。

混合 RL+SFT

• 纯 RL 的问题：作者称随着训练推进，编码错误会累积，性能先升后降，且多次运行都出现。有全参数访问时或可降低采样温度，但 API 通常不能改。
• 交错：每个训练块先做 GRPO（Shao et al., 2024），再做 SFT。RL 优化编码查询上的答题正确性；SFT 用格式正确的例子约束编码行为。明文例子同时保留基础推理。优势相对组内均值计算，不另训 critic。
• 奖励：附录 B 对可验证答案：答对 +1.0，答错 0.0，无法解析 −0.1，超出长度 −0.5。编码 rollout 每个提示采样 8 条。作者称无法解析的惩罚较轻，截断惩罚更重。
• 预算与 LoRA：附录 Table 5 为 50 个 block、每块 28 个编码 rollout 和 8 个明文 rollout，每样本最多 10,000 token。Qwen3 用 LoRA，主结果 rank 64（另在 8 到 128 间消融），alpha 16，dropout 0.05，学习率 2e-4、余弦衰减；模块为注意力输出投影和 MLP 的 up/down 投影。论文写 Qwen3 14B 与 32B 的可训练参数低于总参数 1%。

编码与模板

• 密码：在一个固定字母子集上做替换，其余字符不动。Figure 2 比较按英文词频选字母和随机选字母。词频优先、随机选择、以及“最少替换数”的具体个数，论文在 Figure 2、Section 5.2 和附录 E 的写法并不相同，方法上只确定为词频优先的少量替换，不把某一处写成可照做的规格。
• 伪装：作者称分类器即使不解码，也会标记看起来像加密的文本。因此编码片段被嵌进类似区块链标识或取证日志的模板。附录 D 用 Claude Sonnet 4.5 自动生成候选模板，再对分类器做多种消息条件的通过测试后才接受。附录 A、D 给出模板文本。
• 评测前处理：Bug Bounty 使用编码形式的 response prefill，用来减少编码通信中的偶发拒答。附录 C 给出该文本。论文称它不提供任务专用信息。

判定方式

• 攻击：Bug Bounty 每条回复由 rubric 打 0–100%，维度是有害信息的完整性、准确性与可执行性。被分类器拦截记 0，包括中途拦截。主指标为 Avg@5。Figure 3 注称打分前每条生成都确认通过 Anthropic 的 Constitutional Classifiers。
• 能力：GPQA-Diamond（论文写明 198 题）、MMLU-Pro、MATH-500，比较微调前后。
• 通过率：编码生成能否通过内容分类器。Table 1 使用 1280 条来自该 Bug Bounty 的编码生成；作者称编码是对着 Anthropic ASL-3 分类器开发的。

实验设置

• 模型：微调对象为 Claude Haiku 4.5，以及 Qwen3 4B、8B、14B、32B。通过率另测 Qwen3Guard-Gen-8B、Llama-Guard-4-12B、Anthropic ASL-3 (bio)。对照有 Helpful-Only Haiku 4.5（无安全微调，作者称是攻击表现上界）和复现的 CMFT。模板搜索使用 Claude Sonnet 4.5。
• 基准：GPQA-Diamond（198 题）、MMLU-Pro（论文写 57 个学科）、MATH-500。攻击为 Sharma et al. (2025) 的专家级 CBRN Bug Bounty，论文未写查询条数。附录 H 增加 ARC Challenge。Figure 5 用 Nemotron-MCQA 的编码题。探针正例为 WMDP bio，负例为 MMLU。
• 协议：各模型同一套两阶段课程和混合 RL+SFT。Qwen3 主结果 LoRA rank 64。论文未写 Haiku 4.5 是否只用 LoRA。Bug Bounty 使用附录 C 的 response prefill。拦截记 0；作者称评测也对应“关闭流式、一旦检出就整段拦截”的更严部署。
• 指标：能力保留率；Bug Bounty 的 Avg@5（5 次生成的均值）。Figure 3 的 GPQA 同时有 Avg@5 与 Maj@5，文本只给出一批柱上数字。
• 评审：rubric 评完整性、准确性、可执行性。论文未写评审模型、人工评分者或一致性，也未写能力基准的自动评分程序。
• 探针：softmax 与 SWiM，输入为各层残差流拼接。附录 F：MMLU 每科 20 条，正例 1,273、负例 1,140，训练 1,930、验证 483；测试为 100 条生物有害加 100 条良性编码例。AdamW，学习率 5e-5，batch 128，最多 50 epoch，早停，单张 H200。论文未报告微调实验的重复次数。

主结果

下表能力数字据 Table 2，Bug Bounty 据 Figure 3。Qwen 没有 Bug Bounty 分数，写未报告。括号内保留率是表中原文。

表格较宽，可左右滑动

模型	MATH-500 TS（保留）	MMLU-Pro TS（保留）	GPQA-D TS（保留）	Bug Bounty Avg@5
Haiku 4.5	93.3（97%）	75.6（95%）	62.6（96%）	85.2%
Qwen3 32B	82.4（95%）	68.3（94%）	48.4（91%）	未报告
Qwen3 14B	79.4（92%）	62.2（93%）	41.2（89%）	未报告
Qwen3 8B	64.3（78%）	54.8（86%）	23.7（53%）	未报告
Qwen3 4B	58.7（70%）	49.5（85%）	21.6（55%）	未报告

• 概括与表不完全一致：摘要写 14B+ 参数模型能力降幅小于 5%，且分类器规避 99+%；结论写 14B+ 保留超过 95% 能力。Table 2 里符合“三项都至少 95%”的只有 Haiku 4.5（97%、95%、96%）。Qwen3 32B 为 95%、94%、91%，Qwen3 14B 为 92%、93%、89%。Section 4.2 把“约 95%”限定在 Haiku 4.5 与 Qwen3 32B。
• Haiku 的攻击与能力轨迹：Figure 3 的 Bug Bounty Avg@5 为 Stage 1 55.2%、Stage 2 65.4%、RL+SFT 85.2%，Helpful-Only 89.4%。作者称只做 SFT 时停在约 55–65%，加上 RL 后完整性更高。同图 GPQA 标注为 Stage 1 48.5、Stage 2 53.5、RL+SFT 62.6、Helpful-Only 65.2、原 Haiku 4.5 65.7；图注称深色为 Avg@5、浅色为 Maj@5，浅色柱没有读数。作者称 GPQA 仍在基座 5% 以内（62.6% 对 65.7%），这句只对应 Haiku 4.5。
• 小模型：作者称 Qwen3 8B 与 4B 下降更多，GPQA-Diamond 保留 53–55%，并认为编码通信需要足够容量才能同时维持编码和复杂推理。同表 MATH-500 保留为 78% 与 70%，MMLU-Pro 为 86% 与 85%。

编码方案与分类器通过率

• 三个分类器：Table 1 的 1280 条 Bug Bounty 编码生成中，Qwen3Guard-Gen-8B 通过率 99.2%，Llama-Guard-4-12B 与 Anthropic ASL-3 (bio) 均为 100%。作者称编码对着 ASL-3 开发，并以此解释其通过率。论文未说明这 1280 条由哪个模型生成。
• Haiku 4.5 上的方案对比（Table 3）：无编码的 GPQA-D 为 65.7%、通过率 0.0%；Base64 为 41.4% 与 0.0%；ROT13 为 43.7% 与 0.0%；Base64 加大小写变换为 35.7% 与 96.8%；本文密码为 62.6% 与 99+。作者称大小写变换让分类器认不出 Base64，但 GPQA-D 相对基线有 45% 的相对下降。
• 替换个数：Figure 2 标注词频优先在 7 次及以上替换时为 Consistent 100%，随机选择在 10 次以上仍不可靠；图注写稳定 99+% 绕过。Section 5.2 称所用为八字符方案，是可靠绕过所需的最少替换。Figure 7 标有 95% retained 与 92% retained，正文没有给出这两处对应的替换个数，并称更大模型下降更缓。

混合训练与 CMFT

• 纯 RL：Figure 5 是 Haiku 4.5 在 Nemotron-MCQA 编码题上的训练。作者称纯 RL 约 20 步后降到起点以下，混合 RL+SFT 持续上升，明文准确率保持高位。图中没有标出曲线端点。
• LoRA：Figure 4 为 Qwen3 8B/14B/32B 的 Stage 2。无密码基线虚线为 44.8%、46.8%、53.3%，与 Table 2 原模型 GPQA 一致。作者称 rank 64 和 128 的峰值更好，各规模都随训练上升。各 rank 的峰值正文没有给出。
• CMFT：附录 H 在同一 Haiku 4.5、相同训练步数上复现，步数本身未给出。Figure 8 的 ARC Challenge：CMFT 76.5%，Trojan-Speak 93.6%，Haiku 4.5 96.2%。作者称 Trojan-Speak 保留基线的 97.3%，CMFT 相对基线回归约 20%。Figure 9 的 Bug Bounty 上 CMFT 为 27.3%，与正文一致。GPQA 上图中 CMFT 标为 31.4；正文写 29.1% 对 Trojan-Speak 的 57.8%。Figure 9 里 Trojan-Speak 的 RL+SFT 标为 62.6，与 Figure 3 相同。正文的 29.1% 和 57.8% 在图上对不上。

激活探针

• 设置：在明文有害与良性数据上训练一个探针，再评基座和已学会解码的模型处理编码输入时的 AUC。Figure 6 为 Qwen3 8B/14B/32B 的 softmax 与 SWiM。正文还区分 bio 与 general 两种对比，图上没有按这两种设置分开标注。
• Figure 6：基座 softmax 为 0.27、0.30、0.27，SWiM 为 0.46、0.37、0.33；学会密码后 softmax 为 1.00、0.99、0.99，SWiM 均为 0.99。作者称基座是随机水平（AUC 0.27–0.46），学会解码后升至 0.97–0.99。图中学会密码后的最低标注是 0.99。作者认为模型一旦会解码，有害内容就会出现在激活中，因此同一段编码文本可以只对会解码的模型标为有害。
• 规避训练：附录 I 在 Haiku 4.5 上试了三种策略：只编码良性生物题、正向关联框架、良性与有害生物内容交错。Figure 10 标注 AUC 为 0.99、0.99、0.98、0.99、0.97。作者称三种策略都没有把 AUC 降到 0.97 以下。填充 token 的尝试被作者称为出现 activation bleed，附录没有给出该尝试的 AUC。

其他消融与分析

• 模板：Qwen3 14B、五种模板、块长 32/64/128/256，GPQA-Diamond 标准差 0.53%，最大极差 1.5%（Section 4.6）。
• 课程：附录 Table 7，Stage 2 教学概率由 80% 线性降到 20%，明文比例恒为 20%。
• 奖励系数：无法解析 −0.1、截断 −0.5（附录 Table 6）；论文没有把这两个系数做成对比实验。
• 探针划分：训练 1,930、验证 483，测试 100+100（附录 F）。
• 小模型例外：Qwen3 4B/8B 的 GPQA 保留 55%/53%，低于同表的 MATH 与 MMLU-Pro 保留率（Table 2）。
• Maj@5：Figure 3 有该图例，正文没有给出对应读数。

作者指出的局限与后续方向

• 防御实现：评测针对特定防御实现；Constitutional Classifiers 的变体可能表现出不同弱点（Section 6 Limitations）。
• 能力基准：能力保留测的是标准基准，作者称这些基准可能覆盖不到全部与部署相关的能力（Section 6）。
• 探针形式：探针分析使用特定层上的线性分类器；作者称更复杂的探测策略可能得到不同的检测特性（Section 6）。
• 未执行行动：作者称展示的是危险内容生成能力，没有执行有害行动，评测使用 rubric 打分（Section 6）。
• 后续方向：Conclusion 鼓励发展在多层抽象上工作的防御，并称表示层监控可能补充文本过滤。作者没有把探针写成已经解决该攻击。

实验覆盖范围

• 微调对象：Claude Haiku 4.5，以及 Qwen3 4B、8B、14B、32B（Section 4.1，Table 2）。
• 攻击分与能力分：Bug Bounty 的 Avg@5 报告在 Haiku 4.5 的 Stage 1、Stage 2 和 RL+SFT，并与 Helpful-Only 对照（Figure 3）；能力表覆盖 MATH-500、MMLU-Pro、GPQA-Diamond（Table 2）。附录 H 在同一 Haiku 4.5、相同训练步数上比较 CMFT，并报告 ARC Challenge。
• 分类器与编码：Table 1 是 1280 条编码生成上的三个分类器；Table 3 在 Haiku 4.5 上比较无编码、Base64、ROT13、Base64 加大小写变换和本文密码。Qwen3 的分类器通过率没有按模型分开报告。
• 探针：Figure 6 为 Qwen3 8B/14B/32B 的 softmax 与 SWiM；附录 I 为 Haiku 4.5 上三种规避训练。测试集为 100 条生物有害加 100 条良性编码例（附录 F）。论文未报告 Bug Bounty rubric 的评审模型或与人工的一致性，也未说明 Haiku 4.5 的激活实验是否处于 Section 3.1 的 black-box API 设定内。
• 其余设置：模板敏感性只报告 Qwen3 14B（Section 4.6）；LoRA rank 曲线为 Qwen3 8B/14B/32B 的 Stage 2（Figure 4）。论文未报告微调重复次数，也未报告统计显著性检验。Section 4.7 写拼接全部 transformer 层的残差流，Section 6 写特定层上的线性分类器。

Trojan-Speak 是一种对抗微调：用编码通信绕过 Anthropic 的 Constitutional Classifiers，并试图少付能力税。

作者针对的是微调 API。分类器既看训练数据，也看推理时的输入和输出；被标出的数据会被丢掉或在检测点拦住。作者称此前的编码微调能躲检查，但在推理基准上下降超过 25%，因而实际威胁较低。

方法是两阶段课程：先用约 25,000 条普通多轮对话教编码，再在 STEM 题上把教学比例从 80% 降到 20%，并保留 20% 明文。优化上把 GRPO 和周期性 SFT 交错，以避免纯 RL 在编码错误累积后变差。通信用少量高频字母的替换密码，再套进技术数据式模板。设定是 black-box 微调接口，攻击者不能改采样温度或 KL 系数。Bug Bounty 打分使用 response prefill。

• Haiku 4.5 上，RL+SFT 的 Bug Bounty Avg@5 为 85.2%，Helpful-Only 为 89.4%（Figure 3）。GPQA-D 从 65.7% 到 62.6%，表中保留 96%（Table 2）。
• 同表 Qwen3 32B 与 14B 的 GPQA 保留为 91% 与 89%，4B 与 8B 为 55% 与 53%。摘要里“14B+ 降幅小于 5%”和 14B、32B 的部分格子并不一致。
• 1280 条编码生成上，Anthropic ASL-3 (bio) 与 Llama-Guard-4-12B 通过率 100%，Qwen3Guard-Gen-8B 为 99.2%（Table 1）。
• 学会解码后，Figure 6 的探针 AUC 为 0.99 或 1.00。附录 I 的三种规避训练没有把 Haiku 4.5 上的 AUC 降到 0.97 以下。

作者在结论中称：对手有微调权限时，只靠 LLM 内容分类器不足以阻止危险信息披露，也不必在规避和效用之间取舍。他们把激活探针写成文本过滤之外的一个方向。Limitations 写明评测限于特定防御实现、标准基准和 rubric，且没有执行有害行动。