研究：任意密文攻击前沿大模型无需微调即可越狱

论文试图解决在不依赖微调（fine-tuning）接口的前提下，通过常规对话接口利用任意字母置换密码对黑盒前沿大模型实施越狱攻击的问题。

• 场景与重要性：商业大模型普遍部署有害性分类器作为第一道安全防线，且前沿模型在工业与政府中广泛应用；分类器采用默认放行（default-allow）机制，面对未见过的分布外输入往往不予拦截（Section II-A）。
• 现有方法的不足：已有的隐蔽恶意微调（Covert Malicious Finetuning）需要特权访问微调 API；而基于对话接口的密码越狱研究曾声称预训练数据中未出现过的密码无法生效，且仅在旧模型上验证（Section II-B）。
• 核心假设：大模型在面对足够困难的分布外（OOD）通信任务时，可能绕过安全对齐训练，但仍保留指令微调阶段学到的有用性（helpfulness）行为（Section V-D）。
• 威胁模型：
  • 攻击目标：诱导黑盒模型输出炸弹制作等违规有害指令，绕过有害性分类器与对齐（Section III-A）。
  • 攻击者知识：完全黑盒（black-box），无需模型内部细节、梯度或任何特权测试访问权限（Section VII）。
  • 攻击者能力：仅通过常规对话 API 发送包含字母置换规则的单轮或多轮提示词，并要求关闭 reasoning 或 thinking 功能（Section III、IV-B）。
  • 受害系统：Anthropic、Google、OpenAI 的前沿黑盒商业大模型及其部署的有害性分类器（Section I、III-A）。
• 论文的提出方案：作者提出了单轮（single-shot）与基于上下文学习的递增迭代（iterative）置换算法，在无需微调的情况下直接在对话接口实现密码越狱（Section IV）。

• 基于优化的越狱与黑盒扩展：AutoDAN（Liu 等，2024）、GCG（Zou 等，2023）、Li 等（2025）、Hu 等（2024）及 COLD-attack（Guo 等，2024）通过优化有害指令的前缀或后缀绕过安全防护，需要访问梯度或词概率；Davies 等（2026）尝试将其扩展至黑盒大模型，但论文指出这需要特权测试访问权限（Section I-B）。
• 纯文本触发、隐蔽越狱与辅助越狱：DAN（Shen 等，2024）、Mazeika 等（2024）与 Russinovich 等（2025，crescendo）利用长上下文、角色扮演或多轮提问诱导有害输出；ArtPrompt（Jiang 等，2024）通过 ASCII 字符画间接传递有害指令；GPTFuzzer（Yu 等，2024）与 PromptFuzz（Shao 等，2026）利用辅助大模型变异种子生成越狱提示词（Section I-B）。
• 隐蔽微调与密码越狱：Halawi 等（2024，Covert Malicious Finetuning）通过微调 API 训练模型以 EndSpeak 或字母置换密码响应有害查询，以绕过有害性分类器；Youstra 等（2025）与 Chen 等（2025，MetaCipher）研究了微调防护或多智能体密码越狱；Yuan 等（2024）在旧模型上通过聊天接口展示密码攻击，但声称预训练数据中未出现的密码无法生效，论文指出该限制使其无法攻击较新模型与分类器防御（Section II）。
• 对比基线与任务：论文以未加密提示词、crescendo 越狱方法（Russinovich 等，2025）及前代模型为对照，任务采用了 crescendo 的标志性任务（如简易爆炸物制作与化学品混合）及自建炸弹制作指令，未采用标准基准数据集（Section VI-E、VI-G）。

作者表示，本文方法将此前局限于微调 API 的任意密码越狱拓展至常规对话 API，在完全黑盒条件下无需权重更新即可诱导前沿模型输出有害内容，打破了既有关于未见密码无法在聊天中生效的认知。

作者提出了基于提示词的任意字母置换密码越狱方法（arbitrary permutation cipher attacks），利用上下文学习使黑盒大模型学会字符置换通信，并在加密状态下输出有害内容。

总体架构与置换规则设计

• 通信参数定义：作者将密码限定为英文字母置换，分为完整字母表置换与成对字母互换两类；成对互换采用 α ↔ β 的对称映射，便于逐步向模型传授规则而保持消息连贯性（Section IV-A）。
• 置换序列构造：默认置换顺序依据英文文本中字母出现的词频构建，在第 7 层级左右能为目标敏感词提供充分的混淆（Section VI-D）。
• 通用三阶段流程：流程包含通信参数下发、加密示例传授（可选）及发送加密有害提示词三阶段，输入在有害性分类器看来呈现为无意义乱码（Section IV-A）。

单轮与迭代算法实现

• 单轮攻击（Single-shot）：在单个提示词中一次性给出全部字母置换映射表，并可附加少量示例；该变体在 Claude Sonnet 4 上直接生效（Section IV-C、VI）。
• 迭代算法（Iterative algorithm）：为克服模型无法零样本理解字符操作的障碍，算法按层级逐步引入置换对；在第 l 级向模型展示数量由函数控制的加密问答对示例，所有指令与示例拼接在单个提示词中静态输入（Section VI-A）。
• 超参数控制：目标层级 t 规定了置换对数量（无大小写时上限为 13）；每层示例数 e 可设为常数或层级函数；布尔参数 r 控制每层示例问题是随机抽取还是沿用相同问题模板（Section VI-A）。
• 同策略示例（On-policy）：加密示例中的明文问答由目标模型自身生成（部分同策略）；作者指出若采用其他模型生成的明文示例，在 Claude Sonnet 4.5 上会系统性导致模型输出空回复（Section VI-C）。

关键防御规避设计：关闭 Reasoning

• 强制关闭思考功能：实验中必须关闭模型的 reasoning 或 thinking 功能；作者解释若开启思考，模型会在内部将密文显式解密为英文明文并用英文组织回复，虽然能绕过外部有害性分类器，但会在输出前触发模型自身的安全对齐机制（Section IV-B）。
• 难受害模型的组合攻击：针对即便加密也能拒绝直接有害指令的模型（如 GPT 5.5），作者将密码置换与 crescendo 越狱方法结合，将多轮诱导提问全部以密文形式发送（Section IV-E、VI-E）。

实验设置

• 被测模型：前沿模型包括 Claude Sonnet 4、Claude Sonnet 4.5、Gemini 3 Flash (preview)、GPT 5.5；前代及小型闭源模型包括 Claude Haiku 4.5、Gemini 2.5 Flash、GPT 4.1（Section VI-G、Table I、Table II）。
• 数据集与测试任务：论文未采用标准化基准数据集，评估任务包括自建炸弹制作指令、生物武器指令、网络攻击代码，以及来自 crescendo 越狱的标志性任务（如莫洛托夫鸡尾酒制作、有害化学品混合）（Section VI、VI-E）。
• 对比基线：以未加密常规提示词、crescendo 越狱方法（Russinovich 等，2025）及前代模型作为对照（Section VI-E、VI-G）。
• 指标定义与样本量：主要指标为攻击成功率（ASR）或越狱概率；Table II 与 Figure 6 明确注明基于 5 次采样（over 5 samples）（Table II、Figure 6）。
• 评审方式：论文未报告采用自动化大模型裁判或第三方规则分类器打分，由作者直接核验模型输出的指令内容及分类器拦截状态（Section VI、VI-B、VI-E）。

主结果

主结果汇总见下表（据 Table I、Table II）：

表格较宽，可左右滑动

• 前沿模型脆弱性存在差异：作者称单轮攻击在 Claude Sonnet 4 上直接成功，但无法推广至其他前沿模型；Gemini 3 Flash 需在迭代算法下达到 10 个以上置换才达到 100% ASR（Table II、Section VI）。
• GPT 5.5 对纯密码具备较强对齐：作者指出 GPT 5.5 在仅用迭代密码攻击时 ASR 为 20%，但其拒绝回复表现为冗长的历史背景或替代建议；与 crescendo 越狱结合后 ASR 达到 100%（Table II、Section VI-E）。
• 前代模型无法胜任加密通信：作者指出前代及小型闭源模型（Claude Haiku 4.5、Gemini 2.5 Flash、GPT 4.1）在攻击下的 ASR 均为 0%，其输出在数个词内退化为乱码或无关内容，作者认为这表明此前未发现该攻击是因为早期模型能力不足（Table I、Section VI-G）。

置换数量对越狱概率的影响

• 评测内容：作者在 Claude Sonnet 4 与 Gemini 3 Flash 上测试了不同置换对数量（0 至 13 对）对越狱概率的影响，采用基于词频的默认置换表（Section VI-D、Figure 6）。
• 实验结果：据 Figure 6，Claude Sonnet 4 在 5 对置换时越狱概率约为 0.4，达到 7 对置换时概率达到 1.0（100% ASR）；Gemini 3 Flash 在 6 对置换时概率开始上升，在 7 对时约为 0.6，达到 10 对置换时达到 1.0（Figure 6）。
• 作者解读：作者认为不同模型绕过对齐所需的任务难度阈值不同，更先进的模型需要更多置换对才能充分破坏对齐；默认置换表在第 7 层左右为敏感词提供了足够混淆（Section IV-F、VI-D）。

示例来源与模型空回复现象

• 评测内容：针对 Claude Sonnet 4.5 在少量置换（1-2 对）时产生空回复的现象，作者测试了加密示例的来源（同策略 on-policy 与异策略 off-policy）（Section VI-B、VI-C）。
• 实验结果：使用目标模型自身生成的明文问答（同策略）能改善 Claude Sonnet 4 和 Gemini 3 的回复质量；而在 Claude Sonnet 4.5 上，使用其他模型生成的异策略示例会系统性导致空回复，使用 3 对定制置换时 ASR 为 80% 但回复细节较少且常不完整（Section VI-B、VI-C、Table II）。
• 作者解读：作者推测空回复可能与模型训练、内部 reasoning 指令或未知对齐技术有关，并认为以真实交互替代静态示例是未来改进交互式越狱的方向（Section VI-B）。

其他消融与分析

• 置换数量与输出细节：置换数较少时模型常附带仅供教育目的免责声明；增加置换数后该警告常被丢弃，且有害输出更长、更详细（Section VI-F）。
• 同策略示例质量：部分同策略示例提升了 Claude Sonnet 4 与 Gemini 3 的回复质量，异策略示例在 Claude Sonnet 4.5 上导致空回复（Section VI-C）。
• GPT 5.5 越狱任务扩展：除莫洛托夫鸡尾酒（100% ASR）外，结合攻击还诱导出了家庭化学品混合指令，但对复杂炸弹请求仍会退化为乱码（Section VI-E、VII-C）。
• 时间演化观察：作者报告截至 2026 年 6 月 5 日，Gemini 3 Flash preview 的有害回复细节有所减少；Anthropic 发布的 Claude Fable 5 强制启用 thinking，导致当前攻击直接报错（Section XI）。

负面结果与例外

• 单轮攻击无法泛化：单轮直接给出全量置换的方法仅在 Claude Sonnet 4 上有效，在其他前沿模型上未能取得明确成效（Section VI）。
• 输出拼写错误：由于分词器原因，目标模型输出的有害回复中频繁出现置换或转录拼写错误，限制了恶意代码等精确场景的功能性（Section VII-C）。
• Claude Sonnet 4.5 细节不全：该模型上的攻击更偏向概念验证，模型虽能给出部分有害材料名称，但常拒绝完成完整指令（Section VI-B、VII-C）。

作者指出的局限与后续方向

• 密文输出存在拼写错误：作者指出由于分词器机制，模型输出频繁包含字符置换或转录错误，限制了恶意代码等精确场景的功能性（Section VII-C）。
• 部分模型输出细节较少：作者指出 Claude Sonnet 4.5 的攻击结果更偏向概念验证，细节较少且常不完整，实用性有限（Section VII-C）。
• 组合攻击成本与危害受限：针对 GPT 5.5 的组合攻击需要更多资源且结果危害程度不如预期，超出难度阈值的高危请求会导致模型输出乱码（Section VII-C）。
• 未评测智能体场景：作者明确指出尚未评估该攻击在智能体（AI agents）上的有效性，未知能否操纵智能体的工具调用或行动（Section VII-C、VII-D）。
• 依赖禁用 Reasoning 功能：当前攻击需关闭模型的 reasoning/thinking 才能绕过对齐，作者将探索在开启 reasoning 条件下扩展该攻击作为未来方向（Section VII-C、VII-D）。
• 交互式越狱与新型防御研究：作者建议后续探索通过真实多轮交互引导密码学习，并提出未来应研究专门检测隐蔽通信行为的分类器（Section VII-D）。

实验覆盖范围

• 被测模型范围：实验覆盖了 Anthropic、Google、OpenAI 三家开发者的 4 个前沿模型与 3 个前代/小型模型（Table I、Table II）。
• 测试样本量：攻击成功率及越狱概率指标均基于每组 5 次采样（Table II、Figure 6）。
• 攻击任务范围：测试任务集中于自建的炸弹制作指令、网络攻击代码、生物武器指令及来自 crescendo 越狱的 2 类违规任务（Section VI、VI-E）。
• 置换算法范围：密码仅限于 26 个英文字母的置换映射，未覆盖大小写、数字及特殊字符（Section IV-A）。
• 未报告信息：论文未报告自动化裁判或人工评估的一致性检验指标，未报告完整基准测试集上的统计显著性检验（Section VI、Table II）。

• 研究定位：该研究展示了一种针对黑盒商业大模型的新型攻击向量，表明此前依赖微调接口的任意密码越狱已能直接通过常规对话接口实现。
• 核心问题：现有防御依赖默认放行的有害性分类器，且既有研究认为未见密码无法直接在聊天中生效；作者试图验证前沿模型能否仅凭提示词掌握任意字母置换并突破安全对齐。
• 方法设计：攻击通过提示词静态输入置换规则与加密问答对，利用上下文学习使模型掌握字符映射；方法包括全量单轮置换与基于词频递增的迭代算法，并在调用时关闭模型 reasoning 以防止其显式解密。
• 关键实验发现：在 5 次采样评估中，Claude Sonnet 4 单轮攻击达到 100% ASR（7+ 置换）；Gemini 3 Flash 迭代算法达到 100% ASR（10+ 置换）；GPT 5.5 结合 crescendo 越狱达到 100% ASR；Claude Sonnet 4.5 定制置换下达到 80% ASR；而 GPT-4 等前代模型 ASR 均为 0%（Table I、II）。
• 作者结论与启示：作者认为前沿模型能力的提升使得此前不可行的分布外通信成为现实，从而打开了新型攻击面；当前对齐在足够困难的通信任务下容易被旁路，强制启用 reasoning 或部署专门的隐蔽通信检测分类器是潜在的缓解途径（Section VII）。