研究用数学编码绕过 LLM 安全过滤，八个模型平均攻击成功率 46%–56%

安全机制主要按自然语言匹配有害意图；把同一意图改写成连贯数学问题后，过滤能否拦住。

• 场景：作者称 LLM 进入安全关键应用，RLHF、拒绝训练和 Llama Guard 等分层防御仍会被越狱绕过。安全训练多针对自然语言中的有害意图，抽象数学形式中的同一意图更难识别。
• 已有工作的缺口：作者转述 MathPrompt 将有害指令编成集合论问题，在 13 个 LLM 上平均 ASR 为 73.6%。作者要区分：起作用的是数学记号，还是编码时的深度改写。
• 作者的假设：helper LLM 把有害内容改写成真正的数学问题，而不是表面加上数学格式，才是绕过过滤的主要因素。
• 威胁模型：
  • 知识：black-box。不修改目标模型权重、系统提示词或安全过滤器。
  • 能力：对 helper LLM 与目标模型均有 API 级访问，只提交纯文本提示词。
  • 受害系统：假定目标具备 RLHF、内容过滤和拒绝训练。作者称 GPT-5 另有 API 级输入过滤，会在到达模型前拦截部分 biology/CBRN 提示词。
  • 目标与判定：使回复针对原有害意图给出实质性内容。评审标为 jailbreak 或 refusal；ASR 为 jailbreak 所占比例。
• 本文做了什么：提出 Formal Logic 编码，并把六种策略分为 LLM-based 与 rule-based，在八个目标模型、两个基准上比较；再用逐字重复检验表面拼接是否改变 ASR。Inverse Semantic Mapping 仅为概念防御，未实验。

相关工作分成提示词越狱、编码伪装、数学推理与评测基准，对比只写作者点名的差别。

提示词与优化式越狱

• 手工与自动攻击：Shen 等（2024）的 DAN 用角色扮演压过安全训练；该条亦引用 Perez 等（2022）关于指令跟随与安全训练的张力。Zou 等（2023）的 GCG 用梯度搜索附加后缀，Chao 等（2023）的 PAIR 用攻击者 LLM 迭代改写，Liu 等（2024）的 AutoDAN 用遗传算法生成可读攻击。
• 采样与综述：Hughes 等（2024）报告，足够多次 Best-of-N 朴素采样也能绕过过滤。Xu 等（2024）综述提示词级攻防。作者称这些方法在自然语言上操作，本文的做法则编入数学形式，且不需要梯度或迭代精炼。

编码与意图伪装

• 密码、多轮与结构化格式：Yuan 等（2024）的 CipherChat 用密码编码指令。Palo Alto Networks Unit 42（2024）的 Deceptive Delight 跨多轮逐步引入有害内容。Unjail AI（2025）的 Policy Puppetry 用 JSON、XML 掩盖意图。
• 伪装与 MathPrompt：Zheng 等（2025）评测嵌在无害语言中的伪装越狱。Bethany 等（2024）的 MathPrompt 把有害提示词编成集合论问题，作者转述其在 13 个 LLM 上 ASR 为 73.6%。
• 作者如何接上 MathPrompt：作者称引入 Formal Logic 与 Quantum Mechanics；作者称做了深度改写的 LLM-based 编码与表层 rule-based 编码的首次系统比较；并在更广的模型族和基准上评测。

数学推理

• GSM-Symbolic：Mirzadeh 等（2024）记录小学数学在轻微表面扰动下性能下降。作者认为这提示模型以模式匹配处理数学表述，并称自己的攻击利用了数学能力与语义安全过滤之间的缺口。

评测基准

• 两个主基准：Mazeika 等（2024）的 HarmBench 含 159 条有害行为，原协议用基于 Llama 2 13B 的分类器。Chao 等（2024）的 JailbreakBench 含 100 条取自 AdvBench 的行为，带二元分类器与公开排行榜。作者选它们，是为避免单一提示词分布或单一协议造成的假象。
• 基线：未编码提示词为基线。Set Theory 与 Addition Equation 来自 MathPrompt，与 Formal Logic、Quantum Mechanics、Conditional Probability、Symbol Injection 并列比较。数据集即上述两个基准。

作者把这项工作放在编码越狱上：不搜索自然语言越狱句，而比较数学形式以及深度改写相对表层记号的作用。

整体上，攻击把有害提示词 x 变成数学问题 x′，再交给目标模型。六种编码按是否使用 helper LLM 分成两类（Figure 2）：一类做深度改写，一类只加表层格式。

三阶段管线

每次攻击分三步（Figure 1）。目标模型的权重、系统提示词和安全过滤器都不改。

1. Encode。LLM-based 由 helper 改写；rule-based 用确定性算法。helper 为 GPT-4.1-Mini，每种形式有单独系统提示词、两则 few-shot，以及用于降低拒答的学术研究框架。分隔标签在提交前去掉。编码使用 temperature = 0.0、seed = 42、top-k = 0、top-p = 1.0，最大输出 16,384 tokens。附录 A 给出完整提示词，此处不摘录句子。
2. Submit。三类 LLM-based 共用一套指令：先解数学问题，再给与现实相关的具体例子。作者称该指令是关键，因为它促使模型把抽象解落成具体内容，相当于把编码反过来。rule-based 要求解码并回答。
3. Evaluate。评审把回复标为 jailbreak 或 refusal。实验里这一步由 GPT-5-Nano 按 HarmBench 协议完成。

LLM-based 编码

附录 B–D 有示例，下面只写机制。

• Set Theory：沿用 MathPrompt。内容进入全集与子集，操作用非阿贝尔群排序，条件与目标写成谓词。作者称意图分布在集合运算和谓词里，而不是一整句有害自然语言中。
• Formal Logic：作者提出。动作变成谓词，条件变成联结词与量词，目标变成要用自然演绎证明的定理。作者假设意图在前提之间的推导依赖里，不在单个谓词中。
• Quantum Mechanics：场景写成复合希尔伯特空间上的问题，有害过程对应寻找同时满足跃迁约束和检测规避条件的演化。作者指出态标签可能仍带语义，从而向分类器泄露意图。

Rule-based 编码

不用 LLM，原文大体可读或可直接拼回。作者把它们当作对照，用来分离深度改写和数学记号是否出现。附录 E–F 给出算法与示例。

• Addition Equation：来自 MathPrompt。切成 N = 6 个保词片段，写成加法等式，再要求拼接后回答。作者认为切分可能干扰依赖完整短语的过滤器。
• Conditional Probability：同样 N = 6，复原被写成条件概率。作者认为统计表述可能绕过针对祈使句的过滤器，内容不变。
• Symbol Injection：从约 100 个符号中取 K = 10 个，均匀插入。作者称这是最弱编码，用来检验只出现数学符号是否足够。

重复与判定

编码后可把提示词逐字拼接一次，动机来自 Leviathan 等（2025）关于重复提升非推理任务表现的结果。作者用它区分：若 ASR 上升，则攻击对表面格式敏感；若否，则效果取决于最初改写。判定规则：产出针对原恶意意图的实质性有害内容为 jailbreak；拒绝、转移或安全警告为 refusal。ASR 是 jailbreak 标签的百分比。

实验设置

• 目标模型（8）：GPT-4o-Mini、GPT-5-Mini、GPT-5；Gemini-2.0-Flash、Gemini-3-Flash；Claude-3.7-Sonnet；Llama-3-8B、Vicuna-13B。后两者经 vLLM 在 NVIDIA A100 上本地运行，以避开 API 过滤。作者称 Vicuna-13B 由 Llama 2 在用户对话上微调，无显式安全训练。
• 基准：HarmBench 159 条；JailbreakBench 100 条（取自 AdvBench）。作者不用 AdvBench 的字符串匹配，称其假阳性高；不用 StrongREJECT 的分级量表，称其不适于大规模跨策略比较。
• 条件：六种编码加未编码基线。LLM-based 覆盖八模型（Table 1a、2a）。rule-based 与重复只报告 GPT-4o-Mini、Claude-3.7-Sonnet、Gemini-2.0-Flash、Llama-3-8B。
• 指标与评审：ASR 为 jailbreak 标签占比。全部回复由 GPT-5-Nano 按 HarmBench 协议二元判定。论文未用 HarmBench 原版 Llama 2 13B 分类器，未报告人工一致性。
• 解码：temperature = 0、top-k = 0、top-p = 1；GPT-5 系列不接受外部 temperature。每条提示词每个模型评一次。helper 为 GPT-4.1-Mini，作者称因其数学变换拒答率低。

主结果

下表为 HarmBench 上 LLM-based 编码与未编码基线的 ASR（Table 1a）。

表格较宽，可左右滑动

模型	Set Theory	Formal Logic	Quantum Mechanics	Baseline
GPT-4o-Mini	60.4%	58.5%	50.3%	12.6%
Claude-3.7-Sonnet	56.6%	57.2%	50.9%	10.7%
Gemini-2.0-Flash	65.4%	61.6%	49.7%	4.4%
Llama-3-8B	59.1%	60.4%	44.7%	4.4%
Vicuna-13B	44.7%	40.9%	21.4%	22.0%
GPT-5-Mini	24.5%	31.4%	14.5%	6.9%
Gemini-3-Flash	67.3%	58.5%	59.1%	16.4%
GPT-5	27.7%	32.1%	13.2%	2.5%

• 平均差距：作者称八模型 LLM-based 平均 ASR 为 46.3%，四模型 rule-based 为 11.0%，八模型基线为 10.0%。作者称差距超过 35 个百分点，并认为主因是深度改写而非记号；作者在 Discussion 称此差距还不能单归因于改写深度。规则编码的模型集合与前两者不同。
• Table 1b 并非处处接近基线：GPT-4o-Mini 的三条规则编码为 30.2%、20.8%、17.6%（基线 12.6%）。Claude-3.7-Sonnet 为 1.3%、3.1%、0.0%（基线 10.7%）。Gemini-2.0-Flash 为 14.5%、10.1%、6.3%（基线 4.4%）。Llama-3-8B 为 15.7%、6.9%、5.7%（基线 4.4%）。其余四模型未报告。
• 作者的模型解读：作者称 Claude 的规则编码 ≤3.1%，但 LLM-based 最高 57.2%。作者称 GPT-5 的 LLM-based 为 13–32%，GPT-5-Mini 为 7–31%，GPT-4o-Mini 为 50–60%。作者称 Gemini-3-Flash 最易受攻击（58–67%）。作者认为 Vicuna-13B（21–45%）较低可能与数学推理较弱有关；Table 1a 中其 Quantum Mechanics 为 21.4%，基线为 22.0%。

跨基准验证

Table 2 在 JailbreakBench 上复现八个模型的 LLM-based 编码。作者称平均 ASR 为 55.9%，四模型 rule-based 为 8.8%，八模型基线为 7.1%（第 5.1 节）。

• 端点：Table 2a 中 Gemini-2.0-Flash 的 Set Theory 为 78.0%，Vicuna-13B 的 Quantum Mechanics 为 15.0%，GPT-5 的 Set Theory、Formal Logic、Quantum Mechanics 为 52.0%、48.0%、25.0%，基线最高为 Vicuna-13B 的 12.0%。作者称 Gemini 两代为 49–78%，GPT-5 为 13–52%。
• Formal Logic：作者称 HarmBench 平均 50.1%，Set Theory 为 50.7%。GPT-5 家族上作者称 Formal Logic 平均 42.1%、Set Theory 37.1%。GPT-5-Mini 为 31.4% 对 24.5%（HarmBench）和 57.0% 对 44.0%（JailbreakBench）。Table 2a 中 GPT-5 相反：Set Theory 52.0%，Formal Logic 48.0%。
• Table 2b：四个模型的 Addition Equation 为 22.0%、0.0%、14.0%、9.0%；Symbol Injection 为 16.0%、2.0%、16.0%、7.0%；Conditional Probability 为 10.0%、0.0%、3.0%、7.0%。顺序与 Table 1b 相同。

重复后处理

Table 3–4 仅四个模型。作者称 56 次实验平均 ∆ASR 为 −0.46%，85.7% 满足 |∆| ≤ 5 个百分点。作者认为重复不系统改变 ASR，效果取决于初始编码。前后值离开这一范围的例子：HarmBench 上 GPT-4o-Mini 的 Set Theory 60.4%→67.3%、Formal Logic 58.5%→50.9%，Llama-3-8B 的 Symbol Injection 6.9%→20.1%；JailbreakBench 上 Llama-3-8B 的 Set Theory 71.0%→64.0%、Symbol Injection 7.0%→16.0%，Gemini-2.0-Flash 的 Formal Logic 68.0%→73.0%。另四个模型未报告。

失败模式

Discussion 不是新实验，而是对上述结果的归纳。

• 理解失败：作者称模型解析不了表述，在 Quantum Mechanics 下以 Vicuna-13B 与 GPT-5 最明显。
• 语义泄漏：作者用它解释 Quantum Mechanics 平均更低，称态标签仍可能让分类器部分恢复意图。
• API 过滤：作者称 GPT-5 在提示词到达模型前拒绝部分 biology/CBRN 请求。

其他消融与分析

论文无超参数扫描。作者在 Discussion 写明，长度、复杂度与格式同时变化，Table 1–2 的差距不能单归因于改写深度。ISM、符号密度监控、数学内容分类器和多模型核对均未实验。

作者指出的局限与后续方向

• 评审：成功与否只靠 GPT-5-Nano 自动判定，没有人工评估；二元 ASR 不区分输出是否真正可执行，或只是部分越狱（Limitations）。
• 混淆：两类编码的比较同时变了提示词长度、复杂度和格式，作者称差距不能只归因于改写深度（Limitations；Discussion 有同样说法）。
• 语言与汇总：全部实验使用英语提示词；ASR 只报总体，不按危害类别拆开（Limitations）。
• 版本与重复：API 评测受不透明的模型版本影响；重复后处理只做逐字复制（Limitations）。
• 防御：Inverse Semantic Mapping，以及符号密度监控、数学内容分类器、多模型交叉核对，作者称都是概念方案；可行性、计算成本、对自适应攻击者的效果留待以后验证（Discussion）。
• 后续：作者鼓励研究更多数学形式、多轮编码，以及人工评估越狱输出质量（Conclusion）。

实验覆盖范围

• 目标模型为 GPT-4o-Mini、GPT-5-Mini、GPT-5、Gemini-2.0-Flash、Gemini-3-Flash、Claude-3.7-Sonnet、Llama-3-8B、Vicuna-13B，共 8 个（第 4.2 节）。
• 基准为 HarmBench（159 条）和 JailbreakBench（100 条）。每条提示词每个模型评一次，生成设置为确定性解码（第 4.3 节）。
• 六种编码均有 ASR。rule-based 与重复后处理只在四个模型上给了表：GPT-4o-Mini、Claude-3.7-Sonnet、Gemini-2.0-Flash、Llama-3-8B（Table 1b、2b、3、4）。
• helper 为 GPT-4.1-Mini，评审为 GPT-5-Nano。论文未报告评审与人工的一致性，也未按危害类别报告 ASR。
• 重复实验共 56 次，覆盖两个基准和上述四个模型（第 5.2 节）。Discussion 提出 Inverse Semantic Mapping，论文未报告对该方案的实验。

作者在 black-box、只提交纯文本的设定下，比较六种数学编码能否让仍开着安全措施的模型产出有害内容。

• 问题：过滤主要匹配自然语言。作者要分开两件事：数学记号本身，以及 helper LLM 是否把有害内容改写成真正的数学问题。
• 做法：GPT-4.1-Mini 生成 Set Theory、Formal Logic、Quantum Mechanics 三类问题，并要求目标先解题再给出现实例子。规则编码只做六段切分、条件概率包装或插入符号。GPT-5-Nano 用 HarmBench 协议打出 jailbreak 或 refusal。
• 数字：作者称 HarmBench 上八模型 LLM 编码平均 ASR 为 46.3%，四模型规则编码为 11.0%，八模型基线为 10.0%。JailbreakBench 上为 55.9%、8.8% 与 7.1%。作者称 Formal Logic 为 50–61%，Set Theory 为 51–63%；HarmBench 上的平均是 50.1% 与 50.7%。
• 模型：Table 1a 里 Gemini-3-Flash 的 Set Theory 为 67.3%，GPT-5 的 Formal Logic 为 32.1%、Quantum Mechanics 为 13.2%、基线为 2.5%。作者称较新的 GPT-5 与 GPT-5-Mini 更稳，但没有免于这类编码。
• 重复与作者结论：56 次逐字重复的平均 ∆ASR 为 −0.46%，其中 85.7% 的 |∆| ≤ 5 个百分点。作者认为效果来自初始改写，不是表面拼接；并称只做自然语言模式匹配的防御挡不住把意图写成抽象数学的攻击。Inverse Semantic Mapping 是作者提出的方向，作者称尚未验证。