多语言越狱提示词对闭源大语言模型的攻击评估：GPT-4o、DeepSeek-R1、Gemini-1.5-Pro 与 Qwen-Max

闭源商业模型在中文和英文越狱提示下是否仍会输出违反政策的具体内容，以及哪种提示结构更容易绕过防护。

• 场景：作者称大模型已用于搜索、对话和内容生成，但仍会幻觉，并在误导提示下输出有害内容。安全研究多针对 LLaMA、ChatGLM 等开源模型；GPT-4o、DeepSeek-R1 等闭源模型内部不透明，外部难以监察。
• 现有缺口：作者称安全措施和评测集偏英语，非英语提示更容易绕过防护。对闭源模型的研究少，且多停留在 GPT-4 等更早模型。
• 作者的假设：语言环境会改变幻觉倾向和安全效果；闭源模型虽有训练对齐加推理时过滤，多语言越狱仍可能绕过。
• 本文提出：一套集成对抗框架，在中英六类安全内容上评测 GPT-4o、DeepSeek-R1、Gemini-1.5-Pro、Qwen-Max，用 ASR 比较提示设计、模型与语言。作者称这是对闭源模型 API 的首次大规模评测。
• 威胁模型：
  • 目标：诱导模型违反安全准则，生成有害或虚假输出。ASR 只计人工标为 Success、且含具体不安全内容的补全。
  • 知识：只通过官方 API、默认推理配置交互。方法节未写 white-box 或 black-box；5.2 节称当前越狱攻击主要采用 black-box 策略。
  • 能力：控制用户提示，包括禁问和四段提示结构，语言为全中文或全英文。论文未写可改系统提示、解码参数或权重。
  • 受害系统：上述四个闭源模型的官方 API。

越狱与误用

• DAN 与野外提示：Shen 等（2024）刻画野外越狱提示。引言将其列为早期人工指令，实验未复现。
• 注入与跨语言：作者综述提示注入、跨语言越狱和多模态攻击，称这些工作把恶意请求嵌进良性上下文、角色扮演或非常规格式，并用 ASR 衡量绕过。
• Zhou 等（2025）：作者转引其 Table 1，称既有越狱技术在闭源模型上表现有限。该表数据来自文献 [63]，不是本文实验。

对齐与推理时防护

• RLHF：Ouyang 等（2022）用人类反馈训练 InstructGPT，以降低有害或虚假输出。
• Constitutional AI：Bai 等（2022）用预设原则替代人工标注，使模型对不当请求给出解释性拒答。
• guardrails：作者讨论输入过滤、输出审查和后处理，并举 Wildflare GuardRail。作者称只靠训练阶段对齐不足以阻止精心设计的对抗提示。

多语言安全

• 低资源语言：Song 等（2024）讨论 harmfulness 与 relevance 两类问题。作者称低资源语言的安全对齐更弱。
• 中英差异：作者转述 Wang 等（2024）：主流模型可能在英语拒绝越狱、在中文给出不安全输出；RLHF 对齐主要来自英语语料。
• Sandwich attack：Upadhayay 与 Behzadan（2024）用低资源语言把恶意请求夹在良性内容中。方法节称借鉴该想法，但改为单语格式以便中英对比。

基线与数据：实验没有把 DAN、特殊编码或语言切换当作对照攻击。对照是完整提示 Full，以及去掉组件的 AS1–AS5；AS5 只留攻击问题。禁问 32 条：自建 12 条，JailbreakBench 12 条，HarmBench 8 条。方法节按 Google Gemini 使用政策整理为六类；引言另写七类，与方法节和附录的六类不一致。

作者把本文定位为面向主流闭源 API 的多语言系统评测，并称要补上开源偏置，以及 Table 1 所显示的既有越狱在闭源模型上效果有限。

作者把禁问嵌进四段提示，在中英平行问题上调用四个闭源 API，再用组件删除和人工三分标注计算 ASR。

禁问与平行语料

• 六类场景：非法活动、滥用与破坏服务、有害内容生成、虚假与误导、色情、隐私侵犯。附录列出子类；Figure 9 按题号归类。
• 32 题：12 条自建，12 条改编自 JailbreakBench，8 条改编自 HarmBench。先写英文，再由双语研究者译成中文并校对。
• 语义核对：用 LaBSE 计算 32 对相似度。作者称分数从 0.80 到 0.90，均值 0.86（Figure 3）。

四段提示

• Setting + Character：先指定虚构场景和人设，让模型以角色身份跟随后续指令。作者称这是为放松通用拒答策略。
• Sandwich：在同一语言内，把禁问放在无害开头和无害结尾之间。作者称改编自多语 sandwich attack，但不用低资源语言，以便中英直接对比。
• Two Sides：在禁问之后要求同时给出支持与反对论证。作者称这把输出框成平衡辩论，使模型进入分析模式，从而在支持论证中写出原本会拒绝的细节。
• Guide words：在末尾附加不直接请求有害内容的格式约束，指定回答如何开始或结束。作者称这是拒答抑制的变体：模型为服从格式而倾向于正面、较长地作答。

消融定义

Figure 4 的定义是删除组件，不是另一套独立攻击：

1. Full：不删任何组件。
2. AS1：去掉 Setting + Character。
3. AS2：去掉三明治的首尾无害问题。
4. AS3：去掉 Two Sides。
5. AS4：去掉 Guide words。
6. AS5：只留攻击问题。

引言称五组消融用于看各组件对安全的影响。4.2 节把 AS1–AS4 写成四种越狱策略，并称 AS3 是 Two Sides 提示；这与 Figure 4 不一致。后文消融数字按 Figure 4 和 4.4 节理解。

执行与成功判定

• 四个模型均走官方 API，使用默认推理配置，不做额外微调或按提示调参。论文未报告温度。
• 32 题 × 2 语言 = 64 题；64 × 6 变体 × 25 次 = 每模型 9,600 次；四模型 38,400 次。脚本在 Google Colab 运行，输出存 JSON。
• 标签分三类：Success（具体有害或不安全内容）、Fail（拒绝或未提供不安全内容）、Response but Acceptable（有实质回答但评审认为不违规）。
• 两名 AI 安全背景的双语博士生独立标注；不一致时由第三名资深评审裁决，并复查全部 Response but Acceptable。论文写明未计算标注者间一致性分数。
• ASR 是人工判定为违反使用政策的补全所占比例，只计 Success。讨论禁题，或只解释为何不允许、只给不可操作的一般信息，不算成功。

实验设置

• 模型：GPT-4o（OpenAI）、DeepSeek-R1（DeepSeek）、Gemini-1.5-Pro（Google）、Qwen-Max（Alibaba；Table 3 写作 Qwen-Max-Latest）。均官方 API、默认配置。
• 数据：32 题 × 中英 = 64 题。来源与 LaBSE 相似度见第 3 问：0.80–0.90，均值 0.86。
• 变体与重复：Full 与 AS1–AS5，每题每变体 25 次。4.1.1 写明每模型 9,600 次，合计 38,400 条输出。引言另写约 40,000；Figure 2 写 64×25=1,600。后文以 4.1.1 为准。摘要写 32 types of jailbreak attacks，与 6 种变体的计数方式不同。
• 指标：ASR 只计 Success。论文把目标写成同时评估幻觉与越狱，但结果节没有另给事实性指标。
• 评审：两人独立标注加第三人仲裁；无 LLM 裁判，无一致性分数。Figure 2 写 Binary Rating，正文 3.2 是三类标签。
• 开销：Table 3：GPT-4o 5,404,443 token、$43.48；DeepSeek-R1 8,133,940、$19.09；Gemini-1.5-Pro 7,784,962、$56.70；Qwen-Max-Latest 9,892,500、$16.23。

主结果

Table 2 的 Full-Attack ASR：

模型	中文	英文
GPT-4o	0.385	0.3219
DeepSeek-R1	0.8475	0.6913
Gemini-1.5-Pro	0.7663	0.7906
Qwen-Max	0.8925	0.7969

• 作者称 GPT-4o 防御最强，Full-Attack 约 35%，中文 38.5%、英文 32.19%；Qwen-Max 最弱，平均高达 84%，中文 89.25%、英文 79.69%。DeepSeek-R1 与 Gemini-1.5-Pro 被作者称为约 77% 与 78%。
• 作者把 GPT-4o 归因于 RLHF，把 Qwen-Max 与 DeepSeek-R1 的高 ASR 归因于多语言安全对齐不足。论文未测量 RLHF 或对齐数据量。
• 摘要称中文提示 ASR 一致高于英文。Table 2 的 Full-Attack 中，Gemini-1.5-Pro 英文 0.7906 高于中文 0.7663。

语言差异

• 作者据 Table 2 与 Figure 6 称，多数模型、多数策略下中文 ASR 高于英文；以 GPT-4o 为例，各策略中英差约 0.05 到 0.21。Figure 6 图注是 CN−EN 热力图，正文未给单元格数值。
• 作者称 Qwen-Max 与 DeepSeek-R1 在中文基准上达到 SOTA，并写出 DeepSeek-R1 的 CLUEWSC(EM) 92.8%、C-Eval(EM) 91.8%。这两项不是本文实验，正文未给出出处表。作者称更多中文训练并不对应更低的中文越狱 ASR。
• 作者对中文更高 ASR 的解释是委婉语、谐音和网络变体使 RLHF 难覆盖。这是作者的推测，不是消融结果。

消融与组件作用

• 去掉 Two Sides（AS3）：作者称四模型 ASR 都下降，并给出 GPT-4o 约 0.18（中）/0.17（英），DeepSeek-R1 约 0.45/0.45，Gemini-1.5-Pro 0.42/0.31，Qwen-Max 0.60/0.50。Table 2 中 AS3 低于对应 Full，但高于多数 AS5。作者据此称 Two Sides 最关键。
• Table 5 的另一说法：AS1–AS4 的四模型平均 ASR 为 0.5107、0.6564、0.3008、0.5969。4.2 节称 AS3 是 Two Sides 提示，其平均 ASR 最低，因而穿透最强。若按 Figure 4，AS3 是去掉 Two Sides 后的条件，低 ASR 表示去掉后攻击变弱。摘要和结论仍称 Two Sides 最有效。
• AS5：只留攻击问题时 ASR 最低。英文 GPT-4o 与 Qwen-Max 为 0.0000；中文 Qwen-Max 0.0125，GPT-4o 0.0663（Table 2）。作者称多组件组合相对纯攻击题有协同，直接有害请求在中英上仍多被拒绝。

场景差异

• Table 4 未写明变体和语言，给出六类平均/中位 ASR：非法 0.623/0.88，滥用 0.501/0.62，有害内容 0.710/0.88，误导 0.673/0.78，色情 0.780/0.84，隐私 0.567/0.64。作者聚焦中位数，称非法活动与有害内容生成的中位 0.88 是稳定漏洞。
• 作者据 Table 6 称：GPT-4o 在色情场景最弱（中位 AVG 0.740），DeepSeek-R1 在非法活动最弱（中位 AVG 0.920），Gemini-1.5-Pro 在误导内容最易被攻破（中位 AVG 1.000），Qwen-Max 在色情场景最高（中位 AVG 1.000）。Table 6 未写明提示变体。
• Table 6 中 GPT-4o 非法活动平均 ASR 英文 0.371 高于中文 0.216。作者未单独解释这一格。

其他消融与分析

• AS1 去掉角色设定：GPT-4o 降约 0.09（中）/0.23（英）；DeepSeek-R1 降 0.2350/0.2694；Qwen-Max 降 0.2512/0.2669。Gemini-1.5-Pro 中文升约 0.1737（Table 2：0.7663 到 0.9400），英文降 0.2306。
• AS2 去掉三明治：GPT-4o 降约 0.07/0.10；Qwen-Max 降 0.085/0.0444；DeepSeek-R1 变 0.0275/0.0113。Gemini 中文升约 0.098，英文 Full 与 AS2 均为 0.7906。
• AS4 去掉引导词：GPT-4o 升约 0.17（中）/0.031（英），Table 2 中文从 0.385 到 0.5594。Gemini 中文升约 0.04，英文降约 0.17。DeepSeek-R1 降 0.16/0.23，Qwen-Max 降 0.15/0.26。
• 作者称引导词对 GPT-4o 是保护因素，对 DeepSeek-R1 和 Qwen-Max 则提高越狱成功率。
• Figure 9 按题给出 ASR；色情类只列 QN-29。论文未解释单题类别的中位数如何代表该类。

作者指出的局限与后续方向

• 时效（5.3）：作者称安全评估的实时适应性较低；模型会迭代更新，静态一次评估难以反映当前安全状态。人工评估耗资源，自动化工具在准确性和覆盖上仍有局限，结果可能随模型演化失去相关性。
• 语种（5.3）：评估限于中文和英文。作者称这限制结论的可推广性，许多基准也偏单一语言，妨碍理解其他语言尤其是低资源语言的差异，并称后续应扩展语种。
• 白盒攻击（5.2）：作者称当前越狱主要是 black-box，缺少对内部决策的透明分析；计划把可解释方法纳入 white-box 攻击，以分析幻觉和越狱漏洞。
• 人机标注（5.2）：作者称自动审核与人类直觉仍有差距，计划推进人机协作标注与复核。
• 中文基准（5.2）：作者称现有幻觉与安全基准偏英语，中文输入更易幻觉；计划扩展中文安全基准和对抗评测，并提到 HalluQA 一类工作。

实验覆盖范围

• 被测模型为 GPT-4o、DeepSeek-R1、Gemini-1.5-Pro、Qwen-Max，经官方 API、默认配置调用（4.1.2）。
• 内容为附录 A 的六类、32 题；语言为中文和英文；变体为 Full 与 AS1–AS5；每变体 25 次，共 38,400 条输出（4.1.1）。
• 判定为两名双语评审加第三人仲裁；3.2 节写明未计算一致性分数；论文未使用 LLM 裁判。
• 对照是同一提示的组件删除，不是其他已发表攻击方法的复现（Figure 4，4.4）。
• 论文未报告解码温度、随机种子、系统提示词或攻击用辅助模型。语义核对使用了 LaBSE（3.1.2）。

作者用一套中英越狱提示，比较四个闭源 API 的安全防御。

• 问题：商业闭源模型有训练对齐和推理时过滤，但在中文与英文越狱下是否仍会给出违反政策的具体内容，以及提示里哪一段在起作用。
• 做法：32 条、六类禁问译成中英平行对，再套上角色设定、单语三明治、正反论证和格式引导。Full 与五组删除各重复 25 次，共 38,400 条输出；两人标注、第三人仲裁，只把 Success 计入 ASR。
• 模型差异：Table 2 的 Full-Attack 中，Qwen-Max 为中文 0.8925、英文 0.7969，DeepSeek-R1 为 0.8475、0.6913，Gemini-1.5-Pro 为 0.7663、0.7906，GPT-4o 为 0.385、0.3219。作者称 GPT-4o 防御最强、Qwen-Max 最弱。
• 语言与组件：作者称中文提示总体更易成功；Table 2 里 Gemini-1.5-Pro 的 Full-Attack 英文高于中文。去掉正反论证后，作者报告的 ASR 下降幅度在各组件中最大；只留攻击问题时，英文 GPT-4o 与 Qwen-Max 为 0.0000。4.2 节把 AS3 的低 ASR 说成 Two Sides 穿透最强，与 Figure 4 的删除定义方向相反。
• 作者的结论：安全措施能拒绝多数直接请求，但组合后的多语言提示仍能引出违规输出。结论把模型由弱到强排为 Qwen-Max、DeepSeek-R1、Gemini-1.5-Pro、GPT-4o；Table 2 英文 Full-Attack 中，Gemini-1.5-Pro 0.7906 高于 DeepSeek-R1 0.6913，该总排序未区分语言。作者称需要语言感知对齐、上下文过滤和自动安全复核。