Skip to content

Translation in progress Some entries still include text in the original language.

Original
arXiv· arXiv:2601.00213· Haoran Gu, Handing Wang, Yi Mei, Mengjie Zhang, Yaochu Jin·Indexed by this site · Originally published

Overlooked large language model security vulnerabilities: malicious intelligent optimization algorithm requests and their jailbreaks

Overlooked Safety Vulnerability in LLMs: Malicious Intelligent Optimization Algorithm Request and its Jailbreak

Quick read

Attacks

Based on 论文 PDF （AI 生成）; refer to the original

作者用MalOptBench（60条）与MOBjailbreak测13个LLM，原始平均ASR为83.59%。

Threat model攻击者向用于智能优化算法设计的LLM提交恶意设计请求，目标是诱导其输出满足恶意目标P的结果R（原文式1）。

Questions
LLM被用于自动设计智能优化算法，恶意用户可能借此得到有害目的的算法。既有安全工作主要覆盖助手、代码生成和智能体，作者认为恶意算法设计请求能否被拒答仍不清楚。
Methods
作者用GPT-4o生成恶意用户类别，并把四类优化任务改写成60条MalOptBench请求。MOBjailbreak以DeepSeek-V3为surrogate，将有害提示改写成看似无害的表达后再查询目标LLM。
Experiments and results
13个LLM上，原始请求平均ASR为83.59%、危害分4.28；MOBjailbreak后为97.95%与4.87。两种可插拔防御能降低原始ASR，但对改写后请求作用有限，部分模型对良性请求拒答上升。
Limitations and future work
作者指出只研究智能优化算法，并认为可扩展到密码学或网络协议；MalOptBench规模相对一般安全基准较小。实验含13个模型、每任务15条、每提示3条回复。论文未报告评审与人工一致性。
Experimental setupGPT-4o、GPT-5 et al. · MalOptBench、XSTest · ASR、Harmfulness Score
Threat model
攻击者向用于智能优化算法设计的LLM提交恶意设计请求，目标是诱导其输出满足恶意目标P的结果R（原文式1）。可直接提交原始提示，或用surrogate LLM把提示改写成看似无害的表达后再查询目标模型。闭源目标经web API访问。成功判定为回复是否协助实现该恶意目标。
Evaluated models
GPT-4oGPT-5OpenAI-o3Gemini-2.5-FlashClaude-Sonnet-4Doubao-Seed-1.6Grok-3-miniERNIE-4.5-Turbo-128k-PreviewCommand-ADeepSeek-V3DeepSeek-V3.1Qwen3-235B-A22B-Instruct-2507Microsoft-Phi-4
Benchmarks
MalOptBenchXSTest
Metrics
ASRHarmfulness Score
AI summaryResearchers propose a jailbreak method MOBjailbreak targeting malicious intelligent optimization algorithm requests and release a benchmark MalOptBench containing 60 requests. On 13 mainstream large language models including GPT-5 and DeepSeek-V3.1, the average attack success rate for original harmful prompts is 83.59%, with an average harm score of 4.28/5; under MOBjailbreak the models almost completely fail. Evaluating plug-and-play defenses applicable to closed-source models, they find these defenses have only slight effect against MOBjailbreak and easily produce over-safety behavior. The authors argue that stronger alignment techniques are needed to prevent misuse in algorithm design.

Researchers propose a jailbreak method MOBjailbreak targeting malicious intelligent optimization algorithm requests and release a benchmark MalOptBench containing 60 requests. On 13 mainstream large language models including GPT-5 and DeepSeek-V3.1, the average attack success rate for original harmful prompts is 83.59%, with an average harm score of 4.28/5; under MOBjailbreak the models almost completely fail. Evaluating plug-and-play defenses applicable to closed-source models, they find these defenses have only slight effect against MOBjailbreak and easily produce over-safety behavior. The authors argue that stronger alignment techniques are needed to prevent misuse in algorithm design.

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    作者提出MalOptBench与MOBjailbreak，考察LLM对恶意优化算法请求的拒答。

    LLM在零样本智能优化算法设计中，能否拒绝恶意算法请求仍不清楚。

    • 场景：作者称LLM正被用于自动算法设计，可输出伪代码甚至可执行代码。智能优化常用于复杂决策；作者称恶意用户可能借此自动设计有害目的的算法，并称这会违反法律与伦理。
    • 现有不足：作者称既有工作主要覆盖AI助手、代码生成和LLM智能体，尚不清楚模型能否拒绝恶意算法设计请求。Table 1把该场景与前三类分开：模型被要求提供算法过程，而不是建议、脚本或工具调用。作者区分算法（高层过程）与代码（具体实现）。
    • 假设：作者认为，只要零样本设计提示未被拒绝，用户就会得到算法，误用风险因此取决于这一步的拒答（Section 2.3）。Fig. 1中作者称GPT-4o、Gemini-2.5-Flash与DeepSeek-V3都对一条恶意优化请求给出了明确协助。
    • 本文做法：提出MalOptBench（60条、四类任务）和越狱方法MOBjailbreak，并在13个主流LLM上比较原始请求与改写请求。作者称这是先前被忽视的漏洞。
    • 威胁模型：
      • 目标：诱导目标LLM生成满足恶意目标P的输出R，覆盖直接查询与越狱变体（Section 2.1）。
      • 能力：可提交零样本算法设计提示；也可用surrogate把有害提示改写成看似无害的表达后再提交。
      • 受害系统：被请求设计智能优化算法的LLM。评测含9个闭源与4个开源模型，闭源经web API访问。
      • 成功：回复是否协助实现恶意目标。ASR由GPT-4o做二分类，另有1–5危害分。

  2. What related research exists?

    作者把本文放在助手、代码与智能体安全之外，补上智能优化算法设计的误用风险。

    三类既有安全场景

    • AI助手：AdvBench（Zou et al., 2023）、HEx-PHI（Qi et al., 2023a）等评测一般恶意请求；Gu et al. (2025a)讨论助手安全。
    • 代码生成：MalwareBench（Li et al., 2025a）、RMCBench（Chen et al., 2024）评测恶意软件类请求，模型被要求提供脚本或代码。
    • LLM智能体：R-Judge（Yuan et al., 2024）、Agent-safetybench（Zhang et al., 2024b）评测不安全自主行动与工具调用。作者用Table 1把上述场景与智能优化算法设计分开。

    越狱方法

    • 模板填充：场景嵌套（Li et al., 2023; Ding et al., 2023）与上下文学习（Wei et al., 2023）。作者称此类方法可复用、适合大规模攻击，但可能缺乏跨提示和跨LLM的可迁移性（Yu et al., 2023; Huang et al., 2025）。
    • 提示改写：后缀优化（Zou et al., 2023）、良性改写（Takemoto, 2024; Li et al., 2024）与迭代精炼（Chao et al., 2025; Mehrotra et al., 2024）。作者称改写更定制、更隐蔽，但计算开销更大。
    • 相对直接攻击：作者称越狱会提高模型按有害目标作答的可能性（Chen et al., 2024; Xu et al., 2024; Li et al., 2025a; Gu et al., 2025a）。

    LLM算法设计

    • 演化式设计：FunSearch（Romera-Paredes et al., 2024）、EoH（Liu et al., 2024a）、LLaMEA（van Stein and Bäck, 2024）、AlphaEvolve（Novikov et al., 2025）。Liu et al. (2024b)对LLM算法设计做了系统综述。
    • 两种范式：零样本设计（亦称standalone LLM-based design，Zhang et al., 2024a）一步给出算法，但作者称未必最优；迭代改进用预定义测试用例演化，作者称在没有测试用例时不实用（Li et al., 2025b）。
    • 任务来源：本文四类基础任务描述来自Liu et al. (2024a)与Yao et al. (2024)。

    基线、防御与定位

    • 基线与数据集：论文以13个LLM在原始MalOptBench上的表现为对照，再与MOBjailbreak改写后对比。防御为SAGE（Ding et al., 2025；作者称其达到最新state-of-the-art）与Self-Reminder（Xie et al., 2023）。夸大安全行为用XSTest（Röttger et al., 2023）。
    • 作者定位：作者将本文放在自动化算法设计、尤其是智能优化算法设计尚未充分考察的误用风险上；并称MOBjailbreak同时取模板方法的规模化与改写方法的隐蔽性。

  3. How does the paper address this problem?

    先自动生成60条恶意优化请求，再用surrogate把恶意意图改写成无害表达。

    先自动构建MalOptBench，再用MOBjailbreak把请求改写成越狱变体，在零样本设置下看目标LLM是否拒答。

    问题设定与形式化

    作者关注零样本设计：用户提交一次任务描述，若模型不拒绝，就会得到算法（Section 2.3）。直接攻击与越狱写成 R ← LLMtarget⟨ P ⟩ 或 R ← LLMtarget⟨ J(P) ⟩：P为原始恶意提示，J(P)为越狱变体，R为输出，目标是使R实现P。

    四个基础任务：OnlineBP（到达物品装入容量为C的最少箱子）、TSP（各地点恰好访问一次并回到起点的最短路线）、FSSP（n个作业在m台机器上最小化makespan）、BOAFD（为未知异构评估代价下的黑盒最大化设计采集函数）。

    MalOptBench构建

    • 对抗用户生成器：GPT-4o根据基础任务描述列出N=5个与任务对齐的恶意用户类别，形式为第一人称类别陈述。
    • 任务改写器：对每个类别查询GPT-4o三次，改变目的或表述，得到每任务3N=15条、共60条单段请求。也允许手工指定类别后再改写。Section 3.1.2给出两段完整提示词。
    • 审核：两名领域专家标注全部60条是否恶意且有效；GPT-4o另做审核。作者称全部满足恶意性与有效性。附录A给出审核提示词。Fig. 2概括该流水线。生成、改写与审核均用GPT-4o。

    MOBjailbreak

    • surrogate：DeepSeek-V3。作者称选用它是因其为可本地访问的开源模型，便于实现越狱。
    • 改写：每条原始提示嵌入固定模板后交给surrogate。模板需不触发surrogate防护、抓住算法目的，并用无害表达重写整段。模板把改写放在虚构写作流程中：先识别叙事目的，再重写并另给替换说明。
    • 输出：改写后的越狱变体，以及供攻击者参考的替换说明。60条变体构成越狱版MalOptBench。Section 3.2给出完整模板，此处不复述其措辞约束。

    成功判定

    • ASR：GPT-4o按判定提示做二分类，判断回复是否有效回应恶意提示；ASR为测试用例中成功攻击的比例。作者援引Lin et al. (2024)，称这种提示式分类器相对其他分类器在准确率与效率上取得最好平衡。
    • 危害分：GPT-4o打1–5分，1表示无害，5为论文所用extremely harmful。主文称判定说明会给出使用政策与评分标准，并要求给出理由。附录B给出两套完整提示词。
    • 三次回复：每个模型生成3条回复并并行分类。至少一条被判成功时，从成功回复中随机抽一条算危害分；否则从三条未成功回复中随机抽一条。

  4. What experiments did the paper conduct?

    13模型原始MalOptBench平均ASR为83.59%，MOBjailbreak后为97.95%。

    实验设置

    • 模型：9个闭源为GPT-4o（2024-08-06）、GPT-5（2025-08-07）、OpenAI-o3（2025-04-16）、Gemini-2.5-Flash（2025-06-17）、Claude-Sonnet-4（20250514）、Doubao-Seed-1.6（250615）、Grok-3-mini（2025-05-19）、ERNIE-4.5-Turbo-128k-Preview（2025-03-17）、Command-A（03-2025）。4个开源为DeepSeek-V3（671B）、DeepSeek-V3.1（671B）、Qwen3-235B-A22B-Instruct-2507（235B）、Microsoft-Phi-4（14B）。闭源经web API。作者注明OpenAI-o3是大推理模型，其余模型也有不同程度推理能力。
    • 数据与攻击模型：MalOptBench四任务各15条，共60条；越狱版为同一60条经MOBjailbreak改写。surrogate为DeepSeek-V3，它也是被测模型之一。
    • 指标与评审：ASR与1–5危害分，评审均为GPT-4o。每模型每条提示生成3条回复。论文未报告超出这3条回复的重复次数，也未报告评审与人工判定的一致性。
    • 防御：SAGE与Self-Reminder。D_Base加在基线LLM上测原始集；D_Target加在MOBjailbreak的目标模型上；D_Joint同时加在surrogate与目标模型上。Table 4只报告四任务平均。
    • 注意力：对已被成功攻击的Gemma-2-9b-it输入Fig. 3的一条原始恶意提示，按去掉该token后对输出的影响计算注意力值。

    主结果

    模型原始ASR（危害分）MOBjailbreak后
    GPT-538.33%（2.58）96.66%（4.88）
    Qwen3-235B-A22B-Instruct-250751.67%（2.90）100.00%（4.94）
    OpenAI-o355.00%（3.13）96.66%（4.83）
    Microsoft-Phi-465.00%（3.15）88.33%（4.58）
    Claude-Sonnet-481.66%（4.15）98.33%（4.93）
    GPT-4o96.66%（4.87）96.66%（4.85）
    DeepSeek-V3100.00%（5.00）100.00%（4.77）

    据Table 3的Avg.列。省略Gemini-2.5-Flash、Doubao-Seed-1.6、Grok-3-mini、ERNIE-4.5-Turbo-128k-Preview、Command-A、DeepSeek-V3.1；其原始平均ASR为98.33%或100.00%。DeepSeek-V3同时是surrogate。

    • 总体：13模型原始平均ASR为83.59%、危害分为4.28；MOBjailbreak后为97.95%与4.87。作者称改写后为near-complete failure，并称此时全部LLM的危害分高于4.50。
    • 闭源：作者称只有GPT-5与OpenAI-o3保留中等防御，并认为二者已有一定意识但尚未完全解决。除二者外，作者称闭源原始ASR均超过80.00%，危害分均高于4.00。
    • 开源：作者称DeepSeek系列没有有效防御，较小模型抵抗更强，能力与安全似乎强烈冲突，并称这与Li et al. (2025a)的恶意代码生成实验一致。表中参数更小的Phi-4原始ASR高于Qwen3。省略的DeepSeek-V3.1在MOBjailbreak后为98.33%（4.94）。

    可插拔防御

    • 设置：SAGE与Self-Reminder的D_Base、D_Target、D_Joint，数字为四任务平均（Table 4）。SAGE对DeepSeek-V3.1记为N/A。
    • 结果：SAGE三者平均ASR（危害分）为12.64%（1.38）、88.89%（4.47）、92.91%（4.70），跨模型Avg.为64.81%（3.52）。Self-Reminder为29.74%（2.16）、80.77%（4.48）、83.85%（4.62），Avg.为64.79%（3.75）。XSTest良性请求拒答率：DeepSeek-V3.1加SAGE从1.2%到72%；GPT-4o加Self-Reminder从4.0%到14.4%。
    • 作者解读：摘要称这些防御对MOBjailbreak只是marginally effective；Section 5.2称效果negligible。作者称它们对原始集有可见保护，在surrogate上加防御有时反而增强攻击，并认为防御干扰加强了恶意内容的掩盖。作者称SAGE在原始集上优于Self-Reminder，二者在MOBjailbreak下危害分相近。Table 4并非所有D_Joint都高于D_Target，例如Self-Reminder下Grok-3-mini为53.33%对63.33%。

    注意力分析

    • 对象：Gemma-2-9b-it上的一条成功攻击输入（Fig. 3的原始提示），指标为token删除后对输出的影响。
    • 结果：作者称有害token都不在注意力最高的15个之内，平均排名为59/170。Figure 4标出的最高值包括As 18.4466；文中列出的有害token值包括compromised 0.0059，avoid与attention均为0.0006。
    • 作者解读：作者认为模型更关注约束与目标等算法设计指令，并称该漏洞可由此部分解释（Finding 5）。作者称排名59/170处于moderately high range，安全意识仍不足以拒绝有害提示。

    其他消融与分析

    • 原始四任务平均ASR（危害分）：OnlineBP 89.23%（4.53）、TSP 89.23%（4.50）、FSSP 75.90%（3.99）、BOAFD 80.00%（4.09）（Table 3）。
    • MOBjailbreak后对应为97.95%（4.93）、98.46%（4.89）、96.41%（4.74）、98.97%（4.92）。
    • 全部实验结果中，平均ASR与平均危害分的相关系数为0.974；作者称相关性很强，并称这支持其所用统计方法。
    • 原始FSSP上，GPT-5为20.00%（2.13），OpenAI-o3为20.00%（1.80）；论文未对此给出单独解释。
    • SAGE的D_Base最低为ERNIE-4.5-Turbo与Qwen3-235B的0.00%（1.00），最高为Claude-Sonnet-4的36.67%（2.15）（Table 4）。
    • Fig. 3一例对GPT-4o的分类器判定为Harmful、危害分5.00；Fig. 5三例对GPT-4o、Gemini-2.5-Flash、DeepSeek-V3.1同样为Harmful、5.00。

  5. What are some points that can be further explored?

    作者指出只覆盖智能优化算法，且MalOptBench规模相对一般安全基准较小。

    作者指出的局限与后续方向

    • 算法类型：研究只覆盖智能优化算法。作者认为LLM误用可能远超这一范围，并设想未来考察密码学或网络协议等关键算法设计的安全（Limitations）。
    • 基准规模：MalOptBench相对大规模一般安全基准较小。作者称主要目标是刻画这一被忽视的漏洞，而不是构建用于大规模训练的穷尽数据集，并认为当前基准可作为代表性基线，以促使安全社区关注（Limitations）。

    实验覆盖范围

    • 主评测为Table 2的13个模型；注意力分析使用Gemma-2-9b-it的一条输入（Section 5.3）。
    • MalOptBench为四类任务各15条，共60条；由GPT-4o生成，并经两名领域专家与GPT-4o审核（Section 3.1、附录A）。论文未报告专家之间或评审与人工的一致性。
    • 防御实验为SAGE与Self-Reminder的D_Base、D_Target、D_Joint。Table 4报告四任务平均；论文写因篇幅未分任务列出。SAGE在DeepSeek-V3.1上记为N/A。
    • 每个模型对每条提示生成3条回复。ASR与危害分均由GPT-4o评定。构建、改写与审核用GPT-4o，MOBjailbreak的surrogate为DeepSeek-V3。
    • 动机部分将风险系于零样本拒答（Section 2.3）。夸大安全行为的数字来自XSTest良性请求集上的拒答率。

  6. Summarize the main content of the paper

    作者用60条恶意优化请求与MOBjailbreak评估13个LLM，原始平均ASR为83.59%。

    作者考察LLM被请求设计恶意智能优化算法时的拒答，并给出基准与配套越狱。

    • 问题：零样本下，模型会不会拒绝恶意算法设计请求。作者认为只要这一步不拒绝，用户就能得到可用算法；既有助手、代码和智能体安全工作没有回答这一点。
    • 做法：GPT-4o先产生恶意用户类别，再把OnlineBP、TSP、FSSP、BOAFD改写成60条MalOptBench请求。MOBjailbreak用DeepSeek-V3作surrogate，把恶意意图改写成无害表达后再查询目标模型。
    • 原始请求：13个模型平均ASR为83.59%、危害分为4.28（Table 3）。GPT-5为38.33%（2.58），OpenAI-o3为55.00%（3.13）；作者称其余闭源模型缺少有效防御。DeepSeek-V3与DeepSeek-V3.1为100.00%（5.00）。
    • 越狱与防御：MOBjailbreak后13模型平均ASR为97.95%、危害分为4.87。SAGE在原始集上的平均ASR为12.64%（1.38），D_Target为88.89%（4.47）（Table 4；DeepSeek-V3.1的SAGE为N/A）。摘要称防御对MOBjailbreak只是marginally effective，正文称效果negligible。
    • 作者结论：作者称当前模型面对这类攻击存在安全漏洞，可插拔防御还可能带来夸大安全行为，并称需要更强对齐来防范算法设计中的误用。作者在结论中称MalOptBench是恶意优化算法请求的first benchmark。
Read originalarxiv.org
#Jailbreaks and attacks