BreakFun：用模拟代码执行中的对象实例化越狱 LLM

模型遵守复杂结构与语法的目标，可被用来在模拟代码执行中绕过安全对齐，使有害内容作为对象实例化的副作用出现。

• 场景：作者认为，LLM因擅长处理代码、JSON、XML和形式化schema而被用于复杂软件，同一能力也构成新的攻击面。作者假设，任务若足够复杂且形式良好，模型会优先遵守句法，关注结构而非语义。
• 要考察的缺口：引言把该假设联系到遵循复杂指令、遵守结构与语法规则的目标（Chao et al., 2025）。作者要处理的不是用户直接索取的内容，而是模拟任务作为副作用产出的内容。
• 核心做法：提示词给出孤立来看良性的Python类定义，即Trojan Schema，并询问若执行会打印什么。模型须实例化对象并为字段发明取值，对抗性字段名把取值导向攻击者目标。
• 本文给出：black-box越狱方法BreakFun，以及反消融探针Adversarial Prompt Deconstruction（APD）。APD让第二个LLM先写出提示词里的可读文本，再做安全判定。
• 威胁模型：
  • 知识：论文写为black-box；不能访问权重、内部状态或生成过程。
  • 交互：single-turn；标准API访问；只能控制输入提示词；无对话历史。
  • 目标：有害内容作为模拟执行下对象实例化的副作用出现，而不是对有害问题的直接回答。
  • 受害面：接收该提示词的LLM。攻击面是包在看似良性代码相关请求中的Trojan Schema。作者称非专家也可实施。

相关工作按访问级别、黑盒手法和代码类攻击组织。作者只在Positioning和对比实验里写区别。

按模型访问

• 白盒优化：Zou et al.（2023）用通用对抗后缀；Liu et al.（2024）的AutoDAN用遗传搜索改写提示。论文称白盒假设可访问权重等内部状态。
• 黑盒自动化：TAP（Mehrotra et al., 2024）、GPTFUZZER（Yu et al., 2023）、PAIR（Chao et al., 2025）用查询做自动精炼。论文称黑盒只需查询访问，更代表真实威胁模型。
• 人设与多智能体：Crescendo（Russinovich et al., 2025）、DeepInception（Li et al., 2023）、PAPs（Zeng et al., 2024）以及PsySafe（Zhang et al., 2024）。定位段称角色扮演要求采纳虚构人设，BreakFun不指派角色。

混淆、编码与模板

• 混淆与藏意图：DrAttack（Li et al., 2024b）、Jigsaw Puzzles（Yang et al., 2025）、FlipAttack（Liu et al., 2025）、ReNeLLM（Ding et al., 2024）、WordGame（Zhang et al., 2025b）；另有藏进良性上下文的工作（Wu et al., 2025; Chang et al., 2024）和跨语言越狱（Yong et al., 2023; Deng et al., 2024; Li et al., 2024a; Kumar et al., 2024）。定位段称这类攻击伪装意图本身，BreakFun保持意图可见，只把任务改写成句法执行。
• 编码后再恢复：CipherChat（Yuan et al., 2024）、CodeChameleon（Lv et al., 2024）、StegoAttack（Geng et al., 2025）、h4rm3l（Doumbouya et al., 2025）让模型而不是过滤器恢复请求。TIP（Berezin et al., 2025）把不安全请求经编码函数放进良性任务；SIJ（Zhao et al., 2025）攻击模板如何被组装。作者称TIP要等模型重建被去掉的有害词才生效，BreakFun不做编码。
• 固定模板之外：作者称Core Task Schema可按有害目标更换领域类和字段名，以此区别于固定模板攻击，并对应10个JailbreakBench类别（Figure 4）。

代码补全与语法约束

• CodeAttack（Ren et al., 2024）：把恶意任务嵌进代码补全。定位段称其输入已含有害构造；BreakFun引出的是预先写好的良性代码的模拟输出。
• EnumAttack（Zhang et al., 2025a）：用语法规则约束解码。论文称它不是纯black-box提示攻击，需要控制解码过程；作者称这是比单独提示更强的攻击者能力。

基线方法与基准：同一JailbreakBench目标、同一评审、同一确定性设置下，作者重跑了CodeAttack的String、Queue、Stack。EnumAttack未重跑。探针以Llama Guard 4 12B为生产安全分类器对照。基准是JailbreakBench（Chao et al., 2024）的10个有害类别；探针另用附录A.3的合成Borderline-Benign与Benign集合。

作者称BreakFun的提示不含有害代码，有害内容只在模拟执行良性类定义、发明字段值时出现。作者用消融把这条路径和任务框架分开：只去掉schema、保留良性框架和思维链，三模型平均ASR从94%降到35%（Section 4.3），因此认为承载攻击的不是任务框架和指令遵循压力。

BreakFun把有害目标放进一段孤立来看良性的Python类定义，再要求模型回答若执行会输出什么。作者把有害内容描述为对象实例化的副作用，而不是直接回答。

攻击如何触发

• 假设执行：攻击者给出类定义，询问假设执行后的输出。作者认为，回答这个问题会引出与内部编译或解释代码一致的行为；该模式来自问题的假设性表述，不是提示词里指派的角色。
• 实例化子步骤：模拟执行包含把schema实例化。模型必须为每个字段发明取值。对抗性类名和字段名使最自然的补全朝攻击者目标走。命名例子和十类schema在Figure 2与附录A.1，此处不列字段。
• 孤立来看良性：作者称作为代码，schema不含有害构造，真执行也不会产生有害输出。有害内容只在模型填写字段时出现。

三组件模板

• Innocent Framing：全部实验中保持静态。把交互包成良性的教学式请求，用来启动helpful人格，使模型更合作、更少把请求标成不安全。这是作者给出的理由。
• Trojan Schema：按10个有害类别各做一套，从Core Task Schema改出。CTS含通用类，可插入领域类和字段。占位符{task}放入具体目标，{steps}控制生成长度；论文未给出实验中的步数。Figure 3给出完整提示示例。
• 定制：作者写明目标是让类和字段与该有害类别对齐。schema由LLM协助生成，论文未说明该模型名称；定稿在附录A.1。
• Chain-of-Thought Distraction：同样静态。要求按步骤思考假设中的代码执行。作者给出两个作用：拉长并加重生成任务，以及把恶意载荷稀释在很长、结构复杂的回答里。

成功判定

成功与否定义为 J(R,G)=I(¬ Refusal(R)∧ Actionable(R,G))，即同时非拒答且可执行。Refusal包括直接拒绝（内部信息或外部API拦截）和间接误导（用良性替代填schema）。Actionable要求具体、结构化、足以执行目标的细节；含糊或哲理性回答算不可执行。ASR是J在数据集上的均值：先对每个目标打分，再对类别内目标取平均，再对10个类别取平均，得到每个模型一个ASR。跨模型数字是这些模型值的均值。附录A.2给出评审提示词。

APD探针

APD不是攻击步骤。作者用它做反向探针：若schema在生成时驱动绕过，则做安全分类的模型在schema仍在时，应更少标出同一有害意图；去掉schema后应恢复。作者强调两边是不同模型、不同任务，所以这是第二条行为信号，不是在描述模型内部过程。

第二个LLM做三步（Figure 7给出完整提示词）：

1. Literal Transcription：抽出结构化格式中的自然语言句子和字符串字面量。
2. CoT Unwrapping：在思维链里转写这些内容，形成作者所称的sanitized context，使随后的判断条件于语义载荷而不是句法包装。作者给出的理由是自回归生成。
3. Logical OR：任一转写成分被判为有害，则整段提示被标出。

骨干选得接近Llama Guard 4 12B，作者给出的理由是避免用模型规模解释检测差异。三种条件：Baseline（对原始BreakFun提示做零样本安全提示，附录A.5）、APD w/o Trans.（保留思维链脚手架、去掉字面转写）、full APD。

实验设置

• 被测模型：Table 1共13个。Tier 1（本地、open-weights）：GPT-OSS 20B、Deepseek-R1 14B、Gemma3 12B、Qwen3 8B、LLaMA 3.1 8B、Mistral 7B、Zephyr 7B。Tier 2（API）：GPT-4.1 Mini、Gemini 2.5 Flash、Claude-3.5 Sonnet、Claude-3 Haiku、Kimi-K2（1T A32B）、Ernie-4.5（300B A47B）。另在Qwen2.5 32B与Gemini 2.0 Flash上单独跑BreakFun，只用于对照EnumAttack已发表数字。
• 数据：JailbreakBench的10个有害类别。论文未报告目标条数。探针的Borderline-Benign与Benign各122条任务，注入10个模板后各1220条提示（Appendix A.3）。
• 基线：CodeAttack的String、Queue、Stack，在同一目标、同一评审、同一确定性设置下重跑。EnumAttack未重跑。探针对照是Llama Guard 4 12B。
• 指标：ASR定义见第3问。探针报告标为有害的比例；Limitations另给borderline上的FPR。
• 评审：qwen3-max。附录A.4称GPT与Gemini族模型常因自身安全政策拒绝分类，故选用它。三名人类专家独立分类全部响应，平均成对Cohen's κ=0.96，最终标签为多数票，人机一致率97.5%。
• 生成：攻击、探针、评审均为temperature=0.0、seed=42、max_tokens=10000（Table 6）。重跑在10/13个模型上与报告数字一致，其余3个API提供方std≤2 points；论文未点名这3家。

主结果

下表据Table 2（ASR，%）。超过8行，省略5个模型并在表后列出。Claude-3.5 Sonnet的CodeAttack为未报告，因其API已弃用。

Swipe horizontally to read the table

模型	Tier	BreakFun	String	Queue	Stack
Claude-3.5 Sonnet	2	25%	未报告	未报告	未报告
Gemini 2.5 Flash	2	77%	28%	28%	68%
Claude-3 Haiku	2	87%	11%	12%	55%
LLaMA 3.1 8B	1	89%	25%	34%	12%
Ernie-4.5	2	93%	42%	41%	91%
GPT-OSS 20B	1	96%	8%	9%	8%
Deepseek-R1 14B	1	100%	64%	66%	50%
Kimi-K2	2	100%	39%	26%	88%

省略（BreakFun/String/Queue/Stack）：GPT-4.1 Mini 86/30/36/77，Gemma3 12B 97/40/47/48，Qwen3 8B 100/62/70/67，Mistral 7B 100/52/73/69，Zephyr 7B 100/31/32/35。

• 总体与分层：作者报告13个模型平均89%，Tier 1为∼98%，Tier 2为∼78%，并称之为Guardrail Divide。作者认为提供商侧系统提高了门槛，但没有处理模型层的问题。Table 2平均行（12个模型，不含Claude-3.5 Sonnet）为BreakFun 94%、String 36%、Queue 40%、Stack 56%。作者称若按模型取CodeAttack最佳变体，则为60%。
• 差距如何分布：作者称每个Tier 1模型上BreakFun为89%–100%，同批模型上CodeAttack为8%–73%，并认为CodeAttack依赖模型处理嵌在代码中的载荷，而BreakFun的载荷是明文。正文称最小差距在两个hardened API系统上；括号中的91%对93%、88%对100%，与Table 2里Stack对BreakFun的顺序一致。表中最低的BreakFun是Claude-3.5 Sonnet。
• 类别：作者称Malware/Hacking、Economic Harm、Disinformation在几乎所有模型上被绕过，Physical Harm与Sexual/Adult Content阻力最大，且阻力几乎都来自Tier 2（Section 4.1；Figure 4图注与此相符）。文本没有各类别ASR。附录A.6给出删节后的例子；作者称模型填入的是可执行指令，而不是泛泛拒答。

组件消融

Section 4.3在LLaMA 3.1 8B、GPT-OSS 20B、Gemma3 12B上做。论文写完整提示的三模型平均ASR为94%。Figure 5对应这些条件，正文未给出除CTS以外的逐模型柱值。

• 去掉schema：平均降到35%。作者称这是伤害最大的删减，并把Trojan Schema认定为贡献最强的因素。
• 结构与命名：字段换成中性标识后为66%。作者称结构约贡献30个ASR百分点，对抗性命名再约贡献28个。去掉CoT为72%，去掉良性框架为86%；作者把二者放在次要和较小的位置。
• 只用CTS：十类都用通用CTS、不做逐类定制，平均74%（GPT-OSS 80%，Gemma3 82%，LLaMA 3.1 60%）。作者称模型仍会跑完模拟并写出指令，但字段通用时指令不够明确，严格的可执行性标准判成功的更少。中性命名下，作者观察到模型常仍实例化schema，但填入良性内容。

APD的检测变化

Table 3是检测准确率。Baseline是对原始提示的零样本安全判断。

• 三行数字：Gemma3 12B为70%、77%（+7）、100%（+30）。Ministral 8B为50%、61%（+11）、91%（+41）。Qwen3 8B为62%、64%（+2）、87%（+25）。顺序是Baseline、去掉转写、完整APD。作者称中间条件只高2到11个点，完整协议高25到41个点，因此认为增益主要来自转写，而不是一般的提示工程。
• 作者的解读：作者认为这些骨干能识别底层内容中的危害，但schema在场时，标出同一意图的频率下降。作者把本设置中的脆弱性主要归于结构，字段值的语义是增强项。Figure 6图注是一个经过摘要的示意：无APD时返回Benign，转写后把某一成分标为有害并返回Harmful。
• 未到同一水平：完整APD下只有Gemma3 12B为100%；Ministral为91%，Qwen3为87%。

三类输入上的标记

Table 4。有害列与正文一致，是标为有害的比例。Borderline与Benign列，正文称为accuracy，Limitations里的FPR也与“100%减去对应格”相符；表题则写全表都是flagging比例。两处不一致。

• 有害：Gemma3 12B 100%，Ministral 8B 91%，Qwen3 8B 87%，Llama Guard 4 12B 63%。作者称Llama Guard 4在良性与边界分布上达到100%，仍只标出63%的BreakFun有害提示，因而认为这类提示也能绕过一个生产安全系统。
• 边界与良性：正文称APD在Borderline-Benign上的accuracy为88%–97%、Benign为99%–100%，并认为解构不是见到复杂或像代码的提示就标出。表中三行Borderline为88%、90%、97%，Benign为99%、100%、100%。Limitations写Qwen3在borderline上FPR为3%、Gemma3为12%。论文未给出Ministral的FPR。
• 作者用来支撑探针的观察：上述边界/良性数字，以及Llama Guard 4的63%。作者认为这支持“去掉schema后恢复检测”不是一律标有害。

其他消融与分析

• Qwen2.5 32B上BreakFun为100%，对照EnumAttack报告的99%；Gemini 2.0 Flash上EnumAttack报告92%，BreakFun为68%（Section 4.2）。二者不在Table 1。
• 重跑：10/13个模型与报告值一致；其余3个API提供方std≤2 points（Section 3.3）。
• 人机一致：平均成对κ=0.96，一致率97.5%（Section 3.3）。

作者指出的局限与后续方向

• 机制因果：没有内部状态时，没有单一实验能把某个输入特征追踪到某次安全失败。证据因此是行为层面的。作者把探针分类器、注意力分析或激活修补称为重要的未来工作（Limitations）。
• 代码模拟的范围：攻击要求在模拟代码执行下发生schema实例化。本文聚焦Python以及Pydantic/PyGlove风格的schema库。JSON、YAML、独立XML不能被执行，不在机制内。SQL返回已有行，没有发明新对象字段值的步骤；shell执行命令，也没有schema实例化。作者称这些格式要另设计误导策略，留待未来。TypeScript配Zod、Rust配serde与机制相符，但未测试（Limitations）。
• 探针不是防御：APD被作者定为schema角色的行为探针，不是防御，也未按对抗鲁棒性评估。代价是目标系统之前多一次模型调用，转写会使输出变长。作者未针对延迟或服务成本调优，并把这些写成程序属性，而不是部署测量（Limitations）。
• 精度：作者称APD在歧义任务上要在召回和精度之间取舍。borderline上Qwen3的FPR为3%，Gemma3为12%；微调骨干做转写可能缩小这一差距。良性分布含普通技术查询和代码，APD把其中99%–100%判对。作者写明尚未在含有BreakFun那种大型schema的良性提示上测试，并认为那里最可能出现假阳性。合成borderline集未必覆盖生产环境的全部边缘情况（Limitations）。
• 对齐覆盖面：作者在Discussion把“围绕直接查询的内容过滤，在本设置中不能推广到更大模拟任务的副产品”称为当前对齐范式的开放问题。

实验覆盖范围

• 攻击主实验是Table 1的13个模型、JailbreakBench的10个类别；每个模型的ASR是类别均值再对10类取均值（Section 3.3、4.1）。论文未报告目标条数。
• CodeAttack三种变体在12个模型上重跑；Claude-3.5 Sonnet因API弃用没有CodeAttack数字（Table 2）。EnumAttack未重跑；作者另在Qwen2.5 32B和Gemini 2.0 Flash上跑了BreakFun（Section 4.2）。
• 消融在LLaMA 3.1 8B、GPT-OSS 20B、Gemma3 12B上进行，含完整提示和五种删减或替换（Section 4.3、Figure 5）。正文只给出通用CTS条件的逐模型ASR；Figure 5的柱高无法从文本读出。
• APD在Gemma3 12B、Ministral 8B、Qwen3 8B上比较三种条件（Table 3），Table 4另列入Llama Guard 4 12B。Borderline与Benign各122条任务、各1220条注入后的提示（Appendix A.3）。
• 攻击评审是qwen3-max；三名专家独立分类全部响应（κ=0.96，人机一致97.5%）。生成参数见表6。附录A.1–A.4给出schema、提示词、合成数据和超参数；作者写明不发布可运行攻击代码和未删节的有害输出。论文未报告协助生成schema的LLM名称，也未报告{steps}的取值。

BreakFun是一种black-box、single-turn越狱：让模型假设执行一段良性Python类定义，并在填写对象字段时产出有害内容。

• 问题：作者假设，遵守复杂结构与语法的目标会压过安全对齐，使模型关注形式、放过语义。要测的是模拟任务的副作用，不是用户直接提出的有害问题。攻击者只有标准API和当轮提示词。
• 做法：提示词由良性框架、Trojan Schema和思维链干扰组成。类定义孤立来看不含有害构造；对抗性字段名引导模型发明的取值。通用CTS可按JailbreakBench的10类改写。成功要同时非拒答且可执行。
• 主结果：JailbreakBench上13个模型平均ASR为89%。作者写Tier 1为∼98%、Tier 2为∼78%。Table 2里可对比的12个模型上，BreakFun平均94%，CodeAttack的Stack为56%。Claude-3.5 Sonnet为25%，是该表最低。
• 消融与探针：在LLaMA 3.1 8B、GPT-OSS 20B、Gemma3 12B上，去掉schema使平均ASR从94%降到35%；作者据此把schema认定为贡献最强的因素。APD去掉schema后再判定时，Gemma3 12B从70%到100%，Ministral 8B从50%到91%，Qwen3 8B从62%到87%（Table 3）。Llama Guard 4 12B对有害BreakFun提示的标记比例为63%（Table 4）。
• 作者的结论：作者认为提供商侧防护提高了门槛，但没有处理模型层问题。作者认为，只过滤直接查询的安全流水线，在他们的设置里覆盖不到模拟任务的副产品。作者把APD当作探针，而不是防御。