Emoji-based jailbreak of large language models: a prompt-level vulnerability analysis of four open-source models

用 emoji 序列代替敏感词，检验提示词能否绕过 LLM 安全限制并引出受限输出。

• 场景：作者称 LLM 已用于对话和内容生成，恶意提示词仍可引出有害、不伦理或有偏内容。作者称 token 级过滤和安全训练仍会被越狱绕过。
• 现有不足：作者称既有 emoji 攻击主要针对安全评审模型或分类器。作者把直接考察 LLM 提示词级漏洞视为缺口。
• 假设：作者假设 emoji 序列会改变提示词表示，从而提高绕过过滤、偏向受限输出的可能性。emoji 被用作敏感词的代理。
• 威胁模型：
  • 目标：绕过安全机制，生成违反模型公开安全策略的受限内容。论文举例包括暴力协助和明确的不当行为指示，并写明不是在真实系统中部署。
  • 知识：论文未写明白盒、黑盒或无盒，也未写是否使用梯度或权重。
  • 能力：构造文本与 emoji 混合提示词，包括词间插入 emoji 的填充，以及用序列表示指令的串联。
  • 受害系统：本地运行的 Mistral 7B、Qwen 2 7B、Gemma 2 9B、Llama 3 8B。成功指生成恶意代码或不伦理指令等受限内容。
• 本文工作：对上述四模型各测 50 条 emoji 增强提示词，记录成功率、伦理合规和响应延迟，并把回答分为成功、部分和失败。

作者称 emoji 越狱是新前沿，且是尚未充分处理的威胁。分组按引言和 Related Work。

文本越狱

• Wei 等（2023）：论文称精心构造的提示词可绕过安全训练，诱使模型生成恶意代码或有偏叙述等受限内容。
• Wallace 等（2019）：论文把 prompt stuffing（插入无害词以掩盖意图）和 prompt substitution（用同义词替换敏感词）与 token 级过滤的弱点放在一起讨论。
• 其他引用：引言将 Zou 等（2023）列为越狱文献；Related Work 将 Anil 等（2023）与 Wei 等并称为越狱问题，均未展开做法。

emoji 攻击

• Emoti-Attack（Zhang，2024）：零扰动方法，用 emoji 序列改变语义解释而不改表面含义。论文称 emoji 替换敏感关键词后，模型往往不能标出恶意意图，从而绕过关键词过滤。
• Emoji Attack（Wei、Liu、Erichson，2024）：利用 token 切分边界，把 emoji 当作语言干扰。论文称其尤其针对 judge LLM 和分类器。
• 论文自述的区别：摘要写明，先前工作针对安全评审或分类器，本文考察 LLM 的直接提示词级漏洞。这是定位，不是对上述两篇结果的否定。

emoji 表示与非语言线索

• Barbieri 等（2018）：论文称其说明 emoji 语义随文化和语境变化，因而 LLM 更难处理。
• 内部表示：论文称 emoji 的分词与词类似，但表示常带情绪或语境差别，容易被误读；并举例刀形 emoji 的表示可能与切割类词重叠。
• 多模态线索：论文称已有工作在多模态 LLM 上分析过非语言线索的对抗提示，并称绕过机制类似；该句未标文献编号。引言另引 Eisner 等（2022），支持 emoji 作为 NLP token 会改变表示的假设。

评测框架与本文位置

• Carlini 等（2023）：论文称其强调需要标准化评测框架，以覆盖语言和非语言提示等攻击向量。
• 基线与数据：论文未把其他攻击方法列为基线。对照是四个模型在作者自建的 50 条 emoji 增强提示词上的结局、伦理合规和延迟，不是已命名的公开基准。
• 定位：作者称既有工作已指出 LLM 对 prompt injection 的漏洞，但 emoji 越狱仍未充分处理；本文用多项指标直接测试四个 LLM，而不是测试评审模型或分类器。

整体做法是构造 emoji 增强提示词，在本地模型上收集回答，再用关键词规则加人工复核分成三类结局。

问题设定

• 受限内容：违反被测模型公开安全策略的输出。论文举例为暴力协助和明确的不当行为指示，并写明不是在真实系统中生成或部署。
• 输入：每条提示词混合文本与 emoji。作者假设序列会改变表示，增加绕过过滤的可能。
• 模型：Mistral 7B、Qwen 2 7B、Gemma 2 9B、Llama 3 8B，经 Ollama 本地下载。论文未报告温度或其他采样参数。

提示词构造

• 两种手法：emoji stuffing，在词之间插入 emoji；emoji chaining，用 emoji 序列表示指令。论文称目的是让模型把 emoji 理解成恶意意图的一部分，同时保持表面隐蔽。
• 规模：共 50 条。Table 1 给出 5 条示例，说明 emoji 替换策略。提示词原文不复述。
• 规范化：提交前用 Unicode NFC 规范化 emoji。提示词从含编号和文本的 CSV 读入。

指标与判定

• 三类结局：Successful 为生成受限内容，如恶意代码或不伦理指令；Partial 为含糊、只部分涉及受限内容，且常被理解成正面语境；Failed 为拒绝或完全离题。
• 成功率：Successful 除以总提示词数再乘 100。
• 伦理合规：二值 Compliant / Non-compliant。第 4 节写明由结局派生：Failed 或 Partial 为合规，Successful 为不合规，不是独立的伦理评分。摘要将该项称为 safety alignment adherence。
• 延迟：从提交到收到回答的秒数，再对提示词取平均。

运行与统计

• 环境：Ollama API 逐条提交，GPU 为 NVIDIA RTX 3050。论文未报告重复次数或查询预算。
• 自动分类：每类 32 个关键词。论文给出各类示例词，此处不列词表。先按关键词归类，再人工复核。
• 记录：每条保存编号、提示词、模型、回答、结局、伦理合规、延迟和错误。
• 检验：结局归一为 Successful、Partial、Failed 后做卡方检验，阈值 p < 0.05，用来看模型间结局是否不同。

实验设置

• 被测模型：Mistral 7B、Qwen 2 7B、Gemma 2 9B、Llama 3 8B，均在本地 Ollama、NVIDIA RTX 3050 上运行。没有单独的攻击模型或 LLM 裁判。
• 数据：作者设计的 50 条 emoji 增强提示词，四模型共用。论文未报告类别比例。
• 基线：未设其他攻击方法。四个模型互相对照。
• 指标：成功率、伦理合规、平均延迟（秒）；结局为 Successful、Partial、Failed。
• 判定：每类 32 个关键词自动分类，再人工复核。论文未报告复核人数、与自动分类的一致性，以及重复次数。
• 统计：三类结局的卡方检验，阈值 p < 0.05。

主结果

据 Table 2，每个模型 50 条提示词：

Swipe horizontally to read the table

模型	成功率	伦理合规	平均延迟(s)
Gemma 2 9B	10.0%	66.0%	44.20
Llama 3 8B	6.0%	88.0%	32.22
Mistral 7B	10.0%	88.0%	25.30
Qwen 2 7B	0.0%	100.0%	34.04

• 作者的解读：作者称 Qwen 2 7B 完全抵抗越狱，并与 Gemma 2 9B 较低的伦理合规相对照。作者称 Gemma 延迟高、伦理合规相对较低，且在 9B 参数量下仍更易被绕过，出乎意料；作者认为对 emoji 序列处理得更深，可能增加脆弱性而不是增强安全。论文未把参数量作为对照变量。
• 设计取向：作者称 Qwen 2 7B 更强调严格安全，并以生成灵活性下降为代价；Gemma 2 9B 似乎更优先内容生成与许可；Mistral 7B 与 Llama 3 8B 处于中间。论文未单独报告灵活性或效用。
• 口径：第 4 节把非 Successful 标为合规。除 Qwen 2 7B 外，Table 2 的伦理合规不能由成功率或 Figure 2 的 Successful 条数按该规则得到。论文未解释。摘要写 10% 与 0%，Table 2 写 10.0% 与 0.0%。

结局分布

Figure 2 正文给出 50 条提示词的计数。图为热图，颜色越深表示计数越高；具体位置看不到。

Swipe horizontally to read the table

模型	Successful	Partial	Failed
Gemma 2 9B	5	15	30
Llama 3 8B	3	18	29
Mistral 7B	5	15	30
Qwen 2 7B	0	25	25

• 统计：作者报告 χ² = 32.94，p < 0.001，并称结局分布的模型间差异显著。摘要写 χ2 = 32.94，p < 0.001。
• 作者的解读：作者称相当一部分回答是部分遵从，emoji 带来语义含糊；提示词处于拒绝与完全遵从之间，表面安全机制与更深层语义理解不一致。
• 与摘要的差别：摘要称 Qwen 2 7B 达到 full alignment。Figure 2 中其 Successful 为 0，同时有 Partial。按第 4 节，Partial 记为合规。Gemma 2 9B 与 Mistral 7B 的三类计数相同，Table 2 的伦理合规不同。

作者称出乎意料的现象

• 抵抗与延迟：作者称 Qwen 2 7B 的零成功率与完全伦理合规出乎意料，也称 Gemma 2 9B 的高延迟与相对较低的伦理合规出乎意料。
• 意图被读成无害：第 6 节称模型把按恶意意图设计的提示词理解成无害或正面内容。Partial 的定义也写明回答常被理解成正面语境。论文未给失败案例原文。
• Figure 1：标题为 Outcome Distribution by Models，正文却复述 Table 2 的成功率、伦理合规和延迟，其中 Gemma 2 9B 延迟写 44.2 秒、Mistral 7B 写 25.3 秒。三类计数在 Figure 2。

其他消融与分析

• 论文未报告消融、两种手法的对照、解码参数、防御评测或迁移实验。
• 唯一报告的统计检验是上述卡方检验。
• 论文未报告人工复核与关键词分类不一致的条数。

作者指出的局限与后续方向

• 人工偏差：第 6 节称人工复核可能引入偏差，混合受限与无害内容的含糊回答难以归类。
• 提示词规模：第 6 节称 50 条提示词可能未覆盖 emoji 攻击的多样性，只是组合与语境变化的一小部分。
• 扩充数据：第 7 节提出把数据集扩到 50 条以外，纳入不同 emoji 组合与文化语境。
• 自动检测：第 7 节提出开发针对 emoji 越狱的自动、实时检测，以加强系统级防护。
• 其他输入与公平性：第 7 节提出考察符号或图像等非文本输入，以及 emoji 误读在不同用户群体上的公平性。部署建议是上线前用 emoji 增强提示词做测试。
• 结论中的后续工作：第 8 节称未来工作应研究更大、文化更多样的提示词集，以及结合 emoji 语义多模态表示的自动检测和混合缓解。作者并称需要 emoji 感知的防御，包括非文本 token 的规范化处理，以及扩大对抗评测。

实验覆盖范围

• 被测模型为 Mistral 7B、Qwen 2 7B、Gemma 2 9B、Llama 3 8B，共 4 个，经 Ollama 在 NVIDIA RTX 3050 上本地运行（第 3、4 节）。
• 每个模型提交同一批 50 条 emoji 增强提示词；报告成功率、伦理合规、平均延迟，以及三类结局计数（Table 2、Figure 2）。
• 分类为每类 32 个关键词再加人工复核。论文未报告复核人数、一致性、重复次数、采样参数和查询次数（第 4 节）。
• 模型间比较是三类结局的卡方检验，χ² = 32.94，p < 0.001（第 5 节）。论文未报告与其他攻击方法的对照结果。
• 相关工作讨论了针对 judge LLM 和分类器的 emoji 攻击；实验测的是四个生成模型的直接提示词结局。伦理合规与第 4 节映射、Figure 2 计数的对应关系，论文未另行说明。

作者用 emoji 增强提示词，直接看四个开源 LLM 会不会给出违反公开安全策略的输出，而不是去攻击安全评审模型。

• 问题：作者假设 emoji 可代替敏感词并改变提示词表示，从而绕过 token 级过滤和安全训练。受害系统是本地运行的生成模型；论文未写明白盒或黑盒。
• 做法：50 条提示词混合文本与 emoji，手法为词间填充和序列串联，经 Ollama 提交。回答先按每类 32 个关键词分类，再人工复核，分为成功、部分和失败。伦理合规由结局派生，不是单独评分。
• 成功率：Table 2 中，50 条提示词上 Gemma 2 9B 与 Mistral 7B 为 10.0%，Llama 3 8B 为 6.0%，Qwen 2 7B 为 0.0%，其伦理合规为 100.0%。Gemma 2 9B 的伦理合规为 66.0%，平均延迟为 44.20 秒。
• 分布：Figure 2 中成功条数为 Gemma 2 9B 5、Llama 3 8B 3、Mistral 7B 5、Qwen 2 7B 0；Partial 分别为 15、18、15、25。作者报告 χ² = 32.94，p < 0.001。摘要称 Qwen 2 7B 完全对齐，但该模型有 25 条 Partial，按第 4 节记为合规。
• 口径：除 Qwen 2 7B 外，Table 2 的伦理合规不能由第 4 节的结局映射从 Figure 2 推出。论文未解释。
• 作者结论：作者称 emoji 序列仍能绕过现有安全机制，部分遵从说明 emoji 带来语义含糊。作者称需要 emoji 感知的防御、非文本 token 的规范化处理，以及更大、文化更多样的对抗评测和自动检测。