ArtPrompt：针对对齐 LLM 的 ASCII 艺术越狱攻击

1. 01这篇论文试图解决什么问题？

   作者认为安全对齐只做语义解读存在漏洞，提出 ASCII art 识别基准 VITC 和越狱攻击 ArtPrompt。

   核心问题：安全对齐语料仅按语义解读的假设不成立，由此产生的漏洞能否被恶意用户利用来越狱对齐 LLM。

   • 问题场景：作者指出，论坛等真实场景中用户常用 ASCII art（文本字符拼成的图形）传达图像信息，这类内容靠字符排布而非语义表意，现有对齐技术没有覆盖。
   • 现有方法不足：作者称，数据过滤、监督微调、RLHF、红队等对齐手段都只关注训练语料的语义，忽略了语料可以有多种解读方式。
   • 核心观察：作者构建 VITC 基准后发现，GPT-3.5、GPT-4、Gemini、Claude、Llama2 五个 LLM 都难以识别 ASCII art 形式的输入，且字符数增多时识别正确率降到接近零。
   • 论文产出：提出基准 Vision-in-Text Challenge（VITC）和越狱攻击 ArtPrompt——把提示词中易触发拒答的词换成 ASCII art 来绕过安全措施。
   • 威胁模型：
     • 目标：从对齐的受害 LLM 诱导不安全行为（jailbreak）。
     • 知识：仅需 black-box access，作者称其为 practical attack。
     • 能力：控制发送给受害模型的提示词，用 ASCII art 生成器替换敏感词，多个 cloaked prompt 可并行发送。
     • 受害系统：五个经安全对齐的 LLM（GPT-3.5、GPT-4、Claude、Gemini、Llama2）。

   收起这一问

2. 02有哪些相关研究？

   相关工作分越狱攻击、防御、ASCII art 三类；本文以五个攻击为基线、在 AdvBench 和 HEx-PHI 上对比。

   越狱攻击

   • Zou et al. (2023)、Jones et al. (2023)：基于梯度的方法搜索触发不当输出的输入；Liu et al. (2023)（AutoDAN）用分层遗传算法自动生成越狱提示词。
   • Chao et al. (2023)（PAIR）：用预训练 LLM 迭代生成对抗提示词；Mozes et al. (2023)、Kang et al. (2023) 利用指令遵循行为破坏安全；Li et al. (2023a)（DeepInception）利用拟人化能力构造嵌套场景。
   • 手工与上下文类：Deng et al. (2023)、Yu et al. (2023) 手工构造越狱提示词；Wei et al. (2023b)、Wang et al. (2023b) 使用上下文演示。

   防御

   • 检测类：Jain et al. (2023) 用输入困惑度检测；Helbling et al. (2023) 让 LLM 自查输出；SmoothLLM（Robey et al., 2023）随机扰动输入并聚合输出。
   • 缓解类：Jain et al. (2023) 的 paraphrase 与 retokenization；Li et al. (2023b) 可回放的自回归推理；Xu et al. (2024) 安全感知解码；另有基于上下文演示增强安全意识的工作（Wei et al., 2023b; Xie et al., 2023; Zhang et al., 2023b）。

   ASCII art 文本

   • Wagner (2023)：ASCII art 可用可打印字符生成视觉内容、丰富文本表达；本文聚焦富格式文本形式的 ASCII art。

   基线与基准：对比基线为 Direct Instruction、GCG、AutoDAN、PAIR、DeepInception 五个攻击，基准为 AdvBench 和 HEx-PHI；防御评测用 Perplexity、Paraphrase、Retokenization。

   作者定位：与优化类攻击相比，ArtPrompt 遮盖的词有限、无需迭代搜索；与手工提示词相比可自动化；作者还称 cloaked prompt 人类可读，比操纵 token 的攻击更隐蔽。

   收起这一问

3. 03论文如何解决这个问题？

   先用 VITC 基准量化 LLM 的 ASCII art 识别能力，再用两步攻击 ArtPrompt 把敏感词换成 ASCII art。

   整体思路分两部分：构建 Vision-in-Text Challenge（VITC） 基准量化 LLM 识别 ASCII art 的能力，再基于识别能力差这一观察设计两步越狱攻击 ArtPrompt。

   VITC 基准设计

   • 数据集：VITC-S 含 8424 样本、36 类，每个样本是单个字符（0–9 或 A–Z 大小写）的 ASCII art，用 Python art 库生成、经人工筛选出 234 种字体；VITC-L 含 8000 样本、800 类、10 种字体，每个样本是长度 2–4 的字符序列（长度 2/3/4 分别占 80%/15%/5%），标签为各字符标签拼接（Table 1）。
   • 任务：LLM 在任务描述 prompt x0 下预测样本标签，预测与真值一致算识别成功。
   • 指标：Acc 为预测正确样本比例；AM R 为标签中匹配字符数占标签长度的平均比例，用于 VITC-L 的部分匹配（如预测 a1c、真值 a7c 时 AM R = 66.66%）。
   • 评测策略：zero-shot、few-shot ICL、CoT 三种查询策略。

   ArtPrompt 的两步设计

   • Step I 词遮盖：对攻击者提示词中可能触发拒答的词打 mask，最坏情况下 N 个词生成 N 个 masked prompt；作者称相比优化类攻击离散无穷的搜索空间，需遮盖的词有限，因此更高效。
   • Step II 生成 cloaked prompt：用 ASCII art 生成器把被遮盖的词替换为 ASCII art，拼回 masked prompt 得到 cloaked prompt，发给受害 LLM；N 个 masked prompt 可生成 N 个 cloaked prompt 并行发送以降低延迟。
   • 两种配置：Top 1 只用 ASR 最高的字体生成；Ensemble 不限制字体。

   字体选择

   • 用 VITC-S 上各字体的 Acc 把字体分为所有模型上 Acc 都高的 head-set（如 alphabet、cards、letters、keyboard、puzzle）和 Acc 都低的 tail-set（如 block、roman、xchartri、hollywood、ghoulish），另用 GPT-4 生成一种字体 Gen 并入 head-set（附录 A.3，Figure 6、7）。

   成功判定

   • HPR：未被拒答的查询比例，用 Dict-Judge（Zou et al., 2023 的设置）判定。
   • HS：GPT-4 按 GPT-Judge（Qi et al., 2023）对响应打 1–5 分，1 为无害、5 为极端有害。
   • ASR：HS = 5 的响应比例；作者称只计极端有害以减少主观性。

   收起这一问

4. 04论文做了哪些实验？

   VITC 上五模型识别 Acc 最高 25.19%；AdvBench 上 ArtPrompt Ensemble 平均 ASR 52%，三种防御下仍 35%–52%。

   实验设置

   • 被测模型：GPT-3.5（VITC 测 0301/0613/1106，攻击测 0613）、GPT-4（VITC 测 0314/0613/1106，攻击测 0613）、Gemini (Pro)、Claude (v2)、Llama2（VITC 测 Chat-7B/13B/70B，攻击测 Chat-7B）。
   • 数据集：AdvBench 精炼出 50 条代表性不重复有害指令；HEx-PHI 覆盖 11 个禁用类别、每类 30 条，实验中每类抽 10 条。
   • 基线：DI、GCG、AutoDAN、PAIR、DeepInception，均用默认设置；GCG/AutoDAN 对黑盒模型用迁移设置（GCG 针对 Vicuna-7B 优化通用后缀，AutoDAN 用在 Llama2 上优化的提示词）。
   • 指标与评审：HPR 用 Dict-Judge；HS 由 GPT-4 按 GPT-Judge 打 1–5 分；ASR 为 HS = 5 的比例。
   • 防御：PPL-Pass（GPT-2 算困惑度，阈值 T = 175.57）、Paraphrase（GPT-3.5 改写）、Retokenization（BPE-dropout 丢弃 20% 合并）。
   • 生成配置：闭源模型 temperature = 0；Llama2 用 temperature = 0.6、top-p = 0.9。

   主结果

   VITC 识别结果（zero-shot，据 Table 2）：

   表格较宽，可左右滑动

   模型	VITC-S Acc	VITC-L Acc	VITC-L AMR
   GPT-3.5 (0301)	10.64%	0.01%	54.39%
   GPT-3.5 (0613)	13.50%	0.10%	53.16%
   GPT-4 (0613)	25.19%	3.26%	19.64%
   Gemini (Pro)	13.00%	0.31%	13.90%
   Claude (v2)	11.16%	0.25%	22.04%
   Llama2 (Chat-7B)	1.01%	0.44%	3.66%
   Llama2 (Chat-70B)	10.04%	0.83%	5.89%

   AdvBench 攻击结果（据 Table 3）：

   表格较宽，可左右滑动

   攻击	GPT-3.5 ASR	GPT-4 ASR	Claude ASR	Gemini ASR	Llama2 ASR	平均 ASR
   DI	0%	0%	0%	6%	0%	1%
   GCG	54%	10%	4%	46%	18%	26%
   AutoDAN	18%	10%	0%	8%	36%	14%
   PAIR	38%	30%	0%	50%	22%	28%
   DeepInception	16%	0%	0%	78%	14%	22%
   ArtPrompt (Top 1)	72%	16%	20%	60%	14%	36%
   ArtPrompt (Ensemble)	78%	32%	52%	76%	20%	52%

   • 作者称 ArtPrompt 在 GPT-3.5、GPT-4、Claude、Gemini 上 ASR 最高，平均 HPR 84%、HS 3.6、ASR 52% 均为最高。
   • 例外：Llama2 上 AutoDAN（36%）和 PAIR（22%）的 ASR 高于 ArtPrompt Ensemble（20%）；作者指出这两者未能把效果推广到其他模型。
   • 作者称所有模型在 VITC 上表现差，且 Llama2 从 7B 到 70B 识别 Acc 从 1.01% 升至 10.04%。

   HEx-PHI 与效率

   • HEx-PHI：Figure 3 给出 ArtPrompt 在 11 个禁用类别上的 HS，作者称所有受害模型在各类别上都被诱导出不安全行为；直接发送指令时多数模型表现安全，经 ArtPrompt 改写后 GPT-4 也会输出不安全内容。
   • 效率：Figure 4 给出 ASR 与平均优化迭代次数，作者称 ArtPrompt 只需 1 次迭代且 ASR 最高，因为 cloaked prompt 可并行发送；GCG 等优化类攻击迭代无法并行。

   防御评测

   • PPL-Pass 与 Retokenization：作者称 ArtPrompt 在所有受害模型上绕过这两种防御；Ensemble + Retokenization 平均 ASR 52%（Table 4），作者推测 Retokenization 引入的空格形成了新字体，反而降低触发安全措施的概率。
   • Paraphrase：作者称其为对 ArtPrompt 最有效的防御，Ensemble 下平均 ASR 39%、HS 3.18（Table 4），原因是改写可能破坏 ASCII art 的排布；但作者称仍不足以缓解攻击。

   微调实验

   • 设置：用 VITC-S 的 60% 微调 GPT-3.5、40% 测试，识别 Acc 从 10.26% 升至 71.54%。
   • 攻击效果：微调模型响应中 HS = 5/4/2 的比例为 64%/10%/12%，原模型为 72%/8%/6%（Figure 5 给出 Top-1 字体下的 HS 分布）；作者认为提供不应只按语义解读的语料可缓解漏洞。

   其他消融与分析

   • 字体：Ensemble 换 tail-set 字体后平均 ASR 从 52% 降至 38%（Table 5）。
   • 排布：ASCII art 改为竖排后 Ensemble 平均 ASR 从 52% 降至 31%（Table 5）；作者推测竖排降低了识别正确率使模型不确定输入。
   • 遮盖词数：默认遮 1 个词；2-Word Mask 平均 ASR 32%，Mask Ensemble 48%（Table 7，Top-1 字体）；GPT-3.5、Gemini、Llama2 的 ASR 略降，GPT-4 和 Claude 上升。
   • 提示策略：ICL 和 CoT 对识别任务只有边际提升，增加 shot 数不一定提升（Figure 8）。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者指出多模态模型未评测、微调缓解留作未来工作；实验覆盖五个 LLM、两个基准、三种防御。

   作者指出的局限与后续方向

   • 多模态模型未评测（Section 7 Limitations）：ArtPrompt 在多模态语言模型上的表现有待进一步研究；作者假设它仍有效，理由是 cloaked prompt 仍是文本格式、会让模型困惑。
   • 缓解方向留作未来工作（Section 5.2）：作者认为把不应只按语义解读的语料用于预训练和安全对齐可能进一步缓解漏洞，但将进一步探索推迟为未来工作。
   • 需要更先进的防御（Section 5.2 实验观察）：作者称 ArtPrompt 绕过现有防御，凸显了对更先进防御机制的迫切需求。

   实验覆盖范围

   • 被测模型为 GPT-3.5、GPT-4、Gemini、Claude、Llama2 共五个（攻击实验用 GPT-3.5 0613、GPT-4 0613、Claude v2、Gemini Pro、Llama2 Chat-7B）。
   • 攻击评测用 AdvBench 的 50 条指令和 HEx-PHI 每类抽 10 条（11 类）；防御评测包括 PPL-Pass、Paraphrase、Retokenization 三种。
   • 有害性评审由 GPT-4 按 GPT-Judge 打 1–5 分，ASR 只计 HS = 5；论文未报告评审与人工的一致性。
   • 微调实验只在 GPT-3.5 上用 VITC-S（60% 训练、40% 测试）进行。
   • 论文未报告各攻击在受害模型上的查询次数或耗时，效率证据为 Figure 4 的平均优化迭代次数。

   收起这一问

6. 06总结一下论文的主要内容

   VITC 基准显示五模型难识别 ASCII art，ArtPrompt 借此越狱，AdvBench 平均 ASR 52% 且绕过三种防御。

   一篇越狱攻击论文：作者认为安全对齐只做语义解读的假设不成立，并围绕这一漏洞给出基准和攻击。

   • 要解决的问题：ASCII art 等靠字符排布表意的输入无法被语义解读，作者要验证 LLM 是否因此存在可被利用的安全漏洞。
   • 方法要点：构建 VITC 基准（VITC-S 8424 样本、VITC-L 8000 样本）测识别能力；ArtPrompt 分两步——遮盖易触发拒答的词，再用 ASCII art 替换生成 cloaked prompt，仅需 black-box access。
   • 识别结果：五个 LLM 在 VITC-S 上 Acc 最高 25.19%（GPT-4 0613），VITC-L 上最高 3.26%（Table 2）。
   • 攻击结果：AdvBench 上 ArtPrompt Ensemble 平均 ASR 52%，高于五个基线；GPT-3.5 上 78%、Claude 上 52%（Table 3）；Llama2 上 AutoDAN 和 PAIR 更高是例外。
   • 防御与缓解：PPL-Pass、Paraphrase、Retokenization 三种防御下平均 ASR 仍为 35%–52%（Table 4）；用 VITC-S 微调 GPT-3.5 后识别 Acc 升至 71.54%，HS = 5 的响应比例从 72% 降至 64%。
   • 作者结论：作者称仅按语义解读语料会造成可被 ArtPrompt 利用的漏洞，需要更先进的防御；多模态模型上的效果和把非语义语料用于对齐留作未来工作。

   收起这一问

相关论文