Adversarial robustness of discrete image tokenizers

离散图像 tokenizer 的对抗扰动会改变 token，并传到所有使用它的下游模型。

• 场景：作者称这类 tokenizer 已用于自回归生成，以及 encoder-only、encoder-decoder 和 decoder-only 多模态系统，任务包括分类、检索和 VQA。tokenizer 被攻破后，使用它的模型都会受影响。
• 现有不足：作者称 CLIP 等编码器的对抗鲁棒性已有大量工作，离散图像 tokenizer 仍完全未被探索。它们依赖与 de-tokenizer 一起训练的深度网络，而不是 BPE 式的词表切分。
• 假设：最近邻量化分段常数；嵌入靠近单元边界时，小位移就可能改掉最近 code 与 index。
• 做法：作者先给出只扭曲 tokenizer、与下游任务无关的无监督攻击，再用同一攻击做无监督对抗微调。作者称这是首次系统测试并改进这类 tokenizer 的对抗鲁棒性。
• 威胁模型：
  • 目标：改变输出 token。描述任务上，把输入的 tokenization 配到与期望描述语义对齐的目标图像，而不直接访问 LLM。
  • 知识：无监督目标只用量化前嵌入；论文写明不需要 codebook、标签或下游信息。端到端监督攻击需要标签等任务信息，并作用于整个系统。
  • 能力：在实验所用的 ℓ∞ 球内加扰动，用 APGD 拉大嵌入距离。论文未使用 white-box、black-box 等术语。
  • 受害系统：基于 TiTok、FlexTok、UniTok 的分类器，FuseLIP，以及语言模型为 LLaMA-2-7B 的 UniTok-MLLM。

论文按图像 tokenizer 和编码器鲁棒性两条线回顾，并称离散图像 tokenizer 的鲁棒性尚未被研究。

图像 tokenizer

• VQ-VAE（Van Den Oord et al., 2017）把连续潜变量换成离散 code；Yu et al.（2022; 2024a）与 FSQ（Mentzer et al., 2024）在此基础上改进。
• 早期方法输出二维网格；TiTok（Yu et al., 2024b）、One-D-Piece（Miwa et al., 2025）、FlexTok（Bachmann et al., 2025）和 UniTok（Ma et al., 2025）输出一维 token 序列。论文转述 TiTok 少至 32 个 token 即可重建，UniTok 使用多 codebook 并加入 CLIP 监督。
• 连续 tokenizer（Fan et al., 2025）编码到连续特征空间。论文只把它作为连续编码的对照定义。

用作下游编码器

• Unified-IO（Lu et al., 2022）、4M（Mizrahi et al., 2023）、4M-21（Bachmann et al., 2024）用离散 tokenizer 处理图像和分割图；FuseLIP（Schlarmann et al., 2025）将其与 early fusion 及对比学习结合。
• decoder-only 模型如 Chameleon（Chameleon Team, 2024）、Xie et al.（2025）、Wang et al.（2025）和 Ma et al.（2025）用它做视觉与语言的理解及生成。
• 引言称自回归多模态模型里，LLM 参数量比图像 tokenizer 高一到两个数量级，端到端攻击因此更费计算。

对抗鲁棒性

• ℓp 有界鲁棒性已覆盖分类、分割和检测（Croce et al., 2020; 2024; Li et al., 2025）。攻击包括 Carlini and Wagner（2017）与 APGD（Croce and Hein, 2020），对抗训练包括 Madry et al.（2018）和 Zhang et al.（2019）。
• 图像扰动可控制 LLaVA 等模型的输出（Schlarmann and Hein, 2023; Qi et al., 2024）。Mao et al.（2023）与 Schlarmann et al.（2024）用对抗训练变体微调 CLIP 视觉编码器。
• 作者称据他们所知，离散图像 tokenizer 的鲁棒性此前未被研究；本文把 Schlarmann et al.（2024）的框架扩到离散 tokenizer。

基线与数据

• 基线方法：原始 tokenizer；端到端监督攻击（交叉熵 APGD 与 AutoAttack）；端到端监督对抗微调，更新 encoder、codebook 和分类器（Table 4）。
• 基准/数据集：Imagenette、Caltech101、ImageNet-1k、OI-Crop、OI-Pos、VQAv2、OK-VQA、GQA；COCO 用于描述定性例子，CC3M 用于额外微调。

作者称本文的无监督攻击与任务无关，同一攻击可直接用于微调；相对任务特定的监督防御，它能用无标签图像，并且换回原系统时不需要再适配。

整体上，无监督嵌入攻击先迫使 tokenizer 改掉量化前特征，再把同一目标用于无监督对抗微调，只更新 encoder。

离散 tokenizer 与攻击目标

• encoder 把图像 x 映成 T 个 d 维向量 h_i；codebook 有 K 个码字，每个 h_i 换成最近码字，得到 index q_i。TiTok-S128 与 TiTok-BL128 的 K=8192、d=64，每图 128 个 token；UniTok 用 8 个 codebook，每个 K=4096、d=8。输入均为 256×256。
• 最近邻量化分段常数。作者不直接优化不可导、且语义很少的 index，而在量化前嵌入空间攻击。
• 攻击求解 max_|δ|p≤ϵ∑_i=1^T|h_i(x+δ)−h_i(x)|₂²。含义是：在 ℓp 球内拉大各 token 量化前嵌入差的平方范数和，从而改变量化结果。正文亦称这是最大化 ℓ2 距离。
• 论文写明该目标不访问 codebook，也不使用下游标签。实验用 APGD。端到端攻击用 straight-through estimator 绕过不可导量化。

用重建观察攻击

• 同一无监督扰动可用对应 de-tokenizer 重建。Figure 2 为 2500 步 APGD，ε 为 4/255 和 8/255。
• 作者称分类上效果相近的攻击，重建随 tokenizer 而不同：TiTok 最变形，FlexTok 主体仍可辨认。作者称这提示结构差异可能影响鲁棒性。

无监督对抗微调

• 训练求解 min_θ1/(|D|)∑_{x∈ D}max_|δ|p≤ϵ∑_i=1^T|h_i^θ(x+δ)−h_i^θ_orig(x)|₂²。含义是：微调后的 encoder 在 ε 球内仍靠近原 tokenizer 对干净图的嵌入。
• 只更新 encoder，冻结 codebook、下游 decoder、LLM 和其他组件。作者称嵌入足够近时会落到同一 index，因此即使未精确解该式，也可能保住下游表现。
• 训练 1 个 epoch，ℓ∞，在线用 10 步 APGD；半径为 4/255、8/255、12/255、16/255。主数据为 ImageNet-1k，附录另用 CC3M。
• 作者给出的理由：与任务无关，可换回使用原 tokenizer 的系统；可用无标签图像；只训练 encoder，开销低于端到端监督对抗微调。

成功判定

• 分类、检索、VQA 报告干净准确率，以及 ℓ∞ 攻击下的鲁棒准确率。分类防御评测用 AutoAttack；检索用 100 步 APGD 交叉熵；VQA 用附录 A 的三组件集成攻击。评测使用固定的简短作答指令，正文给出原文，此处不复述。
• 图像描述无数值指标。无监督设定最小化扰动图与目标图像的嵌入距离；监督设定最大化 LLM 生成指定字符串的概率。是否跟随目标由 Figure 3、Figure 4 定性展示。

实验设置

• Tokenizer：微调对象为 TiTok-BL128、TiTok-S128（附录）和 UniTok，只更新 encoder。Figure 1 另含 FlexTok，未做该微调。TiTok 预训练于 ImageNet-1k，骨干为 ViT-S 或 ViT-B；UniTok 骨干为 ViT-L/16，作者称其预训练用 DataComp 的 1.28 billion 图文对。
• 下游系统：FuseLIP-S/B 分别使用 TiTok-S128/BL128；UniTok 做零样本分类；UniTok-MLLM 的语言模型为 LLaMA-2-7B。Figure 1 在 TiTok 量化特征上训练 ViT probe，在 FlexTok 上训练 linear probe。
• 数据：分类为 Imagenette、Caltech101，UniTok 另加 ImageNet-1k；检索为 OI-Crop、OI-Pos；VQA 为 VQAv2、OK-VQA、GQA；描述定性用 COCO。附录 A 写明 Imagenette 与 Caltech101 各 500 张测试图。
• 攻击：分类防御评测用 AutoAttack；检索为 100 步 APGD 交叉熵；VQA 为半精度 100 步 APGD-CE 加两种定向攻击（附录 A，目标词不复述）。无监督攻击优化嵌入距离。扰动为 ℓ∞，主评测半径为 2/255 与 4/255。
• 训练：1 epoch，10 步 APGD，半径 4/255 到 16/255，ImageNet-1k；CC3M 只用于第 5 节对比。论文未报告重复次数，也未使用单独的 LLM 评审模型。
• 指标：干净准确率与鲁棒准确率（%）。

主结果

据 Table 1–3 的平均值（%）。AT8 表示训练半径 8/255。

| 系统 | 原版 clean | 原版 ε=4/255 | AT8 clean | AT8 ε=4/255 | 出处 | | FuseLIP 四数据集 | 77.3 | 0.6 | 72.2 | 38.3 | Table 1 | | UniTok 分类三数据集 | 84.1 | 0.0 | 77.8 | 50.1 | Table 2 | | UniTok-MLLM VQA | 66.9 | 6.4 | 59.1 | 39.4 | Table 3 |

• 作者称训练半径控制干净与鲁棒的交换：FuseLIP 上半径从 4/255 到 16/255 时，ε=4/255 平均鲁棒准确率从 27.0% 到 40.6%，干净准确率从 74.6% 到 63.5%（Table 1）。ε=2/255 一列不是单调上升：AT 12/255 为 55.3%，AT 16/255 为 52.6%。
• 作者称 UniTok 上 16/255 的训练可能过大：平均干净准确率 66.7%、ε=4/255 鲁棒准确率 49.3%，都低于 AT 12/255 的 72.8% 与 51.5%（Table 2）。
• 原版并非处处为 0.0%：UniTok 分类三数据集在 ε=2/255 与 4/255 均为 0.0%（Table 2）。VQA 原版在 ε=4/255 的平均为 6.4%，其中 OK-VQA 为 0.8%、GQA 为 10.0%（Table 3）。FuseLIP 原版 OI-Crop 在 ε=2/255 为 7.4%（Table 1）。

无监督攻击与端到端攻击

• Figure 1 在 Imagenette 的 500 张图上，用 100 步 APGD 比较无监督攻击与使用标签的端到端攻击，横轴为缩放到 [0, 255] 的 ε。文本未给出曲线端点数值。
• 作者称多数情况下无监督攻击接近端到端攻击，小 ε 时更差；并称这些分类器对对抗扰动很脆弱。
• Figure 2 在 2500 步、ε=4/255 与 8/255 下重建。作者称 TiTok 的解码图最变形，FlexTok 主体仍可辨认。

图像描述定向攻击

• 受害模型为 UniTok-MLLM；鲁棒 tokenizer 在 ImageNet 上以 ε=8/255 微调。无监督攻击最小化扰动图与目标图像的嵌入距离，ε=4/255、2000 次迭代（Figure 3）。
• 监督攻击用 APGD-CE 提高指定字符串的生成概率。图注为 ε=4/255、2000 次迭代（Figure 4）。作者把目标描述归为欺诈、操控和骚扰，具体句子不复述。
• 作者称原版会生成关于目标图像或指定目标的描述，鲁棒版仍描述原图。正文一处把强度写成 4/155，图注为 4/255。

端到端微调与训练数据

• Table 4 的 Imagenette 列用 ViT probe，ε=2/255，AutoAttack 中的 APGD-CE 与 APGD-T：原版 75.8% / 0.0%；端到端 AT 90.6% / 79.4%；无监督 AT（ImageNet）84.2% / 64.4%；AT（CC3M）87.6% / 67.0%。
• 作者称端到端微调在该训练任务上干净与鲁棒准确率最高，但插回 FuseLIP 后 OI-Pos、OI-Crop 的干净性能下降，并称这是对训练任务过拟合。Table 4 的检索列与 Table 5、Table 7 对不上，此处不引用那些检索数字。
• 作者称 TiTok/FuseLIP-S、10 步 APGD 下，只训 encoder（25.8M）每样本 1.17s，监督全模型（68M）为 2.56s，即 2.2× 的训练时间缩减。

其他消融与分析

• Table 9：FuseLIP-S、100 步 APGD、ε=4/255 时，Option 1 鲁棒准确率 37.8%，Option 4 为 50.2%。作者称 Option 1 在几乎所有设置下最低；ε=2/255 时 Option 2 为 70.6%，低于 Option 1 的 70.7%。
• Table 10：500 张 ImageNet 图、100 步。未成功攻击在 ε=4/255 仍平均改掉 FuseLIP-S 的 125.4 个、FuseLIP-B 的 126.0 个 index（共 128）。AT 8/255 及以上在该表各格为 0.0。作者称只改 index 不足以构成有效攻击。
• Table 5：TiTok-S128 接入 FuseLIP-S，原版平均鲁棒准确率 ε=2/255 为 4.4%、ε=4/255 为 0.4%；AT 8/255 为 49.7% 与 33.2%，干净平均从 70.2% 降到 67.3%。
• Table 8：无监督攻击 100 步，ImageNet-1k 原版 UniTok 在 ε=2/255 至 16/255 均为 0.0%；AT 8/255 在 ε=8/255 为 42.9%，在 ε=16/255 为 3.8%。同设置下 ε=2/255 为 61.7%，高于其干净准确率 58.3%，论文未解释。
• Table 6 图注称 FuseLIP-S 在 CC3M 与 ImageNet-1k 上微调的差别可忽略，因而更倾向小 3× 的 ImageNet-1k。第 5 节则称 Table 4 里 CC3M 略好于 ImageNet。
• Figure 5 图注：无监督定向攻击（ε=8/255、100 步）改变对抗图及其重建的类别；监督攻击改变对抗图类别，重建仍接近原输入且类别未变。鲁棒模型对两者都保持正确预测。

作者指出的局限与后续方向

• 论文未专门讨论局限，没有单独的 Limitations 小节。
• Discussion and Conclusion 写明，后续可以在本文结果上研究 tokenizer 设计选择如何影响鲁棒性，并发展专门的改进办法；点名的选择是 VQ 与 FSQ、codebook 大小和特征维度（第 6 节）。

实验覆盖范围

• 对抗微调的 tokenizer 为 TiTok-S128、TiTok-BL128 和 UniTok。FlexTok 出现在 Figure 1 的攻击对比中；第 4 节写明微调实验使用 TiTok 与 UniTok。
• 定量任务为零样本分类、多模态检索和 VQA；COCO 描述与重建分析是定性的（第 4–5 节，Figure 2–5）。
• 扰动约束为 ℓ∞。分类防御评测用 AutoAttack，检索用 100 步 APGD，VQA 用附录 A 的集成攻击；描述定向攻击为 2000 次迭代。
• 微调 1 个 epoch，只更新 encoder。主数据为 ImageNet-1k，另在 CC3M 上对比；训练半径为 4/255、8/255、12/255、16/255（第 4 节、附录 A）。
• 附录 A 写明 Imagenette 与 Caltech101 各 500 张测试图；Table 10 用 500 张 ImageNet 图。论文未报告重复次数，也未报告 ImageNet-1k、VQA 和检索评测的样本量。

作者研究离散图像 tokenizer 的对抗鲁棒性，给出与任务无关的嵌入攻击，以及只微调 encoder 的无监督对抗训练。

• 问题：tokenizer 把图像变成有限词表上的 token，再被分类器、FuseLIP 和 UniTok-MLLM 使用。作者称其鲁棒性此前未被研究，且会传到下游。
• 攻击：在 ℓ∞ 球内最大化量化前嵌入距离，不需要标签、codebook 或 LLM。同一目标用于在线生成训练扰动。
• 防御：冻结 codebook 和下游组件，在 ImageNet-1k 上做 1 个 epoch 微调，半径 4/255 至 16/255。作者称微调后的 tokenizer 可直接换回原系统。
• 分类与检索：UniTok 原版在 ImageNet-1k、Imagenette、Caltech101 上，AutoAttack ε=4/255 的准确率均为 0.0%；AT 8/255 的三集平均鲁棒准确率为 50.1%，干净平均由 84.1% 降到 77.8%（Table 2）。FuseLIP 原版在 ε=2/255 的四集平均鲁棒准确率为 4.0%，AT 8/255 为 55.2%（Table 1）。
• VQA 与描述：UniTok-MLLM 的 VQA 平均鲁棒准确率在 ε=4/255 从 6.4% 到 39.4%（AT 8/255，Table 3）。作者称定向描述攻击下，原版跟随目标图像或指定字符串，鲁棒版仍描述原图（Figure 3、Figure 4）。
• 作者结论：作者称该防御对无监督和端到端监督攻击都提高了鲁棒准确率，并能用到未参与微调的任务与数据；相对端到端监督微调，它可用无标签图像，且训练时间有 2.2× 的缩减。后续可研究 VQ、FSQ、codebook 大小和特征维度。