对网络规模训练数据集投毒切实可行

核心问题：攻击者能否在现实中把恶意样本实际注入 web 规模训练数据集，而不只是假设已能修改数据。

• 场景与重要性：现代模型用从互联网抓取的数十亿样本训练，无法逐条人工审核；作者引用既有工作称，低至 0.001%–0.01% 的投毒率即可造成定向误分类或植入后门，因此只要攻击者能放入少量样本就可能造成危害。
• 现有研究的缺口：已有数百篇投毒论文都先假设攻击者已能修改训练数据，再讨论影响、隐蔽性与防御；作者称它们没有回答一个前置问题——攻击者如何确保恶意数据真的被收进 web 规模数据集。
• 核心观察：由于存储成本、隐私与版权限制，许多数据集不以静态文件发布，而是发布 URL 索引让客户端自行抓取（分布式数据集），或定期发布众包内容快照（集中式数据集）；攻击者由此能确定该投毒哪些网页、甚至何时投毒。
• 论文的贡献：提出 split-view 与 frontrunning 两种攻击，在 10 个流行数据集上验证可行性，提出完整性校验与基于时序的两类防御，并向受影响的数据集维护者和 Wikipedia 做了负责任披露。
• 威胁模型（§3.2）：
  • 目标：篡改少量 URL 的内容，使客户端或策展方在未来访问时得到被投毒的数据集 D′ ≠ D。
  • 知识：无专门或内部知识，仅知道策展方公开的数据集 URL 集合。
  • 能力：可在某时间点篡改少量 URL 的内容；不能修改索引中的辅助数据 ci（标签/文本描述），不能增删 URL；维护者、策展方、下载者均诚实。
  • 受害系统：分布式数据集（客户端按索引抓取，不校验密码学完整性）与集中式快照数据集（策展方检测恶意修改至少需要时间 ∆）。

投毒与后门攻击（假设已能改数据）

• Biggio 等 [11]、Chen 等 [22]、Gu 等 [32] 等：针对全监督分类器的早期投毒与后门攻击，多在经人工整理的数据集上，常要求对人类标注者不可察觉。作者指出本文攻击面向未整理数据集，不需要这种隐蔽性。
• Carlini [17]、Carlini & Terzis [18]：在未整理数据集上，0.001%–0.01% 的投毒率即可实现定向误分类或植入后门；本文的投毒率门槛与模拟实验（§4.5）直接建立在这两篇工作上。
• 其余大量文献：论文以引用串形式列出投毒攻击、防御与绕过防御的工作，未逐一讨论。

过期域名与残余信任劫持

• Lever 等 [52]、Lauinger 等 [47][48]、So 等 [93]：攻击者例行购买过期域名以劫持其残余信任，曾用于失效银行域名、JavaScript 库、邮箱与权威域名服务器。作者称本文把同一现象用于投毒分布式数据集。

Wikipedia 与众包内容安全

• Shachaf & Hara [87]、Stvilia 等 [96]：Wikipedia 上的恶意编辑（破坏行为）并不罕见。
• Wikipedia 文档 [108]：破坏编辑平均几分钟内被人工回退；作者以此说明随机时机的恶意编辑难以影响数据集收集，从而引出 frontrunning 的精确计时需求。

数据质量与伦理

• Birhane 等 [12]、Luccioni & Viviano [58]：LAION-400M 与 Common Crawl 等未整理数据集含有害内容；Birhane 等同时指出过滤机制可能抹除边缘群体经验，作者据此说明数据整理并非完美解法。

基线与对比设置：本文没有对比基线方法；§4.5 的模拟实验复用 Carlini & Terzis [18] 的对比学习投毒方法，但把设置改为数据集大 100 倍以上、且攻击者不能控制文本标注。评测对象为 Table 1 列出的 10 个真实数据集与 Wikipedia/Wiki-40B 快照。

定位：作者称已有文献分别回答投毒的影响、隐蔽性与防御，而本文回答前置问题——攻击者是否真能把投毒样本放进 web 规模数据集，并给出可立即实施的攻击与低成本防御。

整体思路：web 规模数据集分两类——维护者只发布 URL 索引的分布式数据集，和策展方定期发布内容快照的集中式数据集；两类都让攻击者能确定投毒目标甚至时机。论文据此设计 split-view poisoning 与 frontrunning poisoning，再分别给出完整性与时序防御。

问题形式化（§3.1–3.2）

• 分布式数据集：维护者发布 N 个 (url, c) 元组，c 为标签等辅助数据，不提供内容快照；客户端在未来时刻自行抓取各 URL。
• 集中式数据集：策展方在时刻 ti 从各 URL 取内容生成快照并公开发布，定期（如每月）重新收集。
• 攻击者能力：攻击者可在时刻 t̂ 篡改集合 Sadv 内 URL 的内容，使之后访问者得到 D′ ≠ D；不能修改辅助数据 c，不能增删 URL。

Split-view poisoning（§4.1）

• 机制：数据集中部分域名会过期，任何人可购买；攻击者买下过期域名后，即可向所有后续下载者返回任意内容，而索引中的文本标注保持不变。
• 选域策略：按"托管图像数 ÷ 购买成本"降序购买以最小化每张投毒图像的成本，或按辅助数据选择托管特定内容的域名。
• 测量方法：2022 年 5 月和 8 月从两个数据中心对每个域名做 nslookup，四次查询均返回 NXDOMAIN 判为过期；至少一家注册商挂牌出售判为可购买；按 1,000 美元总预算计算可购买图像比例。
• 影响测量：每个数据集购买 3 个最热门可购域名和 3 个随机可购域名，被动记录 HTTP/HTTPS 请求 12 个月；用精确率（≥50% 请求指向该数据集 URL）与召回率（覆盖 ≥90% 受控 URL 且 6 个域名均至少访问一次）双约束识别真实下载行为。
• 伦理保护：实际不投毒——所有受控 URL 返回 404，根域名返回 403 及研究说明，放置 robots.txt，并承诺应原所有者要求归还域名；研究经机构 IRB 认定"exempt"。

Frontrunning poisoning（§5）

• 机制：Wikipedia 禁止直接爬取，训练数据集使用其官方快照；快照在每月 1 日和 20 日由 n 个并行 worker 按文章 ID 顺序线性抓取，全程近一天，因此每篇文章的抓取时刻不同且可预测。
• 时间预测：由 Wikimedia 公布的快照开始时间与上次快照的抓取节奏，按 ti ≈ t0 + (ti,prev − t0,prev) 外推；ti,prev 通过对同一 job 内"最后被收录编辑"与"首个未收录编辑"的时间区间做线性拟合估计（Figure 4）。
• 回退速度估计：被动收集 2021 年 1 月至 2022 年 6 月共 18 个月的 Wikipedia 编辑，按回退评论中的固定字符串识别回退，测量编辑存活时间分布（Figure 6）；不实际注入恶意编辑。
• 成功率下界：引入调整量 a 在预测时刻 t̂i + a 编辑，平衡"编辑太晚错过快照"与"编辑太早被回退"两种失败，对 a 扫描取最大值得到可投毒比例下界 A(a) = 1/(|D|)∑_{i∈ D}(1−prev(t̂_i+a; t_i^high))·(1−𝟙[t̂_i+a > t_i^low])，即同时未被回退且未错过快照的文章比例。
• 多语言扩展：对 Wiki-40B 中 35 种非英语语言重复上述分析（德语、中文、捷克语快照数据无法获取，他加禄语数据不足）。

下游效果验证（§4.5、附录 B）

• 设置：在 LAION-400M 上本地训练 OpenCLIP（ViT-B-32，32 epochs，batch size 3072，16 张 A100），把可购买域名下的图像本地替换为投毒样本，不对外造成危害。
• 两个目标：让特定图像被零样本分类到 ImageNet 目标类别；让良性图像被 Stable Diffusion Safety Filter 误判为 NSFW。各选 10 个目标，每个目标投毒 1,000 张图像，域名总成本控制在 1,000 美元内。

防御（§6）

• 完整性校验：维护者在索引中附加内容的密码学哈希（SHA-256），下载者校验 H(x′) = h，不匹配则丢弃；作者向各维护者披露后，CC3M、CC12M、LAION-2B-en、LAION-2B-multi、LAION-1B-nolang、LAION-400M 已加入 SHA-256 哈希，作者并为 img2dataset 实现了哈希校验选项。
• 时序防御：随机化快照顺序并拉长快照时长，或冻结内容后等待 T > ∆ 再由可信审核者应用回退；作者称英文 Wikipedia 若把快照均匀随机到 24 小时可保护 89.5% 的文章，把审核窗口从 5 分钟延到 1 天可使回退率从 50% 升至 90%。

实验设置

• 测量对象：Table 1 列出 13 行数据集，其中正文称研究了 10 个流行数据集（PubFig、FaceScrub、VGG Face 三个人脸数据集与七个多模态数据集；MMC4-FF、Falcon RefinedWeb、OBELISC 为论文首发后发布、列入表中对照）。
• 域名测量：2022 年 5 月与 8 月从两个数据中心做 nslookup，四次 NXDOMAIN 判过期；2022 年 8 月注册商挂牌判可购买；成本按 2023 年 7 月 Google Domains 报价。
• 下载量测量：每数据集购 6 个域名，被动记录请求 12 个月（2022 年 8 月起），约 1,500 万请求/月；精确率 ≥50% 且召回率 ≥90% 双约束识别下载。
• 模拟投毒：OpenCLIP ViT-B-32，LAION-400M 上训练 32 epochs、batch size 3072、16 张 A100；每目标投毒 1,000 张图（占数据集 0.00025%），共 10 个 ImageNet 目标类与 10 张 NSFW 目标图。
• Wikipedia 分析：英文 Wikipedia 2021 年 1 月–2022 年 6 月全部编辑；快照时间预测误差以区间上界衡量；Wiki-40B 中 35 种非英语语言。
• 重复次数：论文未报告模拟投毒实验的重复次数或方差。

主结果

Table 1 各行（过期域名比例与 1,000 美元可购买比例，2022 年 8 月测量；下载量为每月）：

表格较宽，可左右滑动

数据集	过期域名图像占比	$1K 可购买	每月下载
COYO-700M	1.51%	≥ 0.10%	≥5
LAION-400M	0.71%	≥ 0.05%	≥10
Conceptual 12M	1.19%	≥ 0.12%	≥33
CC-3M	1.04%	≥ 0.08%	≥29
LAION-2B-en	0.29%	≥ 0.01%	≥7
VGG Face	3.70%	≥ 0.17%	≥3
FaceScrub	4.51%	≥ 0.61%	≥7
PubFig	6.48%	≥ 0.32%	≥15

（据 Table 1；LAION-2B-multi 为 0.55%/≥0.02%/≥4，LAION-1B-nolang 为 0.37%/≥0.02%/≥2，MMC4-FF、Falcon RefinedWeb、OBELISC 三行下载量未报告。）

• 成本：作者称按 Figure 1，控制每个数据集至少 0.01% 的图像成本不超过 60 美元/年；数据集越老，可购买比例越高。
• 下载活跃度：最老、最少访问的数据集每月也至少被下载 3 次；六个月跟踪期内共观察到 800 余次本可被投毒的下载。
• 发布即脆弱：COYO-700M 发布当天（2022 年 8 月 30 日）已有 0.1% 的图像托管在过期域名上，因数据收集耗时近一年。

下游投毒效果（§4.5、附录 B）

• 误分类目标：投毒 1,000 张图（0.00025%），目标图像被零样本分类到目标 ImageNet 类别的成功率为 60%（10 个目标类）。
• NSFW 目标：投毒 1,000 个样本，目标良性图像被 Stable Diffusion Safety Filter 误判为 NSFW 的成功率高于 90%（10 张目标图）。
• 作者解读：作者称在数据集大 100 倍以上、且攻击者不能修改文本标注的条件下投毒仍然有效，说明修改标注不是必要条件。

Wikipedia 快照预测与投毒率（§5.2–5.5）

• 预测精度：对上一快照时间的线性拟合，与真值区间的最大绝对误差平均以 27 分钟为上界；跨快照外推的预测误差多数在约 30 分钟内（Figure 5），且存在偏早的系统性偏差。
• 回退时间：Figure 6 显示约 35% 的修改超过 30 分钟才被回退，约 32% 超过 1 小时；作者据此估计攻击者平均可把编辑时机控制在真值 1 小时内。
• 投毒率：对调整量 a 取优后，英文 Wikipedia 可投毒文档比例下界 max_a A(a) = 0.065，即 6.5%；作者称实际会受编辑频率限制、IP 封禁等影响而低于此值，但仍比既有投毒攻击所需比例高几个数量级。
• 多语言：Figure 7 显示 35 种非英语语言中 22 种（63%）比英文 Wikipedia 更易投毒，可行投毒率从 0.95% 到 25.3%，中位数 8.2%；作者认为原因是小语言快照流程更短、抓取速度更稳定，同时指出对编辑慢的语言区间估计更保守。

野外利用检测（§4.4）

• 方法：在 CC-3M 与 LAION-400M 上寻找"图像被修改 + 域名易主"的攻击特征，用感知相似度、密码学哈希与 whois 记录比对。
• 结果：CC-3M 中仅 1 个域名符合特征，经查为域名停放商返回广告；LAION-400M 三个时间点的快照均未发现该特征。作者称没有证据表明该攻击已被在野利用。
• 附带观察：LAION-400M 到第一、第二个快照时分别有 175M 和 183M 张图像被修改（CLIP 余弦相似度 < 0.99 判定），抽样检查未发现恶意案例。

其他消融与分析

• CC-3M 请求过滤：每月 51,000 次图像请求、2,401 个独立 IP；仅精确率约束剩 2,007 IP/43,000 请求，仅召回率约束剩 70 IP/32,000 请求，两者并用剩 64 IP/28,000 请求（§4.3）。
• User-agent：77% 的流量来自 img2dataset 工具硬编码的 user-agent；作者称下载请求大多来自该工具。
• 完整性防御的效用代价：CC-3M 的 3.3M 原始图像中 2.9M 仍在线，但仅 1.1M 哈希与原始匹配，1.8M 已变化（§6.2）。
• 负面结果：作者指出感知哈希（如 COYO-700M 所用 pHash）可被对抗修改绕过，不能替代密码学哈希（§6.2，引用 [35][41][95]）。

作者指出的局限与后续方向

• 完整性校验在内容良性变化时失效（§6.2 Limitations）：重编码、裁剪、缩放或上传更高分辨率图像都会使哈希不匹配；作者以 CC-3M 为例说明这会降低数据集效用，换用感知哈希又会失去对投毒的防护，认为需要质上新的防御思路。
• 时序防御不能彻底阻止 frontrunning（§6.3 Limitations）：∆ 在不同文章间不均匀，攻击者可 targeting 不活跃文章或审核者少的语言；防御依赖能检测恶意编辑的可信策展方，而攻击者可以引入只影响机器理解、人审看似合法的不可感知修改。
• 通用 web 数据集（如 Common Crawl）防御更复杂（§6.4）：没有可信"黄金快照"，也没有可信策展方，网页更新间隔没有现实上界；作者提出基于共识的思路（同一图像-文本对出现在多个网站才信任），并称需要下游对 URL 内容如何被消费、向量化和去重的了解，把面向应用的防御留给未来工作。
• 信任假设本身的局限（§6.5）：现有防御沿用"维护者、策展方、下载者均诚实"的假设；作者提出借鉴 certificate transparency 的数据透明机制，作为减少信任假设的长期方向。
• 未来攻击研究方向（§7）：攻击者只能改原始内容不能改辅助数据的威胁模型、评估已提出攻击的实际成本、评估更宽松但可能脆弱的近似重复完整性校验。
• 分析方法的保守性（§5.3、§5.4）：回退时间用被动测量而非真实注入，会低估编辑存活时间；英文 Wikipedia 的 6.5% 估计中调整量 a 是"事后"选优的，作者不认为这是主要局限但予以说明。

实验覆盖范围

• 数据集：域名过期与下载量测量覆盖 Table 1 中 10 个数据集，另列 3 个论文首发后发布的数据集（MMC4-FF、Falcon RefinedWeb、OBELISC）未测下载量。
• 下游模型：模拟投毒只测了 OpenCLIP（ViT-B-32）一个模型与 Stable Diffusion Safety Filter 一个过滤器，均在 LAION-400M 上本地训练/评测。
• 投毒规模：模拟实验每目标投毒 1,000 张图，共 10 个 ImageNet 目标类与 10 张 NSFW 目标图；论文未报告训练重复次数。
• Wikipedia 分析：英文 Wikipedia 用 18 个月编辑数据；多语言分析覆盖 Wiki-40B 中 35 种非英语语言，德语、中文、捷克语因快照数据无法获取、他加禄语因数据不足未纳入。
• 攻击执行：split-view 全程未真正投毒（返回 404），frontrunning 未向 Wikipedia 注入任何编辑；论文未报告真实端到端投毒一个生产模型的实验。

一篇关于训练数据投毒可行性的攻击论文：既有研究假设攻击者已能修改训练数据，作者回答前置问题——攻击者如何真正把恶意样本放进 web 规模数据集。

• 问题：web 规模数据集多以 URL 索引（分布式）或定期快照（集中式）发布，客户端抓到的内容可与维护者最初看到的不一致；作者引用既有工作称 0.001%–0.01% 的投毒率即可造成定向误分类或后门。
• 方法一：split-view poisoning 购买数据集中已过期的域名，控制后续下载者抓取的图像；按"图像数÷成本"排序选域，1,000 美元预算可购买 10 个数据集各自至少 0.01% 的图像，作者称 60 美元/年即可达到每个数据集 0.01%（Figure 1、Table 1）。
• 方法二：frontrunning poisoning 利用 Wikipedia 快照按文章 ID 线性抓取、节奏可预测的特点，在页面被抓取前植入恶意编辑；对英文 Wikipedia 估计可投毒 6.5% 的文档（保守下界），35 种非英语语言中 22 种更易受攻击，投毒率最高 25.3%、中位数 8.2%（Figure 7）。
• 效果验证：在 LAION-400M 上本地训练 OpenCLIP，投毒 1,000 张图（0.00025%）使目标误分类成功率达 60%，NSFW 过滤器误判成功率高于 90%；下载量监测显示最老的数据集每月仍至少被下载 3 次，六个月共 800 余次下载本可被投毒。
• 防御与披露：完整性校验（SHA-256 哈希）与基于时序的防御（随机化快照顺序、延迟发布并应用可信回退）；6 个数据集已按建议加入哈希，作者为 img2dataset 实现了校验选项并通知了 Wikipedia。
• 作者的结论：作者认为 web 规模数据集今天就可能被低成本投毒，社区应重新审视对 web 规模数据的信任假设，并探索不依赖单一信任根的方案；同时指出完整性校验在良性内容变化下会损失效用、时序防御不能彻底阻止攻击、通用数据集防御仍需新思路。