能同时欺骗计算机视觉模型和限时人类的对抗样本

1. 01这篇论文试图解决什么问题？

   为计算机视觉模型生成的可迁移对抗样本，是否也能影响限时观看的人类观察者。

   核心问题：针对计算机视觉模型构造的可迁移对抗样本，能否迁移到人类视觉系统、影响人类的分类判断。

   • 问题场景与重要性：对抗样本通过对图像施加小扰动使模型误分类（如把校车认成鸵鸟），但作者指出，人类是否会出现类似错误仍是开放问题；此前理解是这类可迁移对抗样本对人类视觉知觉没有影响，但尚无彻底的实证检验。
   • 现有方法的不足：多数对抗样本构造算法需要访问模型的架构与参数以做基于梯度的优化，而人脑无法提供类似访问，因此这些方法看似不适用于为人类构造对抗样本。
   • 核心观察与假设：作者注意到三条线索——对抗样本可跨模型、跨训练集、跨算法迁移，甚至从数字世界迁移到物理世界；针对多模型或多视角优化的更强对抗样本有时呈现出人类可理解的语义特征（Figure 1b、c）；CNN 深层表征与灵长类视觉通路活动存在相似性。作者据此假设，经适当设计后对抗样本可从模型迁移到人。
   • 论文提出的内容：一套结合机器学习、神经科学与心理物理学的方法——用 black box 迁移攻击技术、模拟人眼初始视觉处理的视网膜层、以及限时呈现的心理物理实验，构造并检验能同时欺骗计算机视觉模型与限时人类的对抗样本。
   • 威胁模型：
     • 攻击者目标：生成 targeted 对抗样本，使分类器把 A 类图像误分为指定的 B 类（双向构造）。
     • 知识：对生成所用的 10 个模型为白盒（已知架构与参数）；对测试模型和人类为 black box（无架构与参数访问）。
     • 能力：对每张图像施加 l∞ 范数等于固定 ε 的逐图扰动（adv 条件 ε=32，false 条件 ε=40）。
     • 受害系统：ImageNet CNN 分类器（含未参与生成的测试模型）以及限时观看的人类观察者。

   收起这一问

2. 02有哪些相关研究？

   相关工作分三组：对抗样本及其迁移性、生物视觉与人工视觉的相似性、两者的差异。

   对抗样本与迁移性

   • Szegedy et al. [39]、Goodfellow et al. [13]：提出并定义对抗样本现象；Goodfellow et al. [12] 将对抗样本定义为"攻击者有意设计来使模型犯错的输入"。Figure 1a 复现了 [13] 的熊猫被误分为长臂猿的经典示例。
   • Papernot et al. [30, 31]、Liu et al. [26]：研究对抗样本跨模型、跨训练集、跨算法的迁移性及 black box 攻击；Liu et al. [26] 指出针对多个模型优化可提高对任意第六个模型的迁移性，本文的集成攻击建立在该工作上。
   • Kurakin et al. [24]：发现对抗样本可从数字世界迁移到物理世界；本文的迭代定向攻击方法也取自该工作。
   • Athalye and Sutskever [2]、Brown et al. [4]：构造对几何变换或多视角鲁棒的对抗样本，作者指出这些样本呈现出人类可理解的语义特征（Figure 1b、c），是"机器到人类迁移可能可行"的线索。

   生物视觉与人工视觉的相似性

   • Cadieu et al. [6]、Yamins and DiCarlo [43]：发现 CNN 深层活动可预测灵长类视觉通路活动；Riesenhuber and Poggio [36] 的皮层物体识别模型与现代 CNN 多方面相似。
   • Kümmerer et al. [21, 22]、Gatys et al. [10]、Freeman and Simoncelli [9]：CNN 可预测人类注视点、中层表征捕捉对人类有意义的风格、CNN 类模型可构造心理物理 metamer。
   • Geirhos et al. [11]、Rajalingham et al. [35]：在心理物理实验中比较人类与神经网络分类器的错误模式。

   生物视觉与人工视觉的差异

   • Van Essen and Anderson [41]：灵长类眼睛的空间分辨率随离心度变化，中央凹约 5° 内分辨率高，之后随离心度线性下降；本文的视网膜层基于其（猕猴视觉系统的）测量数据。
   • Eckstein et al. [8]：实验发现人类会漏掉场景中的大目标，而深度网络不会，作者以此说明两者错误模式存在质的差异。
   • Olshausen [29]、Ibbotson and Krekelberg [18]：视觉皮层反馈连接远多于前馈连接、存在循环动力学，且人脑通过眼跳主动探索场景；作者称这些差异通过限时呈现来缓解。

   基线与对照：本文无对比基线方法；实验对照为论文自设的 image（干净图像）与 flip（垂直翻转扰动）条件，数据集为 ImageNet [7]。

   作者将本文定位为：把 black box 迁移攻击、匹配人类初始视觉处理的模型改造、限时心理物理评测三者结合，首次实证检验可迁移对抗样本对人类的影响（论文未使用"首次"措辞，仅称此前"无彻底实证研究"）。

   收起这一问

3. 03论文如何解决这个问题？

   在加视网膜预处理层的 10 模型集成上做迭代定向攻击生成对抗图像，再用限时二选一心理物理实验检验人类。

   整体思路：用 black box 迁移攻击 的思路，在模拟人眼初始处理的 CNN 集成上生成强迁移性的定向对抗样本，再通过 限时呈现的心理物理实验 检测其对人类分类的影响。

   数据与类别体系

   • 图像来源：ImageNet [7]；因其 1000 个细类过于专业，作者合并出 6 个被试熟悉的粗类：dog、cat、broccoli、cabbage、spider、snake。
   • 三个实验组：Pets（dog/cat）、Hazard（spider/snake）、Vegetables（broccoli/cabbage），每个 session 只用一组，组内二分类。
   • 预筛选：剔除整体颜色或亮度上明显可区分类别的图像（如 pets 组中带大片绿色草坪的图几乎全是狗），防止被试使用此类策略。

   模型集成与视网膜层

   • 集成构成：k=10 个 ImageNet 上训练的 CNN，架构为 Inception V3、Inception V4、Inception ResNet V2、ResNet V2 50/101/152 的实例（部分为公开预训练权重，部分为自训，见附录 E）。
   • 视网膜层：每个模型前置一个可微分的视网膜预处理层，按离心度对图像做依赖位置的模糊，近似人眼视网膜晶格传给视觉皮层的输入；模糊程度基于猕猴视觉系统的离心度-分辨率测量 [41] 与观看者-屏幕几何关系计算（附录 B）。
   • 设计理由：作者称该层把 CNN 的输入限制在人类视觉系统同样可获得的信息内，使对抗样本更可能从模型迁移到人。

   对抗样本生成

   • 优化目标：给定分类器 k、目标类 ytarget 与最大扰动 ε，求 X_adv 最小化 −log(P(y_target|X_adv))，约束 ||X_adv−X||_∞=ϵ；粗类概率由类内各细类概率求和得到（附录 C）。
   • 攻击算法：迭代定向攻击 [24]，步长 α=2，对集成损失做梯度下降；集成为各模型粗类概率的几何平均（附录 D）。
   • 筛选标准：只保留对全部 10 个模型都攻击成功的样本（adv 条件），false 条件要求至少 7/10 模型成功，以提高迁移率。

   人类心理物理实验

   • 被试与装置：38 名视力正常或矫正后被试；坐于距高刷新率屏幕（ViewSonic XG2530）61 cm 处，用反应时盒做二选一按键（two alternative forced choice），类别-按键映射每个 session 随机化。
   • 试次流程：注视点 500–1000 ms → 图像（15.24 cm 见方，14.2° 视角）呈现 63 ms（部分 session 71 ms）→ 10 个高对比二值随机掩码各 20 ms → 掩码结束后 2200 ms（部分 2500 ms）内作答；每名被试完成 140–950 个试次。
   • 四个实验条件：image（干净图，重缩放到 [40, 255−40]）；adv（加 ε=32 定向扰动，作者称该大小对人可察觉但保持类别不变）；flip（扰动垂直翻转后叠加，统计特性与 adv 几乎相同，用于排除"扰动仅降低图像质量"的解释）；false（真实类不在两个选项中，强迫被试犯错，检验扰动能否控制其在两个错误选项间的选择，ε=40）。
   • 成功判定：false 条件看被试选择目标类的概率是否高于 0.5 随机水平；adv 条件看准确率是否低于 image 与 flip 对照；统计检验为双尾 t 检验、Pearson Chi-2 GLM、单因素 ANOVA 等。

   收起这一问

4. 04论文做了哪些实验？

   对抗样本对测试模型攻击成功率 57%–89%，并影响限时人类的选择与准确率（pets、vegetables 组 p < 0.001）。

   实验设置

   • 被测模型：生成集成为 10 个 CNN（Inception V3/V4、Inception ResNet V2、ResNet V2 50/101/152 的实例，部分前置视网膜层并用 [40, 255−40] 重缩放数据增广训练）；测试迁移的两个模型为对抗训练的 Inception V3 [23] 和 ResNet V2 50，均未参与生成。
   • 数据集：ImageNet 训练集图像，合并为 6 个粗类、3 个实验组（Pets、Hazard、Vegetables）；附录 F 列出全部所用图像。
   • 人类实验：38 名被试，每人 140–950 试次；图像呈现 63 ms（部分 71 ms），后接 10 个各 20 ms 的掩码。
   • 指标：模型侧为 accuracy 与 attack success；人类侧为选择目标类的概率（false 条件）、准确率（image/adv/flip 条件）、反应时间。
   • 统计方式：双尾 t 检验（相对 0.5 随机水平或组间）、Pearson Chi-2 GLM、单因素 ANOVA、Pearson 相关；误差棒为 ±SE。
   • 对照条件：flip（垂直翻转扰动）用于控制图像质量下降的解释；false 条件用于在固定错误率下检验扰动对选择方向的控制。

   主结果

   模型侧结果（据 Table Supp.4 与 Supp.6，三元组为 pets、hazard、vegetables 组）：

   表格较宽，可左右滑动

   模型	adv 准确率 (%)	flip 准确率 (%)	adv 攻击成功 (%)	flip 攻击成功 (%)
   ResNet V2 50（测试模型）	8.7, 9.4, 13	93, 91, 85	87, 85, 57	1.3, 0.0, 0.0
   Inception V3∗∗（测试模型，对抗训练）	6.0, 6.9, 17	95, 92, 94	89, 87, 74	1.5, 0.5, 0.0

   • 生成集成内 10 个模型在 adv 条件准确率均为 0.0%、攻击成功均为 100%（Table Supp.3、Supp.5），这是生成筛选的预期结果；上表两个模型均未参与生成。
   • 正文概括：adv 与 false 条件对测试模型的攻击成功率在 57%–89% 之间（随类别与条件变化），flip 条件改变测试模型预测的比例在所有条件下低于 1.5%，作者以此验证 flip 作为对照的合理性（Section 4.1）。

   人类侧结果（Figure 3、Table Supp.1）：

   • false 条件：三个实验组中被试选择对抗目标类的概率均高于 0.5 随机水平（Figure 3a，双尾 t 检验）；效应强度为 hazard 组最强、pets 次之、vegetables 最弱，组间差异 p < 0.05（Pearson Chi-2 GLM）。
   • adv 条件准确率更低：多数被试 adv 平均准确率低于 image（pets 29/35、hazard 19/24、vegetables 21/32，Table Supp.1）；adv 低于 flip 的人数为 pets 22/35、hazard 16/24、vegetables 23/32。平均准确率 adv 低于 flip 在 pets 与 vegetables 组 p < 0.001，hazard 组 p = 0.05（Figure 3b）。
   • 作者解读：作者称这些结果表明扰动的方向与具体图像的组合，同人类视觉系统用于分类的特征在知觉上相关，构成强 black box 对抗攻击可从 CNN 迁移到人类的证据。

   反应时间分析

   • false 条件反应时：组间平均反应时差异 p < 0.001（单因素 ANOVA，Figure 4a）；反应时模式与知觉偏差模式呈负相关（Pearson 相关 = −1，p < 0.01），即 hazard 组决策最快、vegetables 最慢。
   • adv 条件反应时更长：所有三组中 adv 条件平均反应时均长于对照，但仅两个比较达到统计显著（Figure 4b）。
   • 按反应时分箱：false 条件中，快速作答（0–33 百分位）时选择目标类的偏差相对 0.5 显著，慢速作答时不显著（Figure 4c）。作者提出一种解释：false 条件中迁移伴随更高信心，adv 条件中对抗特征与真实类特征竞争、伴随更低信心。

   其他消融与分析

   • 扰动大小 ε（Figure Supp.1b）：作者称 ε=8 的扰动已使示例图像在知觉上更接近目标类，认为迁移可能对较小 ε 也成立；此为单张示例图上的直觉展示，非人类实验。
   • 视网膜层（Figure Supp.1c）：去掉视网膜层后示例图像与目标类的相似度下降，作者据此认为匹配初始视觉处理是迁移的重要因素。
   • 集成规模（Figure Supp.1d）：ε=32 下用 1–10 个模型生成，作者称模型数减少时扰动与目标类的相似度下降，支持集成的重要性。
   • 长时呈现对照（Figure 3c）：一张蜘蛛对抗图在短暂呈现时 13 名被试中 6 人报告 snake（67%），长时呈现（实验后邮件调查，13 人）时仅 4 人（25%）；作者称扰动对无时间限制的人类保持类别不变。
   • 机制观察（Figure 5，Section 5.2）：作者非控制性地观察到对抗扰动似乎通过破坏物体边缘（尤其是垂直于边缘的中频调制）、增强边缘、修改纹理、利用暗区（小 ε 扰动在暗区知觉幅度更大）起作用；作者明确称未设计受控实验证明任何具体机制。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者列出机制验证、设计敏感性、无时限欺骗等开放问题；人类实验规模为 38 名被试、6 个粗类。

   作者指出的局限与后续方向

   • 机制未被证明（Section 5.2）：作者明确写道"未设计受控实验证明对抗样本以任何具体方式起作用"，Figure 5 中的边缘破坏、纹理修改等模式仅为非正式观察。
   • 无时限人类的 ground truth 难题（Section 5.1）：作者称未来若要欺骗无时间限制的人类，需要解决"获得比人类视觉标注更好的 ground truth 信号"这一困难问题。
   • 迁移对设计要素的敏感性未知（Section 5.4）：作者提出开放问题——迁移如何依赖 ε、模型集成是否关键、视网膜预处理层能否去掉；作者猜测视网膜层与集成都重要、ε 可以更小，Figure Supp.1 仅为初步探索。
   • 无时限人类鲁棒性的两种解释未分辨（Section 5.3）：作者称一种可能是无时限人类凭借 top-down 或侧向连接本质上更鲁棒，另一种可能是无时限人类仍然脆弱、只是对抗样本因架构差异无法从前馈网络迁移过去；本文结果无法区分两者。

   实验覆盖范围

   • 被测模型为 6 种架构的 10 个生成集成实例加 2 个测试模型（ResNet V2 50、对抗训练 Inception V3），均为 ImageNet 前馈 CNN（Section 3.1.2、Table Supp.2）。
   • 人类实验为 38 名被试、6 个粗类、3 个实验组、二选一强迫选择任务，每人 140–950 试次（Section 3.2）。
   • 扰动设置为 l∞ 约束，adv 条件 ε=32、false 条件 ε=40，步长 α=2（Section 3.2.2、附录 D）。
   • 人类效应仅在 63 ms（部分 71 ms）短暂呈现加掩码的条件下测量；长时呈现仅有 Figure 3c 报告的一张图像、13 人邮件调查。
   • 论文未报告 false 条件选择目标类概率的具体数值（仅图示高于 0.5），也未报告人类实验的重复实验次数。

   收起这一问

6. 06总结一下论文的主要内容

   作者构造了同时欺骗多个 CNN 与限时人类的对抗样本，作者称这构成两类系统共享的一类错觉。

   一篇关于对抗样本跨物种迁移的实证研究：为计算机视觉模型生成的可迁移对抗样本，能否影响限时观看的人类观察者。

   • 问题：对抗样本通常需要白盒访问模型，看似无法针对人脑构造；此前理解是这类可迁移对抗样本不影响人类知觉，但缺乏实证检验。
   • 方法要点：在 10 个 ImageNet CNN（Inception V3/V4、Inception ResNet V2、ResNet V2 50/101/152）组成的集成上前置模拟人眼离心度分辨率的可微分视网膜层，用迭代定向攻击生成 l∞ 约束（ε=32）的对抗图像；38 名被试在 63 ms 呈现加掩码的条件下做二选一分类，设 image、adv、flip（翻转扰动对照）、false（强迫犯错）四个条件。
   • 主要结果：
     • 对抗样本对两个未参与生成的测试模型攻击成功率 57%–89%，flip 对照改变预测不足 1.5%（Section 4.1、Table Supp.6）。
     • false 条件中，三个实验组被试选择对抗目标类的概率均高于 0.5 随机水平（Figure 3a）。
     • adv 条件平均准确率低于 flip 对照，pets 与 vegetables 组 p < 0.001，hazard 组 p = 0.05（Figure 3b）；多数被试 adv 准确率低于 image（如 pets 组 29/35，Table Supp.1）。
     • 反应时与攻击效应负相关：false 条件中偏差更强的组决策更快（Pearson 相关 = −1，p < 0.01），快速作答时偏差显著、慢速时不显著（Figure 4）。
   • 作者的结论与启示：作者称这构成计算机视觉模型与人脑共享的一类新错觉；迁移样本欺骗限时人类但不欺骗无时限人类，提示 top-down 或侧向连接可能与人类鲁棒性相关，值得机器学习安全研究探索；作者还称存在图像被操纵以影响人类观者反应的风险（如影响对政治人物照片的信任感知）。

   收起这一问

相关论文