解决对抗样本需要解决机器与人类感知的指数级错位
Solving adversarial examples requires solving exponential misalignment
论文速读
据论文全文整理（AI 生成），以原文为准
Stanford 研究人员提出，神经网络对类概念的感知流形维度比人类自然图像高出多个数量级，这种指数级错位是对抗样本的几何起源。
- 对抗攻击（人眼不可察觉的输入扰动却能骗过神经网络）十余年来仍是机器学习持续存在的失效模式，其几何成因不明。作者希望从机器与人类感知的维度错配角度解释对抗样本为何存在、为何难以消除。
- 作者定义网络对某类概念的 perceptual manifold（PM）为被网络高置信度判为该类的全部输入，用 projected gradient ascent 从随机噪声采样 PM，并用 Participation Ratio 与 2NN 估计其维度，再与自然图像概念的维度比较；另用椭球玩具模型推导 PM 维度与随机点到 PM 距离的关系。
- 在 CIFAR10、CLIP 与 ImageNet 上，机器 PM 维度比自然概念高出数个数量级（如 CIFAR10 上约 3060/3072 对约 20），CLIP 对无意义提示词的 PM 维度与有意义概念无差别。在 18 个不同鲁棒精度的网络上，鲁棒精度与 PM 维度负相关，随机点到 PM 的距离随 PM 维度下降而增大；即便最鲁棒的模型仍存在指数级错配，只有维度接近自然概念的少数 PM 才出现与人类感知对齐的样本。
- 作者提出对抗鲁棒性可能无法在不实现机器与人类 PM 维度对齐的情况下达成，并建议将分析从视觉扩展到语言；材料未给出具体局限讨论。
Stanford 研究人员提出，神经网络对类概念的感知流形维度比人类自然图像高出多个数量级，这种指数级错位是对抗样本的几何起源。感知流形指网络以高置信度判为某一类的全部输入集合；CIFAR10 上模型的感知流形达 3060/3072 维，CLIP 上约 135,000/150,528 维，而自然图像概念仅约 20 维。由于体积随维度指数增长，机器感知流形几乎填满输入空间，任何输入都极接近某个类的流形，附近很可能存在能成功攻击的有界扰动。作者在 RobustBench 的 18 个不同鲁棒精度网络上验证了两个预测，鲁棒精度和随机点到流形的距离都与流形维度负相关；即使最鲁棒的网络仍呈指数级错位，仅维度接近人类概念的少数流形能采样出人眼可识别的样本。论文由此将对抗样本与对齐研究联系起来，认为没有机器与人类感知的维度对齐就无法实现对抗鲁棒性。
推荐理由论文将对抗样本归因于机器与人类感知流形的指数级维度错位，并在 18 个网络上验证了流形维度与鲁棒精度的负相关。