跳到正文
原文

嵌入中的裂缝:基于 JEPA 的胸部 X 光表征的鲁棒性与稳定性

Cracks in Embeddings: Robustness and Stability of JEPA-Based Chest X-Ray Representations

arXiv:其他 AI 安全论文· arXiv:2611.17905· Zahid Mansur, Kalpana Yadav, Deepak Mishra·本站收录· 4 天前· 原文发表攻击· 扫描记录里的位置 →

论文速读

评测与基准

据论文 PDF 整理(AI 生成),以原文为准

作者测试四个 JEPA 胸片编码器在六种扰动下的鲁棒性:CosSim 最低降至 0.33,对抗微调 predictor 可提升 AUROC,而仅用干净图像训练的 VQ codebook 反而更差。

问题
JEPA 类自监督编码器正被用于胸片分析,但其在真实图像变化(噪声、亮度、对比度)和黑盒对抗攻击下的鲁棒性缺乏测量,且受损后没有成熟的下游头修复方法。
方法
冻结四个 JEPA 胸片编码器,只训练其上的小型残差 predictor 与线性分类器,在 NIH ChestX-ray14 上用两种黑盒攻击、三种图像退化和一个少标签测试评估;再比较两种只改训练方式的 predictor:干净+扰动图像对抗微调,以及只用干净图像训练的 VQ codebook。
实验与结果
扰动造成模型间差异很大的损伤:I-JEPA 受损最重(Boundary 下 AUROC 降 18.46%,Gaussian Noise 下 CosSim 降至 0.33);对抗微调提升多数模型的 AUROC(I-JEPA 平均 0.68);codebook 反而全面退化(I-JEPA 平均降 21.43%)。
局限与可以继续做的
作者指出 codebook 设置受限(仅 128 条目、只在干净图像训练、编码器不更新);X-WIN 因官方权重未公开而在 LIDC-IDRI 上自行预训练;评估只用 NIH ChestX-ray14 一个数据集,部分结果基于 1,000 张测试子集,作者提醒小样本差异可能出于偶然。
实验设置CheXWorld、X-WIN 等 · NIH ChestX-ray14、LIDC-IDRI · Macro AUROC、Embedding Cosine Similarity
威胁模型
攻击者只能查询部署模型的输出、无法访问内部梯度(black-box),使用 SPSA 与 Boundary Attack;编码器全程冻结,只有 predictor 和 classifier 可训练。
被测模型
CheXWorldX-WINRadJEPAI-JEPA
基准
NIH ChestX-ray14LIDC-IDRI
指标
Macro AUROCEmbedding Cosine Similarity
AI 导读四个 NIH ChestX-ray14 训练的 JEPA 胸片编码器在黑盒对抗攻击与图像损坏下余弦相似度最低 0.33,I-JEPA AUROC 最差降 0.12。对抗微调使嵌入一致性几乎都超过 0.97,I-JEPA AUROC 最大提升 0.10;仅用干净图像训练的 Vector-Quantized 码本全部退化,I-JEPA 平均降 0.15。

四个 NIH ChestX-ray14 训练的 JEPA 胸片编码器在黑盒对抗攻击与图像损坏下余弦相似度最低 0.33,I-JEPA AUROC 最差降 0.12。对抗微调使嵌入一致性几乎都超过 0.97,I-JEPA AUROC 最大提升 0.10;仅用干净图像训练的 Vector-Quantized 码本全部退化,I-JEPA 平均降 0.15。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    JEPA 胸片编码器在真实图像扰动和黑盒攻击下的鲁棒性未被测量,受损后也缺乏修复手段。

    核心问题:JEPA 类自监督胸片编码器在输入图像被腐蚀或攻击时是否仍可靠,以及受损后如何修复,仍是一个开放问题。

    • 场景与动机:胸片在不同扫描仪、医院和采集条件下亮度、对比度、噪声差异很大;部署系统还可能被只能查询输出的攻击者探测。作者认为安全关键模型应当优雅退化,而不是静默失效。
    • 现有工作不足:作者称 REMEDIS、Bundele et al. 等评估了自监督医学编码器的数据效率和泛化,但没有测量输入图像本身被腐蚀或攻击时表示的行为,也没有给出性能下降后的恢复方法。
    • 论文的两个缺口:一是 JEPA 胸片编码器在真实腐蚀和黑盒攻击下的鲁棒性从未被测量,鲁棒性往往被假定而非检验;二是即使发现 AUROC 下降,也没有成熟方法训练下游头来应对。
    • 论文的做法:冻结四个已有 JEPA 胸片编码器,只在其上训练小型 predictor 和分类器,在六项测试下测量嵌入变化与分类 AUROC,并比较两种只动这个轻量头的训练方法:对抗微调与 Vector-Quantised codebook。
    • 威胁模型:
      • 攻击者目标:使模型在扰动图像上的预测偏离干净图像。
      • 知识:black-box,只能查询模型输出,无法访问内部梯度(区别于 FGSM 等 white-box 攻击)。
      • 能力:SPSA 通过随机探测估计攻击方向;Boundary Attack 仅靠模型最终决策收缩扰动(80 次查询)。
      • 受害系统:冻结的 JEPA 编码器加其上的 predictor/分类器,面向胸片 14 类疾病分类。
  2. 有哪些相关研究?

    相关工作分四组:JEPA 模型、自监督表示学习、自监督模型评估、黑盒对抗攻击与鲁棒性。

    JEPA 模型

    • LeCun (2022) 提出 JEPA:在嵌入空间预测被遮挡区域的表示,而非重建像素。I-JEPA (2023) 用 Vision Transformer 实现这一思路。
    • CheXWorld (2025)、X-WIN (2026)、RadJEPA (2026) 把 JEPA 思想用于胸片,学习胸片的一般结构;本文正是测试这四个编码器。

    自监督表示学习

    • SimCLR (2020)、MoCo (2020)、BYOL (2020) 通过比较同一图像的增强视图学习表示;Masked Autoencoders (2022) 直接重建被遮挡像素,JEPA 有意避开这一设计。

    自监督模型评估

    • REMEDIS (2023) 显示自监督预训练可提升医学影像的鲁棒性和数据效率,但论文指出它只研究单一表示学习配方,未比较不同范式。
    • Bundele et al. (2024) 经 MedMNIST 系统评估医学 SSL 的标签效率、跨数据集泛化和 OOD 检测;论文指出其未测量输入被腐蚀或攻击时的表示行为,也未给出修正方法。本文的少样本测试(100%/10%/1% 标签)沿用 SimCLR 的标准 low-shot 协议。

    黑盒攻击与扰动鲁棒性

    • 白盒攻击 FGSM (2014)、Carlini & Wagner (2017) 与 PGD 对抗训练 (2018) 假设能访问模型内部;本文只用查询级黑盒攻击 SPSA (2018) 和 Boundary Attack (2017)。
    • Hendrycks & Dietterich (2019) 的常见腐蚀基准启发本文的噪声/亮度/对比度测试;Szegedy et al. (2013) 最早指出神经网络对小输入变化的脆弱性。
    • VQ 相关:Mao et al. (2021)、Yang et al. (2023)、He & Singhal (2024) 报告 VQ 表示可提升鲁棒性,本文检验仅靠离散瓶颈、不在扰动图像上训练是否足够。

    定位:作者称本文把黑盒攻击与腐蚀鲁棒性研究首次连接到 JEPA 胸片模型,并只通过轻量 predictor 头的两种训练方式(对抗微调、codebook)来修复损伤,而非重训编码器。

  3. 论文如何解决这个问题?

    冻结编码器,只训练残差 predictor 加线性分类器,用六项测试量鲁棒性,再比较对抗微调与 VQ codebook 两种训练法。

    整体思路:所有编码器全程冻结,只在其上训练一个小型残差 predictor 和一个线性分类器;先在干净图像上训练得到 "Original" 基线,再用六种测试测量扰动造成的损伤,最后比较两种只改 predictor 训练方式的方法(对抗微调与 VQ codebook)。

    问题设定与架构

    • Predictor:残差网络 zp = z + W3σ(W2σ(W1 z)),其中 z 是冻结编码器的嵌入,σ 为 GELU;残差连接使 predictor 只需学习对 z 的小调整。权重尺寸为 D×512、512×512、512×D。
    • 分类器:单层线性层,输出 14 个胸片疾病标签的概率。
    • Original 基线:predictor 与分类器只用干净图像训练 300 epoch(学习率 10⁻²,Adam,权重衰减 10⁻⁴),之后冻结,作为所有鲁棒性测试的对照。

    六项鲁棒性测试

    • 两个黑盒攻击:SPSA(ε = 0.02/0.05/0.10/0.20)与 Boundary Attack(固定 80 次查询);论文强调只用黑盒攻击,因为部署医疗系统上的现实攻击者通常只有查询权限。
    • 三种图像腐蚀:Gaussian Noise(σ = 0.05–0.50)、Brightness Shift(factor 0.3–2.2)、Contrast Shift(factor 0.2–2.5),各四档强度(Table 1)。
    • 少样本测试:不扰动图像,用 100%/10%/1% 训练标签训练全新线性分类器(无 predictor),测原始嵌入的标签效率。
    • 度量:Macro AUROC(14 类平均)与干净/扰动嵌入的 Cosine Similarity(Equation 2),两者仅用于评估,不直接优化。

    对抗微调

    • 做法:从干净训练的权重热启动,在干净图像加每种扰动最强档生成的副本上训练 200 epoch(学习率 10⁻³)。
    • 损失:L = 1/2BCE(y,ŷ) + 1/2BCE(y,ỹ̂) + λ(1 − CosSim(zp, z̃p)),λ=1;前两项要求干净与扰动图像都分类正确,第三项约束两者嵌入接近。
    • 效率处理:SPSA/Boundary 的训练缓存只在训练集的一个大子集上生成(多次前向传播成本高),简单腐蚀在全训练集上生成;评估仍用 Table 1 的完整最强设置。

    VQ codebook predictor

    • 结构:不池化编码器输出,直接在 patch token 上操作(CheXWorld/X-WIN 为 14×14 网格,RadJEPA/I-JEPA 为 16×16),经 3×3、stride-2 卷积降到 128 通道,每个空间位置独立量化到 128 条目的 codebook(Equation 5),用 straight-through estimator 传梯度。
    • 初始化与更新:codebook 由 1,000 张干净训练图像的 k-means 聚类中心初始化,训练中用 EMA(decay 0.99)更新,少用条目定期重置;量化特征与量化前特征残差相加后接单层线性分类器。
    • 关键设定:只在 78,468 张干净训练图像上训练 300 epoch(batch 128,学习率 10⁻³ 余弦退火到 10⁻⁵),训练中从不接触扰动图像,损失为 BCE 加 commitment 项(β=0.25,Equation 7);要回答的问题是:离散瓶颈能否仅凭结构带来鲁棒性。

    数据与模型

    • 数据:NIH ChestX-ray14 官方划分,78,468 张训练图像;评估用 held-out 测试集的扰动版本(Table 2 用 1,000 张子集,Table 3 用 3,000 张)。
    • 四个编码器:CheXWorld、RadJEPA、I-JEPA 用官方发布权重;X-WIN 官方权重未公开,作者在 LIDC-IDRI CT 数据集上自行预训练 100 epoch。I-JEPA 是唯一在自然图像(ImageNet)上预训练的编码器。
  4. 论文做了哪些实验?

    六项测试下四个编码器均受损且程度因模型而异;对抗微调多数有效,codebook 全面退化;少样本下 I-JEPA 嵌入最好。

    实验设置

    • 被测模型:四个冻结 JEPA 编码器——CheXWorld、X-WIN、RadJEPA、I-JEPA,各自搭配独立训练的 predictor/分类器。
    • 数据集:NIH ChestX-ray14(78,468 张训练);X-WIN 预训练用 LIDC-IDRI。
    • 测试条件:SPSA、Boundary Attack、Gaussian Noise、Brightness、Contrast 各取最强档,加少样本测试(Table 1)。
    • 指标:Macro AUROC 与嵌入 CosSim;测试集规模因实验而异——Table 2 与 Figure 3/4 用 1,000 张 held-out 子集,Table 3 用 3,000 张。
    • 基线:仅用干净图像训练的 "Original" predictor;两个对比变体为对抗微调 predictor 与 128 条目 codebook predictor。
    • 重复次数:主结果为单种子(42);5.5 节用另外三个种子(123、456、789)重复对抗微调。

    主结果

    据 Table 2(Original predictor,最强档,1,000 张测试子集,括号内为相对干净图像的 AUROC 降幅):

    表格较宽,可左右滑动

    TestCheXWorldX-WINRadJEPAI-JEPA
    Clean0.580.630.630.65
    SPSA (0.20)0.58 (0.00%)0.63 (0.00%)0.63 (0.00%)0.60 (7.69%)
    Boundary (80 q)0.57 (1.72%)0.63 (0.00%)0.63 (0.00%)0.53 (18.46%)
    Gaussian Noise (0.50)0.57 (1.72%)0.62 (1.59%)0.64 (−1.59%)0.54 (16.92%)
    Brightness (2.2)0.50 (13.79%)0.57 (9.52%)0.53 (15.87%)0.63 (3.08%)
    Contrast (2.5)0.47 (18.97%)0.59 (6.35%)0.59 (6.35%)0.62 (4.62%)
    Average0.54 (6.90%)0.61 (3.17%)0.60 (4.76%)0.58 (10.77%)
    • 作者解读:损伤因模型和测试而异,I-JEPA 受损最重;CheXWorld、X-WIN、RadJEPA 在 SPSA 和 Gaussian Noise 下几乎不变,而 I-JEPA 的 Gaussian-Noise CosSim 降至 0.33(Figure 4)。
    • 例外:RadJEPA 在 Gaussian Noise 下 AUROC 反而略升(0.63→0.64);作者明确说这并不意味着噪声有益,1,000 张测试图像下这种差异可能只是偶然。
    • 非单调现象:Brightness 和 Contrast 下嵌入相似度常在最轻档最低(CheXWorld、X-WIN 在 Level 1 的 CosSim 分别为 0.39、0.41),而 AUROC 持续下降到 Level 4。

    Codebook 测试

    • 测了什么:128 条目 codebook predictor(仅干净图像训练)在最强档扰动下的 AUROC(Table 3,3,000 张测试子集)。
    • 结果:四个模型全部退化,平均降幅 CheXWorld 10.00%、X-WIN 13.56%、RadJEPA 9.38%、I-JEPA 21.43%;I-JEPA 在 Gaussian Noise 下降 24.29%。注意 codebook 的干净 AUROC 与 Original 不同(如 CheXWorld 0.70 vs 0.58),降幅是相对各自干净基线算的。
    • 作者解读:离散瓶颈本身不足以抵抗从未见过的扰动;作者认为这与先前 VQ 鲁棒性结果 [15, 27] 的差距可能源于其设置更受限——codebook 只在干净图像训练、位于小 predictor 内、仅 128 条目、编码器不更新。

    对抗微调

    • 测了什么:干净+扰动图像混合训练的 predictor 在最强档下的 AUROC(Table 4)。
    • 结果:五项测试平均 AUROC 为 CheXWorld 0.62、X-WIN 0.63、RadJEPA 0.62、I-JEPA 0.68;作者称四个模型中三个有提升,受损最重的 I-JEPA 提升最大(相对 Table 2 的扰动基线最高 +0.10),RadJEPA 基本不变。
    • 作者解读:在干净和扰动图像上共同训练 predictor 能同时改善分类与嵌入一致性;摘要称嵌入一致性在几乎所有情况下升至 0.97 以上。

    少样本与种子稳定性

    • 少样本(Figure 5):I-JEPA 在 100%/10%/1% 标签下 AUROC 为 0.75/0.73/0.65,各预算下最好;X-WIN 全标签时 0.67 为医学编码器最高,但 1% 时降至 0.55,CheXWorld 与 RadJEPA 在 1% 时均为 0.60。作者称通用编码器迁移得出乎意料地好;微调或 codebook 训练并不能稳定提升低标签 AUROC。
    • 种子稳定性(Figure 6):X-WIN、RadJEPA 几乎不受种子影响(std ≤ 0.001);I-JEPA std = 0.006(均值 0.671 vs 种子 42 的 0.677);CheXWorld 最敏感(std = 0.014,三种子均值 0.579 低于种子 42 的 0.616)。作者称这支持微调收益不是单一初始化的产物,但 CheXWorld 的结果需结合其种子敏感性解读。

    其他消融与分析

    • 无其他独立消融;各扰动四档强度的完整曲线见 Figure 3(AUROC)与 Figure 4(CosSim),正文只给出最强档汇总。
  5. 有什么可以进一步探索的点?

    作者指出 codebook 设置受限、X-WIN 为自行预训练;评估集中于单一数据集与黑盒攻击。

    作者指出的局限与后续方向

    • Codebook 设置受限(5.2 节):作者称 codebook 结果不及先前 VQ 工作,可能因为其只在干净图像上训练、位于小型 predictor 而非大型可训练骨干内、只有 128 条目、且编码器从不更新。
    • 小样本测试的偶然性(5.1 节):作者指出 RadJEPA 在 Gaussian Noise 下 AUROC 微升并不代表噪声有益,1,000 张测试图像下这种幅度的差异可能出于偶然。
    • CheXWorld 的种子敏感性(5.5 节):作者称 CheXWorld 的微调结果应结合其较高的种子敏感性(std = 0.014)来解读。
    • X-WIN 权重不可得(第 4 节):X-WIN 官方预训练权重未公开,其原始训练数据 NLST 因算力限制无法使用,作者改在 LIDC-IDRI 上预训练 100 epoch,与其余三个官方权重编码器来源不同。
    • 论文没有专门的 Limitations 或 Future Work 小节,以上为正文明示的限制。

    实验覆盖范围

    • 被测模型为四个 JEPA 编码器:CheXWorld、X-WIN、RadJEPA、I-JEPA,全部冻结,只训练 predictor/分类器。
    • 攻击评测只包括两种黑盒攻击(SPSA、Boundary Attack);论文明确说明不用 FGSM 等白盒攻击,理由是现实攻击者只有查询权限。
    • 腐蚀测试为 Gaussian Noise、Brightness、Contrast 三种,各四档强度;评估数据集只有 NIH ChestX-ray14。
    • 主结果表基于 1,000 张(Table 2)或 3,000 张(Table 3)测试子集;对抗微调的种子检验用三个额外种子,其余结果为单种子(42)。
    • 论文未报告每次攻击的实际查询次数(除 Boundary 固定 80 次外)、SPSA 的步数预算,以及训练/评估的耗时。
  6. 总结一下论文的主要内容

    四个 JEPA 胸片编码器在扰动下均不鲁棒且程度因模型而异;对抗微调 predictor 多数有效,纯 codebook 无效。

    一篇关于自监督医学影像模型鲁棒性的实证研究:作者测量四个 JEPA 类胸片编码器在真实图像变化与黑盒攻击下的稳定性,并比较两种只训练下游轻量头的修复方法。

    • 问题:JEPA 编码器被用于胸片分析,但其在腐蚀和黑盒攻击下的鲁棒性从未被测量,受损后也缺乏不重训编码器的修复手段。
    • 方法:冻结编码器,训练残差 predictor 加线性分类器;在 NIH ChestX-ray14 上用 SPSA、Boundary Attack、Gaussian Noise、Brightness、Contrast(各多档强度)和少标签测试评估,指标为 Macro AUROC 与嵌入 CosSim。
    • 损伤普遍且模型间差异大:最强档下平均 AUROC 降幅从 X-WIN 的 3.17% 到 I-JEPA 的 10.77%(Table 2);I-JEPA 在 Boundary 下降 18.46%,Gaussian Noise 下 CosSim 低至 0.33。
    • 对抗微调有效:干净加扰动图像混合训练 predictor 后,I-JEPA 五项测试平均 AUROC 达 0.68,四个模型中三个有提升,且在三个额外种子下结论保持(CheXWorld 种子敏感性较高)。
    • Codebook 无效:只在干净图像上训练的 128 条目 VQ codebook 使所有模型进一步退化,I-JEPA 平均降 21.43%;作者称离散瓶颈本身不足以带来鲁棒性。
    • 少样本结果:I-JEPA 原始嵌入在各标签预算下最好(100% 时 0.75),作者称通用编码器迁移性好,且扰动鲁棒性训练不应被假定能帮助标签效率。
    • 作者结论:鲁棒性不能从预训练或架构假定,必须直接测量;针对扰动的训练比纯结构性的离散瓶颈更可靠。
阅读原文arxiv.org