嵌入中的裂缝:基于 JEPA 的胸部 X 光表征的鲁棒性与稳定性
Cracks in Embeddings: Robustness and Stability of JEPA-Based Chest X-Ray Representations
作者测试四个 JEPA 胸片编码器在六种扰动下的鲁棒性:CosSim 最低降至 0.33,对抗微调 predictor 可提升 AUROC,而仅用干净图像训练的 VQ codebook 反而更差。
- JEPA 类自监督编码器正被用于胸片分析,但其在真实图像变化(噪声、亮度、对比度)和黑盒对抗攻击下的鲁棒性缺乏测量,且受损后没有成熟的下游头修复方法。
- 冻结四个 JEPA 胸片编码器,只训练其上的小型残差 predictor 与线性分类器,在 NIH ChestX-ray14 上用两种黑盒攻击、三种图像退化和一个少标签测试评估;再比较两种只改训练方式的 predictor:干净+扰动图像对抗微调,以及只用干净图像训练的 VQ codebook。
- 扰动造成模型间差异很大的损伤:I-JEPA 受损最重(Boundary 下 AUROC 降 18.46%,Gaussian Noise 下 CosSim 降至 0.33);对抗微调提升多数模型的 AUROC(I-JEPA 平均 0.68);codebook 反而全面退化(I-JEPA 平均降 21.43%)。
- 作者指出 codebook 设置受限(仅 128 条目、只在干净图像训练、编码器不更新);X-WIN 因官方权重未公开而在 LIDC-IDRI 上自行预训练;评估只用 NIH ChestX-ray14 一个数据集,部分结果基于 1,000 张测试子集,作者提醒小样本差异可能出于偶然。
- 威胁模型
- 攻击者只能查询部署模型的输出、无法访问内部梯度(black-box),使用 SPSA 与 Boundary Attack;编码器全程冻结,只有 predictor 和 classifier 可训练。
- 被测模型
- CheXWorldX-WINRadJEPAI-JEPA
- 基准
- NIH ChestX-ray14LIDC-IDRI
- 指标
- Macro AUROCEmbedding Cosine Similarity
四个 NIH ChestX-ray14 训练的 JEPA 胸片编码器在黑盒对抗攻击与图像损坏下余弦相似度最低 0.33,I-JEPA AUROC 最差降 0.12。对抗微调使嵌入一致性几乎都超过 0.97,I-JEPA AUROC 最大提升 0.10;仅用干净图像训练的 Vector-Quantized 码本全部退化,I-JEPA 平均降 0.15。
深度解读
这篇论文试图解决什么问题?
JEPA 胸片编码器在真实图像扰动和黑盒攻击下的鲁棒性未被测量,受损后也缺乏修复手段。
核心问题:JEPA 类自监督胸片编码器在输入图像被腐蚀或攻击时是否仍可靠,以及受损后如何修复,仍是一个开放问题。
- 场景与动机:胸片在不同扫描仪、医院和采集条件下亮度、对比度、噪声差异很大;部署系统还可能被只能查询输出的攻击者探测。作者认为安全关键模型应当优雅退化,而不是静默失效。
- 现有工作不足:作者称 REMEDIS、Bundele et al. 等评估了自监督医学编码器的数据效率和泛化,但没有测量输入图像本身被腐蚀或攻击时表示的行为,也没有给出性能下降后的恢复方法。
- 论文的两个缺口:一是 JEPA 胸片编码器在真实腐蚀和黑盒攻击下的鲁棒性从未被测量,鲁棒性往往被假定而非检验;二是即使发现 AUROC 下降,也没有成熟方法训练下游头来应对。
- 论文的做法:冻结四个已有 JEPA 胸片编码器,只在其上训练小型 predictor 和分类器,在六项测试下测量嵌入变化与分类 AUROC,并比较两种只动这个轻量头的训练方法:对抗微调与 Vector-Quantised codebook。
- 威胁模型:
- 攻击者目标:使模型在扰动图像上的预测偏离干净图像。
- 知识:black-box,只能查询模型输出,无法访问内部梯度(区别于 FGSM 等 white-box 攻击)。
- 能力:SPSA 通过随机探测估计攻击方向;Boundary Attack 仅靠模型最终决策收缩扰动(80 次查询)。
- 受害系统:冻结的 JEPA 编码器加其上的 predictor/分类器,面向胸片 14 类疾病分类。
有哪些相关研究?
相关工作分四组:JEPA 模型、自监督表示学习、自监督模型评估、黑盒对抗攻击与鲁棒性。
JEPA 模型
- LeCun (2022) 提出 JEPA:在嵌入空间预测被遮挡区域的表示,而非重建像素。I-JEPA (2023) 用 Vision Transformer 实现这一思路。
- CheXWorld (2025)、X-WIN (2026)、RadJEPA (2026) 把 JEPA 思想用于胸片,学习胸片的一般结构;本文正是测试这四个编码器。
自监督表示学习
- SimCLR (2020)、MoCo (2020)、BYOL (2020) 通过比较同一图像的增强视图学习表示;Masked Autoencoders (2022) 直接重建被遮挡像素,JEPA 有意避开这一设计。
自监督模型评估
- REMEDIS (2023) 显示自监督预训练可提升医学影像的鲁棒性和数据效率,但论文指出它只研究单一表示学习配方,未比较不同范式。
- Bundele et al. (2024) 经 MedMNIST 系统评估医学 SSL 的标签效率、跨数据集泛化和 OOD 检测;论文指出其未测量输入被腐蚀或攻击时的表示行为,也未给出修正方法。本文的少样本测试(100%/10%/1% 标签)沿用 SimCLR 的标准 low-shot 协议。
黑盒攻击与扰动鲁棒性
- 白盒攻击 FGSM (2014)、Carlini & Wagner (2017) 与 PGD 对抗训练 (2018) 假设能访问模型内部;本文只用查询级黑盒攻击 SPSA (2018) 和 Boundary Attack (2017)。
- Hendrycks & Dietterich (2019) 的常见腐蚀基准启发本文的噪声/亮度/对比度测试;Szegedy et al. (2013) 最早指出神经网络对小输入变化的脆弱性。
- VQ 相关:Mao et al. (2021)、Yang et al. (2023)、He & Singhal (2024) 报告 VQ 表示可提升鲁棒性,本文检验仅靠离散瓶颈、不在扰动图像上训练是否足够。
定位:作者称本文把黑盒攻击与腐蚀鲁棒性研究首次连接到 JEPA 胸片模型,并只通过轻量 predictor 头的两种训练方式(对抗微调、codebook)来修复损伤,而非重训编码器。
论文如何解决这个问题?
冻结编码器,只训练残差 predictor 加线性分类器,用六项测试量鲁棒性,再比较对抗微调与 VQ codebook 两种训练法。
整体思路:所有编码器全程冻结,只在其上训练一个小型残差 predictor 和一个线性分类器;先在干净图像上训练得到 "Original" 基线,再用六种测试测量扰动造成的损伤,最后比较两种只改 predictor 训练方式的方法(对抗微调与 VQ codebook)。
问题设定与架构
- Predictor:残差网络 zp = z + W3σ(W2σ(W1 z)),其中 z 是冻结编码器的嵌入,σ 为 GELU;残差连接使 predictor 只需学习对 z 的小调整。权重尺寸为 D×512、512×512、512×D。
- 分类器:单层线性层,输出 14 个胸片疾病标签的概率。
- Original 基线:predictor 与分类器只用干净图像训练 300 epoch(学习率 10⁻²,Adam,权重衰减 10⁻⁴),之后冻结,作为所有鲁棒性测试的对照。
六项鲁棒性测试
- 两个黑盒攻击:SPSA(ε = 0.02/0.05/0.10/0.20)与 Boundary Attack(固定 80 次查询);论文强调只用黑盒攻击,因为部署医疗系统上的现实攻击者通常只有查询权限。
- 三种图像腐蚀:Gaussian Noise(σ = 0.05–0.50)、Brightness Shift(factor 0.3–2.2)、Contrast Shift(factor 0.2–2.5),各四档强度(Table 1)。
- 少样本测试:不扰动图像,用 100%/10%/1% 训练标签训练全新线性分类器(无 predictor),测原始嵌入的标签效率。
- 度量:Macro AUROC(14 类平均)与干净/扰动嵌入的 Cosine Similarity(Equation 2),两者仅用于评估,不直接优化。
对抗微调
- 做法:从干净训练的权重热启动,在干净图像加每种扰动最强档生成的副本上训练 200 epoch(学习率 10⁻³)。
- 损失:L = 1/2BCE(y,ŷ) + 1/2BCE(y,ỹ̂) + λ(1 − CosSim(zp, z̃p)),λ=1;前两项要求干净与扰动图像都分类正确,第三项约束两者嵌入接近。
- 效率处理:SPSA/Boundary 的训练缓存只在训练集的一个大子集上生成(多次前向传播成本高),简单腐蚀在全训练集上生成;评估仍用 Table 1 的完整最强设置。
VQ codebook predictor
- 结构:不池化编码器输出,直接在 patch token 上操作(CheXWorld/X-WIN 为 14×14 网格,RadJEPA/I-JEPA 为 16×16),经 3×3、stride-2 卷积降到 128 通道,每个空间位置独立量化到 128 条目的 codebook(Equation 5),用 straight-through estimator 传梯度。
- 初始化与更新:codebook 由 1,000 张干净训练图像的 k-means 聚类中心初始化,训练中用 EMA(decay 0.99)更新,少用条目定期重置;量化特征与量化前特征残差相加后接单层线性分类器。
- 关键设定:只在 78,468 张干净训练图像上训练 300 epoch(batch 128,学习率 10⁻³ 余弦退火到 10⁻⁵),训练中从不接触扰动图像,损失为 BCE 加 commitment 项(β=0.25,Equation 7);要回答的问题是:离散瓶颈能否仅凭结构带来鲁棒性。
数据与模型
- 数据:NIH ChestX-ray14 官方划分,78,468 张训练图像;评估用 held-out 测试集的扰动版本(Table 2 用 1,000 张子集,Table 3 用 3,000 张)。
- 四个编码器:CheXWorld、RadJEPA、I-JEPA 用官方发布权重;X-WIN 官方权重未公开,作者在 LIDC-IDRI CT 数据集上自行预训练 100 epoch。I-JEPA 是唯一在自然图像(ImageNet)上预训练的编码器。
论文做了哪些实验?
六项测试下四个编码器均受损且程度因模型而异;对抗微调多数有效,codebook 全面退化;少样本下 I-JEPA 嵌入最好。
实验设置
- 被测模型:四个冻结 JEPA 编码器——CheXWorld、X-WIN、RadJEPA、I-JEPA,各自搭配独立训练的 predictor/分类器。
- 数据集:NIH ChestX-ray14(78,468 张训练);X-WIN 预训练用 LIDC-IDRI。
- 测试条件:SPSA、Boundary Attack、Gaussian Noise、Brightness、Contrast 各取最强档,加少样本测试(Table 1)。
- 指标:Macro AUROC 与嵌入 CosSim;测试集规模因实验而异——Table 2 与 Figure 3/4 用 1,000 张 held-out 子集,Table 3 用 3,000 张。
- 基线:仅用干净图像训练的 "Original" predictor;两个对比变体为对抗微调 predictor 与 128 条目 codebook predictor。
- 重复次数:主结果为单种子(42);5.5 节用另外三个种子(123、456、789)重复对抗微调。
主结果
据 Table 2(Original predictor,最强档,1,000 张测试子集,括号内为相对干净图像的 AUROC 降幅):
表格较宽,可左右滑动
Test CheXWorld X-WIN RadJEPA I-JEPA Clean 0.58 0.63 0.63 0.65 SPSA (0.20) 0.58 (0.00%) 0.63 (0.00%) 0.63 (0.00%) 0.60 (7.69%) Boundary (80 q) 0.57 (1.72%) 0.63 (0.00%) 0.63 (0.00%) 0.53 (18.46%) Gaussian Noise (0.50) 0.57 (1.72%) 0.62 (1.59%) 0.64 (−1.59%) 0.54 (16.92%) Brightness (2.2) 0.50 (13.79%) 0.57 (9.52%) 0.53 (15.87%) 0.63 (3.08%) Contrast (2.5) 0.47 (18.97%) 0.59 (6.35%) 0.59 (6.35%) 0.62 (4.62%) Average 0.54 (6.90%) 0.61 (3.17%) 0.60 (4.76%) 0.58 (10.77%) - 作者解读:损伤因模型和测试而异,I-JEPA 受损最重;CheXWorld、X-WIN、RadJEPA 在 SPSA 和 Gaussian Noise 下几乎不变,而 I-JEPA 的 Gaussian-Noise CosSim 降至 0.33(Figure 4)。
- 例外:RadJEPA 在 Gaussian Noise 下 AUROC 反而略升(0.63→0.64);作者明确说这并不意味着噪声有益,1,000 张测试图像下这种差异可能只是偶然。
- 非单调现象:Brightness 和 Contrast 下嵌入相似度常在最轻档最低(CheXWorld、X-WIN 在 Level 1 的 CosSim 分别为 0.39、0.41),而 AUROC 持续下降到 Level 4。
Codebook 测试
- 测了什么:128 条目 codebook predictor(仅干净图像训练)在最强档扰动下的 AUROC(Table 3,3,000 张测试子集)。
- 结果:四个模型全部退化,平均降幅 CheXWorld 10.00%、X-WIN 13.56%、RadJEPA 9.38%、I-JEPA 21.43%;I-JEPA 在 Gaussian Noise 下降 24.29%。注意 codebook 的干净 AUROC 与 Original 不同(如 CheXWorld 0.70 vs 0.58),降幅是相对各自干净基线算的。
- 作者解读:离散瓶颈本身不足以抵抗从未见过的扰动;作者认为这与先前 VQ 鲁棒性结果 [15, 27] 的差距可能源于其设置更受限——codebook 只在干净图像训练、位于小 predictor 内、仅 128 条目、编码器不更新。
对抗微调
- 测了什么:干净+扰动图像混合训练的 predictor 在最强档下的 AUROC(Table 4)。
- 结果:五项测试平均 AUROC 为 CheXWorld 0.62、X-WIN 0.63、RadJEPA 0.62、I-JEPA 0.68;作者称四个模型中三个有提升,受损最重的 I-JEPA 提升最大(相对 Table 2 的扰动基线最高 +0.10),RadJEPA 基本不变。
- 作者解读:在干净和扰动图像上共同训练 predictor 能同时改善分类与嵌入一致性;摘要称嵌入一致性在几乎所有情况下升至 0.97 以上。
少样本与种子稳定性
- 少样本(Figure 5):I-JEPA 在 100%/10%/1% 标签下 AUROC 为 0.75/0.73/0.65,各预算下最好;X-WIN 全标签时 0.67 为医学编码器最高,但 1% 时降至 0.55,CheXWorld 与 RadJEPA 在 1% 时均为 0.60。作者称通用编码器迁移得出乎意料地好;微调或 codebook 训练并不能稳定提升低标签 AUROC。
- 种子稳定性(Figure 6):X-WIN、RadJEPA 几乎不受种子影响(std ≤ 0.001);I-JEPA std = 0.006(均值 0.671 vs 种子 42 的 0.677);CheXWorld 最敏感(std = 0.014,三种子均值 0.579 低于种子 42 的 0.616)。作者称这支持微调收益不是单一初始化的产物,但 CheXWorld 的结果需结合其种子敏感性解读。
其他消融与分析
- 无其他独立消融;各扰动四档强度的完整曲线见 Figure 3(AUROC)与 Figure 4(CosSim),正文只给出最强档汇总。
有什么可以进一步探索的点?
作者指出 codebook 设置受限、X-WIN 为自行预训练;评估集中于单一数据集与黑盒攻击。
作者指出的局限与后续方向
- Codebook 设置受限(5.2 节):作者称 codebook 结果不及先前 VQ 工作,可能因为其只在干净图像上训练、位于小型 predictor 而非大型可训练骨干内、只有 128 条目、且编码器从不更新。
- 小样本测试的偶然性(5.1 节):作者指出 RadJEPA 在 Gaussian Noise 下 AUROC 微升并不代表噪声有益,1,000 张测试图像下这种幅度的差异可能出于偶然。
- CheXWorld 的种子敏感性(5.5 节):作者称 CheXWorld 的微调结果应结合其较高的种子敏感性(std = 0.014)来解读。
- X-WIN 权重不可得(第 4 节):X-WIN 官方预训练权重未公开,其原始训练数据 NLST 因算力限制无法使用,作者改在 LIDC-IDRI 上预训练 100 epoch,与其余三个官方权重编码器来源不同。
- 论文没有专门的 Limitations 或 Future Work 小节,以上为正文明示的限制。
实验覆盖范围
- 被测模型为四个 JEPA 编码器:CheXWorld、X-WIN、RadJEPA、I-JEPA,全部冻结,只训练 predictor/分类器。
- 攻击评测只包括两种黑盒攻击(SPSA、Boundary Attack);论文明确说明不用 FGSM 等白盒攻击,理由是现实攻击者只有查询权限。
- 腐蚀测试为 Gaussian Noise、Brightness、Contrast 三种,各四档强度;评估数据集只有 NIH ChestX-ray14。
- 主结果表基于 1,000 张(Table 2)或 3,000 张(Table 3)测试子集;对抗微调的种子检验用三个额外种子,其余结果为单种子(42)。
- 论文未报告每次攻击的实际查询次数(除 Boundary 固定 80 次外)、SPSA 的步数预算,以及训练/评估的耗时。
总结一下论文的主要内容
四个 JEPA 胸片编码器在扰动下均不鲁棒且程度因模型而异;对抗微调 predictor 多数有效,纯 codebook 无效。
一篇关于自监督医学影像模型鲁棒性的实证研究:作者测量四个 JEPA 类胸片编码器在真实图像变化与黑盒攻击下的稳定性,并比较两种只训练下游轻量头的修复方法。
- 问题:JEPA 编码器被用于胸片分析,但其在腐蚀和黑盒攻击下的鲁棒性从未被测量,受损后也缺乏不重训编码器的修复手段。
- 方法:冻结编码器,训练残差 predictor 加线性分类器;在 NIH ChestX-ray14 上用 SPSA、Boundary Attack、Gaussian Noise、Brightness、Contrast(各多档强度)和少标签测试评估,指标为 Macro AUROC 与嵌入 CosSim。
- 损伤普遍且模型间差异大:最强档下平均 AUROC 降幅从 X-WIN 的 3.17% 到 I-JEPA 的 10.77%(Table 2);I-JEPA 在 Boundary 下降 18.46%,Gaussian Noise 下 CosSim 低至 0.33。
- 对抗微调有效:干净加扰动图像混合训练 predictor 后,I-JEPA 五项测试平均 AUROC 达 0.68,四个模型中三个有提升,且在三个额外种子下结论保持(CheXWorld 种子敏感性较高)。
- Codebook 无效:只在干净图像上训练的 128 条目 VQ codebook 使所有模型进一步退化,I-JEPA 平均降 21.43%;作者称离散瓶颈本身不足以带来鲁棒性。
- 少样本结果:I-JEPA 原始嵌入在各标签预算下最好(100% 时 0.75),作者称通用编码器迁移性好,且扰动鲁棒性训练不应被假定能帮助标签效率。
- 作者结论:鲁棒性不能从预训练或架构假定,必须直接测量;针对扰动的训练比纯结构性的离散瓶颈更可靠。