跳到正文
原文

面向可认证鲁棒医学图像分类的量子启发正交适配器

Quantum-inspired orthogonal adapters for certifiably robust medical image classification

arXiv:其他 AI 安全论文· arXiv:2611.18775· Olga Tsurkan, Laia Domingo, Victoria Orlova, Asel Sagingalieva, Iris Zalaudek, Raffaele Dante Caposiena CaroEigenOrbit Sàrl; Dermatology Clinic, Hospital Maggiore of Trieste, University of Trieste本站收录· 2 天前· 原文发表防御· 扫描记录里的位置 →

论文速读

防御

据论文 PDF 整理(AI 生成),以原文为准

作者提出量子启发正交 butterfly 适配器微调已认证网络,在 BRONet 毛发镜诊断任务上认证准确率约为 LoRA 和全量微调的两倍。

威胁模型防御方场景:对输入图像的 ℓ2 有界扰动(如 ε=36/255)可能改变医学图像分类器的预测;认证鲁棒性要求对每张图像给出认证半径 r(x),保证范数不超过 r(x) 的任意扰动都不改变预测。

问题
医学图像分类器对微小输入扰动敏感,认证鲁棒性可给出预测稳定的数学保证,但常规微调会改变预训练认证网络的 Lipschitz 界,使保证失效。
方法
作者用量子启发 RBS 门构成的 butterfly 电路实现正交适配器,将预训练权重左乘正交矩阵 R(θ),奇异值不变从而保持 Lipschitz 界;每层仅需 n/2·log2 n 个可训练角度,并配合 margin 损失训练。
实验与结果
在 MNIST/MedMNIST 受控迁移和 BRONet 毛发镜任务上,butterfly 保持 L/L0=1,诊断任务 ε=36/255 认证准确率 63.8%,约为 LoRA(31.6%)和全量微调(35.6%)的两倍;各方法在所测攻击下经验鲁棒性相近。
局限与可以继续做的
作者指出:沿用原始研究的图像级划分可能高估准确率;临床数据集较小(143、57 名患者);攻击评测只用单种子和测试子集;只适配 BRONet 全连接层;认证骨干准确率低于常规网络。
实验设置BCM-Net、BRONet 等 · MNIST、MedMNIST v2 (BloodMNIST, DermaMNIST) 等 · certified accuracy (CA)、accuracy 等
威胁模型
防御方场景:对输入图像的 ℓ2 有界扰动(如 ε=36/255)可能改变医学图像分类器的预测;认证鲁棒性要求对每张图像给出认证半径 r(x),保证范数不超过 r(x) 的任意扰动都不改变预测。评测攻击为 PGD、APGD-T 及同范数随机扰动。
被测模型
BCM-NetBRONetResNet152
基准
MNISTMedMNIST v2 (BloodMNIST, DermaMNIST)trichoscopy 数据集(诊断 3,581 图/143 患者,AA activity 1,196 图/57 患者)
指标
certified accuracy (CA)accuracybalanced accuracyL/L0median certified radiusaccuracy under PGD/APGD-Ttrainable parameters
AI 导读研究者提出量子启发正交 butterfly 层微调方法,在适配预训练认证网络时保留 Lipschitz 界。在脱发诊断与斑秃活动性评估的毛发镜图像分类中,其认证准确率约为常规微调和 LoRA 的两倍,分类准确率相当。MNIST 与 MedMNIST 上认证鲁棒性优于常规方法,DermaMNIST 迁移中对所测攻击抵抗力高于 LoRA。

研究者提出量子启发正交 butterfly 层微调方法,在适配预训练认证网络时保留 Lipschitz 界。在脱发诊断与斑秃活动性评估的毛发镜图像分类中,其认证准确率约为常规微调和 LoRA 的两倍,分类准确率相当。MNIST 与 MedMNIST 上认证鲁棒性优于常规方法,DermaMNIST 迁移中对所测攻击抵抗力高于 LoRA。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    如何把预训练认证网络微调到医学新任务,同时保持其 Lipschitz 界和认证鲁棒性保证。

    核心问题:将预训练的认证鲁棒网络微调到医学影像新任务时,如何不破坏其 Lipschitz 界,从而保留认证鲁棒性保证。

    • 场景与重要性:皮肤病等医学图像分类器对微小扰动敏感,作者引用压力测试称旋转、重拍等简单变化即可改变预测;监管机构(EU AI Act、FDA 草案)已要求或建议鲁棒性。认证鲁棒性对每张图像给出认证半径,保证半径内任意扰动不改变预测。
    • 现有方法的不足:医学数据集通常太小,无法从头训练 BRONet 这类认证网络,必须微调;但作者指出常规微调会改变网络的 Lipschitz 界,使原有保证失效。
    • 核心观察:正交变换保持欧氏范数,用正交矩阵左乘预训练权重不改变其 Lipschitz 界;量子启发的 RBS 门电路按构造保持正交,butterfly 结构只需 n/2·log2 n 个可训练参数。
    • 论文提出:基于 butterfly 正交层的参数高效微调方法,先在 MNIST/MedMNIST 上从头训练验证性质,再将 ImageNet 预训练的 BRONet 适配到毛发镜脱发诊断与 AA activity 评估任务。
    • 威胁模型:
      • 攻击者目标:用 ℓ2 范数有界(如 ε=36/255)的扰动改变图像的预测类别。
      • 防御目标:对每张图像给出认证半径 r(x),保证范数小于 r(x) 的任意方向扰动都不改变预测。
      • 评测攻击:PGD、目标化 APGD-T 及同范数随机扰动,扰动不裁剪到 [0,1],与认证覆盖的扰动集合一致。
      • 受害系统:用于脱发诊断和 AA activity 评估的医学图像分类器。
  2. 有哪些相关研究?

    相关工作分四线:皮肤科深度学习、认证鲁棒性、量子正交层、正交微调;作者称本文首次将正交适配器用于保持认证界。

    皮肤科深度学习及其可靠性

    • Caposiena Caro et al. [6]——用卷积网络做毛发镜图像的脱发类型区分与 AA activity 评估,作者称其研究为本文提供临床基础,本文沿用其数据划分与预处理。
    • Zech [37]、Oakden-Rayner [38]、Daneshjou [39]、Maron [40] 等——指出医学分类器依赖混杂特征、跨医院/肤色泛化差、对图像损坏敏感;作者指出这些评估都是经验性的,不提供单张预测的数学保证,并称本文首次在毛发镜分类中研究认证鲁棒性。

    认证鲁棒性

    • 三类路线:界传播(Wong & Kolter [13] 等)、随机平滑(Cohen et al. [14])、基于 Lipschitz 的方法(Tsuzuku et al. [16]);BRONet [18] 将后者扩展到 ImageNet 规模,是本文的预训练骨干。
    • 医学影像中的认证工作:随机平滑用于分割 [69] 和视觉-语言分类 [70];作者说明本文改用确定性 Lipschitz 认证,聚焦微调时保持预训练网络的界。

    量子正交层

    • Kerenidis et al. [22]、Landman et al. [23]——用 RBS 门构建正交神经网络层并用于医学图像分类;Cherrat et al. [24] 提出 pyramid、butterfly、X 等门排布并扩展到量子视觉 Transformer。
    • 作者指出这些工作主要探索分类性能与计算效率,本文研究的是另一应用:微调时保持认证所需的 Lipschitz 界。

    正交微调

    • LoRA [29] 及 DoRA [80];OFT [25] 及其 butterfly [26]、Givens [27]、Householder [81] 变体;QuIC [28] 用 Hamming-weight 保持量子电路构建适配器。
    • 作者指出 QuIC 等正交微调方法聚焦参数与内存效率而非认证鲁棒性,本文探索的是保持预训练认证网络的鲁棒证书。

    基线与基准:对比的适配基线为 head-only、LoRA(rank 4)、全量微调;分类准确率对照为源研究的 ResNet152、DenseNet169、EfficientNetB0(无证书)。受控实验用 MNIST、BloodMNIST、DermaMNIST;临床实验用毛发镜诊断与 AA activity 两个数据集。作者将本文定位为正交适配器在认证保持上的新应用。

  3. 论文如何解决这个问题?

    用 RBS 门 butterfly 电路实现正交适配器 W′=R(θ)W,保持奇异值与 Lipschitz 界,配合 margin 损失训练。

    整体思路:用按构造正交的量子启发 butterfly 层替换或包裹线性层,使训练全程保持正交性,从而保持网络的 Lipschitz 界和认证半径。方法名为 butterfly adapter / BCM-Net。

    认证框架

    • 认证半径定义为 r(x) = minj ≠ p (zp(x) − zj(x))/(L |wp − wj|2),即预测类与他类的 logit 间隔除以 Lipschitz 界与权重差;扰动 ℓ2 范数小于 r(x) 时预测不变,单次前向即可算出。
    • 从头训练的网络用更保守的简化公式(要求末层谱范数不超过 1);预训练网络用上式。ε 处的认证准确率是分类正确且 r(x)>ε 的测试图像比例。

    正交层与 butterfly 电路

    • 谱归一化只把最大奇异值固定为 1,其余方向可收缩,深层堆叠会使信号衰减;正交矩阵所有奇异值为 1,保持输入与梯度的范数。
    • RBS 门在两个 qubit 的 |01⟩、|10⟩ 态上旋转角度 θ,限制在单激发子空间时,RBS 电路对任意角度都是 n×n 正交矩阵。
    • 门按 butterfly 模式(类似 FFT)排布:log2 n 层、共 n/2·log2 n 个角度;n=2048 时为 11,264 个角度,而稠密矩阵约 420 万权重。所有实验在经典硬件上运行,每次前向由角度构造一次矩阵。

    两种使用方式

    • 从头训练(BCM-Net):pixel unshuffle 后经过 D 个块(C×C channel mixer + GroupSort + 固定 channel shift),mixer 是唯一能改变范数的线性映射;对比三种 mixer:butterfly(L=1 严格成立)、dense-sn(谱归一化)、dense(无约束),另训一个普通卷积网仅作准确率参照。
    • 适配预训练网络:冻结权重 W 替换为 W′=R(θ)W,R 正交故 W′ 与 W 奇异值完全相同,全网界保持 L=L0;角度从零初始化,训练从预训练网络精确出发,只训练角度和新分类头。

    基线与骨干

    • 三种对比适配方式:head-only(只训新分类头,界保持 L0)、LoRA(rank 4,W′=W+BA,奇异值不受控)、全量微调(自由训练)。
    • 认证骨干 BRONet:ImageNet 上 49.3% 干净、37.6% 认证准确率(ε=36/255);冻结卷积部分与 neck,只适配 8 个 2048×2048 全连接层并训练新的 last-layer-normalised 头;L0=8.11,其中第一层卷积贡献 6.19。
    • 非认证对照 ResNet152:Lipschitz 界约 10^109,用于区分"保持界"与"界足够小"两个问题。

    训练目标

    • 受控实验用交叉熵(正确类 logit 减 1,要求 margin 超过 1)。
    • BRONet 模型用 certificate-aware 交叉熵:错误类 logit 加上 L·εtrain·‖wy−wj‖2 后再 softmax,τ=4;默认 εtrain=36/255,更大保证实验取 72–195/255。L 每轮开始时重算,butterfly/head-only 恒等于 L0,LoRA 和全量微调可增长;ResNet152 因界过大用 εtrain=0。
  4. 论文做了哪些实验?

    受控迁移与毛发镜实验显示 butterfly 保持 L/L0=1,认证准确率约为 LoRA/全量微调两倍,经验抗攻击性相近。

    实验设置

    • 被测对象:从头训练的 BCM-Net(butterfly/dense-sn/dense 三种 mixer);适配实验的四种策略 head-only、butterfly、LoRA(rank 4)、全量微调,作用于 32 块 BCM-Net 或 BRONet 的 8 个全连接层;非认证对照 ResNet152(适配最后 bottleneck 块)。
    • 数据集:MNIST(3 vs 5、0 vs 8)、MedMNIST v2 的 BloodMNIST 与 DermaMNIST(7 类,报 balanced accuracy);毛发镜诊断(5 类,3,581 图/143 患者,测试 717 图)与 AA activity(3 类,1,196 图/57 患者,测试 240 图),沿用源研究的图像级划分。
    • 指标:准确率、认证准确率 CA(ε)、L/L0、中位认证半径、PGD/APGD-T 下准确率、可训练参数与训练时间。
    • 训练:Adam,batch 256,最多 30 epoch;按验证准确率选学习率,排除训练崩溃或验证准确率下降超两个百分点的设置。
    • 重复与统计:受控实验 2 个种子,毛发镜 3 个种子,报均值±标准差;用精确 McNemar 检验比较同一测试集上的策略(跨种子多数投票),Holm 校正多重比较。
    • 攻击评测:PGD(20 步 1 次重启)、APGD-T(100 次迭代)与同范数随机扰动;毛发镜上攻击每种策略的 seed-0 模型,诊断取 300 图子集、AA activity 用全部 240 图。

    主结果

    BRONet 毛发镜实验(L0=8.11,3 种子均值±SD,据 Table II):

    表格较宽,可左右滑动

    任务方法AccuracyCA@36/255CA@108/255L/L0参数量
    诊断Head-only79.2±1.955.2±1.811.7±2.91.0010,245
    诊断Butterfly80.4±0.463.8±1.720.4±4.21.00100,357
    诊断LoRA71.5±0.131.6±1.00.0±0.11.89141,317
    诊断Full FT82.5±0.635.6±1.70.0±0.05.1233,581,061
    AA activityHead-only67.8±0.937.2±1.92.1±0.01.006,147
    AA activityButterfly69.3±2.140.6±1.34.7±0.21.0096,259
    AA activityLoRA65.3±0.221.3±0.80.0±0.02.47137,219
    AA activityFull FT69.6±0.817.9±5.60.0±0.08.4933,576,963
    • 作者报告:诊断任务上 butterfly 的认证准确率约为 LoRA 与全量微调的两倍,差异经检验高度显著;对 head-only 的优势在诊断上显著、在 AA activity(240 张测试图)上不显著。
    • 作者指出 LoRA 与全量微调把 Lipschitz 界抬高 2–8 倍,margin 未能补偿,中位认证半径约为 butterfly 的一半。
    • 准确率方面,作者报告诊断任务上 butterfly 显著优于 LoRA、略逊于全量微调,AA activity 上各策略差异不显著。

    受控迁移实验(Table I、Fig. 4)

    • 测了什么:32 块 BCM-Net(L0=1)从 MNIST 3/5 迁移到 0/8、从 BloodMNIST 迁移到 DermaMNIST,四种策略作用于全部 32 个 mixer。
    • 结果:butterfly 与 head-only 保持 L/L0=1,LoRA 与全量微调的界升至 10^3–10^19 量级;MNIST 迁移在 ε=1 的认证准确率 butterfly 91%、head-only 51%、LoRA 与全量微调接近 0(Fig. 4b);DermaMNIST 迁移 butterfly 26%、head-only 18%、其余为 0(Fig. 4c)。Table I 给出 MNIST 迁移中位认证半径 butterfly 1.760、head-only 1.116、LoRA 0.003、全量微调 0.004。
    • 作者解读:butterfly 参数量少于 LoRA;Fig. 5 显示同一 ℓ2 范数 1.3 的最坏扰动下,head-only、LoRA、全量微调改变预测而 butterfly 保持。

    从头训练的深度实验(Fig. 3)

    • 测了什么:三种 mixer 在 MNIST 3 vs 5(4–128 块)和 DermaMNIST(4–64 块)上随深度变化的准确率与认证准确率。
    • 结果:无约束 dense 的 Lipschitz 界随深度增长、认证准确率可忽略;谱归一化保持 L=1 但深层出现单类崩溃(图中叉号);butterfly 在 MNIST 上到 128 块准确率保持高位、认证准确率随深度略升,DermaMNIST 上最大深度处 balanced accuracy 下降但认证准确率保持。
    • 作者解读:保持范数的变换比单纯约束 Lipschitz 界更能在深层维持可用保证。

    认证与经验鲁棒性对比(App. B、Fig. 8)

    • 测了什么:毛发镜 seed-0 模型上比较认证半径与 PGD/APGD-T 找到的最小成功扰动,300 张诊断图与 240 张 AA activity 图。
    • 结果:ε=36/255 时 PGD 下诊断 67–78%、AA activity 58–63% 的图像在各策略下均未被攻破,APGD-T 最多再降 3 个百分点,随机扰动无影响;所有攻击均未在认证半径内成功。诊断任务 butterfly 把观测鲁棒性的 61%/74% 纳入证明,LoRA/全量微调只证明 29–35%/67–78%。
    • 作者解读:butterfly 与 head-only 的认证半径与最小成功扰动的 Spearman 相关为 0.97–0.99,比值约 3.5–3.8;LoRA/全量微调比值升至 7.5–9.3,即证书更保守而非模型更脆弱;DermaMNIST 迁移中 butterfly 还提升了经验鲁棒性,作者给出的一种可能是该实验适配了全部 32 个 mixer。

    其他消融与分析

    • 保证大小(Fig. 7):εtrain 升至 195/255 时 butterfly 证书可覆盖多数正确分类图像的 JPEG q90,但准确率下降 13–17 个百分点;LoRA/全量微调各 εtrain 下覆盖率不足 7%。
    • 受控迁移 margin 消融(Fig. 9):margin 从 1 提到 4,butterfly 中位半径从 0.42 升至 0.92 且 balanced accuracy 不降;head-only 半径停在约 0.45。
    • 图像变换覆盖(Fig. 9c):默认 margin 下 butterfly 证书覆盖 68–89% 正确分类图像的 JPEG、降位深、缩放与传感器噪声,LoRA/全量微调为 0(200 张测试图)。
    • 非认证骨干对照(Table III):ResNet152 上 butterfly 保持 L/L0=1 但界约 10^109,各半径认证准确率均为 0%;ε=9/255 的 PGD 已将其准确率约减半,36/255 时降至 2–15%,而 BRONet 模型在 36/255 下保持 58–78%。
    • 训练开销(Table II):butterfly 参数量约为 LoRA 的 2/3 到 7 成、远少于全量微调,但训练最慢(诊断 14.6 分钟 vs head-only 0.2 分钟,RTX 4070)。
    • 骨干准确率差距(Fig. 6a,b):同一图像级划分下,认证模型准确率低于源研究的非认证卷积网络;作者指出这涉及不同骨干与训练条件,且源模型用全部训练集、本文用 90%。
  5. 有什么可以进一步探索的点?

    作者列出图像级划分、小样本、单种子攻击评测等局限,并提出患者级验证与更大认证骨干等方向。

    作者指出的局限与后续方向

    • 图像级数据划分:沿用源研究的按图像划分,同一患者的图像可能同时进入训练与测试集,作者指出这可能导致准确率被高估,报告的数字不应解释为对新患者的表现(Sec. VI)。
    • 临床数据集规模:两个临床数据集分别只有 143 和 57 名患者,作者称其为相对较小(Sec. VI)。
    • 攻击评测覆盖:对抗攻击只用每种策略单一种子、在测试图像子集上评估(Sec. VI)。
    • 适配范围:临床实验只适配 BRONet 的全连接层,未研究光照、成像设备等采集差异的影响(Sec. VI)。
    • 骨干准确率:认证模型准确率低于常规卷积网络,作者称预训练骨干的质量是主要局限,且在毛发镜上获取更大证书会进一步牺牲准确率(Sec. VI)。
    • 后续方向:作者计划优先做更大独立数据集上的患者级验证、更省时的 butterfly 实现、覆盖更多临床相关图像变化的保证,以及用更大的量子启发正交网络预训练更准确的认证骨干(Sec. VI)。

    实验覆盖范围

    • 被测骨干为 BCM-Net、BRONet、ResNet152 共 3 个;适配策略为 head-only、butterfly、LoRA、全量微调共 4 种。
    • 数据集为 MNIST 两个二分类、BloodMNIST、DermaMNIST 及两个毛发镜任务;认证半径评测到 ε=108/255,更大保证实验 εtrain 到 195/255。
    • 攻击评测包括 PGD、APGD-T 与同范数随机扰动;毛发镜攻击限 seed-0 模型、300 张诊断图与 240 张 AA activity 图。
    • 统计检验为精确 McNemar 检验加 Holm 校正;受控实验 2 个种子、毛发镜 3 个种子。
    • 论文未报告攻击的查询次数,也未报告认证半径与人工临床判断的一致性。
  6. 总结一下论文的主要内容

    量子启发 butterfly 正交适配器在保持 Lipschitz 界的前提下微调认证网络,毛发镜任务认证准确率约为 LoRA 两倍。

    一篇关于认证鲁棒微调的方法论文:把 ImageNet 预训练的认证网络适配到医学小数据任务时,常规微调会破坏 Lipschitz 界,作者用量子启发 RBS 门的 butterfly 电路做正交适配器,W′=R(θ)W 保持奇异值不变,认证半径在微调后继续有效,每层只需 n/2·log2 n 个可训练角度。

    • 问题:医学图像分类器对微小扰动敏感,认证鲁棒性可给出单张预测的稳定性保证,但医学数据太少无法从头训练认证网络,微调又会破坏保证。
    • 方法:butterfly 适配器冻结原权重、只训练正交旋转角度与新分类头,配合 certificate-aware margin 损失;从头训练的 BCM-Net 用于隔离验证正交性的作用。
    • 受控结果:BCM-Net 到 128 块仍保持可用证书,谱归一化深层崩溃、无约束层界失控;MNIST 3/5→0/8 迁移在 ε=1 的认证准确率 butterfly 91%、head-only 51%、LoRA 与全量微调接近 0(Fig. 4b)。
    • 临床结果:BRONet 毛发镜诊断任务上 butterfly 认证准确率 63.8%(ε=36/255),约为 LoRA(31.6%)与全量微调(35.6%)的两倍,且 ε=108/255 时仍有 20.4% 而后两者为 0(Table II);各策略分类准确率相近、在 PGD/APGD-T 下经验鲁棒性相近,差别在于多少鲁棒性被数学证明。
    • 边界:ResNet152 对照显示适配器只能保持已有的界,不能把非认证骨干变成有意义的认证网络;更大证书可以换取,但准确率下降 13–17 个百分点。
    • 作者结论:作者称 butterfly 适配器为认证网络的参数高效适配提供了一条保持数学保证的路径,并计划开展患者级验证、更省时的实现和更大认证骨干的研究;作者同时指出图像级划分可能高估准确率、临床数据集较小等局限。

相关论文

共同使用 MNIST
再看 3 篇
共同使用 MNIST
阅读原文arxiv.org