面向可认证鲁棒医学图像分类的量子启发正交适配器
Quantum-inspired orthogonal adapters for certifiably robust medical image classification
作者提出量子启发正交 butterfly 适配器微调已认证网络,在 BRONet 毛发镜诊断任务上认证准确率约为 LoRA 和全量微调的两倍。
防御方场景:对输入图像的 ℓ2 有界扰动(如 ε=36/255)可能改变医学图像分类器的预测;认证鲁棒性要求对每张图像给出认证半径 r(x),保证范数不超过 r(x) 的任意扰动都不改变预测。
- 医学图像分类器对微小输入扰动敏感,认证鲁棒性可给出预测稳定的数学保证,但常规微调会改变预训练认证网络的 Lipschitz 界,使保证失效。
- 作者用量子启发 RBS 门构成的 butterfly 电路实现正交适配器,将预训练权重左乘正交矩阵 R(θ),奇异值不变从而保持 Lipschitz 界;每层仅需 n/2·log2 n 个可训练角度,并配合 margin 损失训练。
- 在 MNIST/MedMNIST 受控迁移和 BRONet 毛发镜任务上,butterfly 保持 L/L0=1,诊断任务 ε=36/255 认证准确率 63.8%,约为 LoRA(31.6%)和全量微调(35.6%)的两倍;各方法在所测攻击下经验鲁棒性相近。
- 作者指出:沿用原始研究的图像级划分可能高估准确率;临床数据集较小(143、57 名患者);攻击评测只用单种子和测试子集;只适配 BRONet 全连接层;认证骨干准确率低于常规网络。
- 威胁模型
- 防御方场景:对输入图像的 ℓ2 有界扰动(如 ε=36/255)可能改变医学图像分类器的预测;认证鲁棒性要求对每张图像给出认证半径 r(x),保证范数不超过 r(x) 的任意扰动都不改变预测。评测攻击为 PGD、APGD-T 及同范数随机扰动。
- 被测模型
- BCM-NetBRONetResNet152
- 基准
- MNISTMedMNIST v2 (BloodMNIST, DermaMNIST)trichoscopy 数据集(诊断 3,581 图/143 患者,AA activity 1,196 图/57 患者)
- 指标
- certified accuracy (CA)accuracybalanced accuracyL/L0median certified radiusaccuracy under PGD/APGD-Ttrainable parameters
研究者提出量子启发正交 butterfly 层微调方法,在适配预训练认证网络时保留 Lipschitz 界。在脱发诊断与斑秃活动性评估的毛发镜图像分类中,其认证准确率约为常规微调和 LoRA 的两倍,分类准确率相当。MNIST 与 MedMNIST 上认证鲁棒性优于常规方法,DermaMNIST 迁移中对所测攻击抵抗力高于 LoRA。
深度解读
这篇论文试图解决什么问题?
如何把预训练认证网络微调到医学新任务,同时保持其 Lipschitz 界和认证鲁棒性保证。
核心问题:将预训练的认证鲁棒网络微调到医学影像新任务时,如何不破坏其 Lipschitz 界,从而保留认证鲁棒性保证。
- 场景与重要性:皮肤病等医学图像分类器对微小扰动敏感,作者引用压力测试称旋转、重拍等简单变化即可改变预测;监管机构(EU AI Act、FDA 草案)已要求或建议鲁棒性。认证鲁棒性对每张图像给出认证半径,保证半径内任意扰动不改变预测。
- 现有方法的不足:医学数据集通常太小,无法从头训练 BRONet 这类认证网络,必须微调;但作者指出常规微调会改变网络的 Lipschitz 界,使原有保证失效。
- 核心观察:正交变换保持欧氏范数,用正交矩阵左乘预训练权重不改变其 Lipschitz 界;量子启发的 RBS 门电路按构造保持正交,butterfly 结构只需 n/2·log2 n 个可训练参数。
- 论文提出:基于 butterfly 正交层的参数高效微调方法,先在 MNIST/MedMNIST 上从头训练验证性质,再将 ImageNet 预训练的 BRONet 适配到毛发镜脱发诊断与 AA activity 评估任务。
- 威胁模型:
- 攻击者目标:用 ℓ2 范数有界(如 ε=36/255)的扰动改变图像的预测类别。
- 防御目标:对每张图像给出认证半径 r(x),保证范数小于 r(x) 的任意方向扰动都不改变预测。
- 评测攻击:PGD、目标化 APGD-T 及同范数随机扰动,扰动不裁剪到 [0,1],与认证覆盖的扰动集合一致。
- 受害系统:用于脱发诊断和 AA activity 评估的医学图像分类器。
有哪些相关研究?
相关工作分四线:皮肤科深度学习、认证鲁棒性、量子正交层、正交微调;作者称本文首次将正交适配器用于保持认证界。
皮肤科深度学习及其可靠性
- Caposiena Caro et al. [6]——用卷积网络做毛发镜图像的脱发类型区分与 AA activity 评估,作者称其研究为本文提供临床基础,本文沿用其数据划分与预处理。
- Zech [37]、Oakden-Rayner [38]、Daneshjou [39]、Maron [40] 等——指出医学分类器依赖混杂特征、跨医院/肤色泛化差、对图像损坏敏感;作者指出这些评估都是经验性的,不提供单张预测的数学保证,并称本文首次在毛发镜分类中研究认证鲁棒性。
认证鲁棒性
- 三类路线:界传播(Wong & Kolter [13] 等)、随机平滑(Cohen et al. [14])、基于 Lipschitz 的方法(Tsuzuku et al. [16]);BRONet [18] 将后者扩展到 ImageNet 规模,是本文的预训练骨干。
- 医学影像中的认证工作:随机平滑用于分割 [69] 和视觉-语言分类 [70];作者说明本文改用确定性 Lipschitz 认证,聚焦微调时保持预训练网络的界。
量子正交层
- Kerenidis et al. [22]、Landman et al. [23]——用 RBS 门构建正交神经网络层并用于医学图像分类;Cherrat et al. [24] 提出 pyramid、butterfly、X 等门排布并扩展到量子视觉 Transformer。
- 作者指出这些工作主要探索分类性能与计算效率,本文研究的是另一应用:微调时保持认证所需的 Lipschitz 界。
正交微调
- LoRA [29] 及 DoRA [80];OFT [25] 及其 butterfly [26]、Givens [27]、Householder [81] 变体;QuIC [28] 用 Hamming-weight 保持量子电路构建适配器。
- 作者指出 QuIC 等正交微调方法聚焦参数与内存效率而非认证鲁棒性,本文探索的是保持预训练认证网络的鲁棒证书。
基线与基准:对比的适配基线为 head-only、LoRA(rank 4)、全量微调;分类准确率对照为源研究的 ResNet152、DenseNet169、EfficientNetB0(无证书)。受控实验用 MNIST、BloodMNIST、DermaMNIST;临床实验用毛发镜诊断与 AA activity 两个数据集。作者将本文定位为正交适配器在认证保持上的新应用。
论文如何解决这个问题?
用 RBS 门 butterfly 电路实现正交适配器 W′=R(θ)W,保持奇异值与 Lipschitz 界,配合 margin 损失训练。
整体思路:用按构造正交的量子启发 butterfly 层替换或包裹线性层,使训练全程保持正交性,从而保持网络的 Lipschitz 界和认证半径。方法名为 butterfly adapter / BCM-Net。
认证框架
- 认证半径定义为 r(x) = minj ≠ p (zp(x) − zj(x))/(L |wp − wj|2),即预测类与他类的 logit 间隔除以 Lipschitz 界与权重差;扰动 ℓ2 范数小于 r(x) 时预测不变,单次前向即可算出。
- 从头训练的网络用更保守的简化公式(要求末层谱范数不超过 1);预训练网络用上式。ε 处的认证准确率是分类正确且 r(x)>ε 的测试图像比例。
正交层与 butterfly 电路
- 谱归一化只把最大奇异值固定为 1,其余方向可收缩,深层堆叠会使信号衰减;正交矩阵所有奇异值为 1,保持输入与梯度的范数。
- RBS 门在两个 qubit 的 |01⟩、|10⟩ 态上旋转角度 θ,限制在单激发子空间时,RBS 电路对任意角度都是 n×n 正交矩阵。
- 门按 butterfly 模式(类似 FFT)排布:log2 n 层、共 n/2·log2 n 个角度;n=2048 时为 11,264 个角度,而稠密矩阵约 420 万权重。所有实验在经典硬件上运行,每次前向由角度构造一次矩阵。
两种使用方式
- 从头训练(BCM-Net):pixel unshuffle 后经过 D 个块(C×C channel mixer + GroupSort + 固定 channel shift),mixer 是唯一能改变范数的线性映射;对比三种 mixer:butterfly(L=1 严格成立)、dense-sn(谱归一化)、dense(无约束),另训一个普通卷积网仅作准确率参照。
- 适配预训练网络:冻结权重 W 替换为 W′=R(θ)W,R 正交故 W′ 与 W 奇异值完全相同,全网界保持 L=L0;角度从零初始化,训练从预训练网络精确出发,只训练角度和新分类头。
基线与骨干
- 三种对比适配方式:head-only(只训新分类头,界保持 L0)、LoRA(rank 4,W′=W+BA,奇异值不受控)、全量微调(自由训练)。
- 认证骨干 BRONet:ImageNet 上 49.3% 干净、37.6% 认证准确率(ε=36/255);冻结卷积部分与 neck,只适配 8 个 2048×2048 全连接层并训练新的 last-layer-normalised 头;L0=8.11,其中第一层卷积贡献 6.19。
- 非认证对照 ResNet152:Lipschitz 界约 10^109,用于区分"保持界"与"界足够小"两个问题。
训练目标
- 受控实验用交叉熵(正确类 logit 减 1,要求 margin 超过 1)。
- BRONet 模型用 certificate-aware 交叉熵:错误类 logit 加上 L·εtrain·‖wy−wj‖2 后再 softmax,τ=4;默认 εtrain=36/255,更大保证实验取 72–195/255。L 每轮开始时重算,butterfly/head-only 恒等于 L0,LoRA 和全量微调可增长;ResNet152 因界过大用 εtrain=0。
论文做了哪些实验?
受控迁移与毛发镜实验显示 butterfly 保持 L/L0=1,认证准确率约为 LoRA/全量微调两倍,经验抗攻击性相近。
实验设置
- 被测对象:从头训练的 BCM-Net(butterfly/dense-sn/dense 三种 mixer);适配实验的四种策略 head-only、butterfly、LoRA(rank 4)、全量微调,作用于 32 块 BCM-Net 或 BRONet 的 8 个全连接层;非认证对照 ResNet152(适配最后 bottleneck 块)。
- 数据集:MNIST(3 vs 5、0 vs 8)、MedMNIST v2 的 BloodMNIST 与 DermaMNIST(7 类,报 balanced accuracy);毛发镜诊断(5 类,3,581 图/143 患者,测试 717 图)与 AA activity(3 类,1,196 图/57 患者,测试 240 图),沿用源研究的图像级划分。
- 指标:准确率、认证准确率 CA(ε)、L/L0、中位认证半径、PGD/APGD-T 下准确率、可训练参数与训练时间。
- 训练:Adam,batch 256,最多 30 epoch;按验证准确率选学习率,排除训练崩溃或验证准确率下降超两个百分点的设置。
- 重复与统计:受控实验 2 个种子,毛发镜 3 个种子,报均值±标准差;用精确 McNemar 检验比较同一测试集上的策略(跨种子多数投票),Holm 校正多重比较。
- 攻击评测:PGD(20 步 1 次重启)、APGD-T(100 次迭代)与同范数随机扰动;毛发镜上攻击每种策略的 seed-0 模型,诊断取 300 图子集、AA activity 用全部 240 图。
主结果
BRONet 毛发镜实验(L0=8.11,3 种子均值±SD,据 Table II):
表格较宽,可左右滑动
任务 方法 Accuracy CA@36/255 CA@108/255 L/L0 参数量 诊断 Head-only 79.2±1.9 55.2±1.8 11.7±2.9 1.00 10,245 诊断 Butterfly 80.4±0.4 63.8±1.7 20.4±4.2 1.00 100,357 诊断 LoRA 71.5±0.1 31.6±1.0 0.0±0.1 1.89 141,317 诊断 Full FT 82.5±0.6 35.6±1.7 0.0±0.0 5.12 33,581,061 AA activity Head-only 67.8±0.9 37.2±1.9 2.1±0.0 1.00 6,147 AA activity Butterfly 69.3±2.1 40.6±1.3 4.7±0.2 1.00 96,259 AA activity LoRA 65.3±0.2 21.3±0.8 0.0±0.0 2.47 137,219 AA activity Full FT 69.6±0.8 17.9±5.6 0.0±0.0 8.49 33,576,963 - 作者报告:诊断任务上 butterfly 的认证准确率约为 LoRA 与全量微调的两倍,差异经检验高度显著;对 head-only 的优势在诊断上显著、在 AA activity(240 张测试图)上不显著。
- 作者指出 LoRA 与全量微调把 Lipschitz 界抬高 2–8 倍,margin 未能补偿,中位认证半径约为 butterfly 的一半。
- 准确率方面,作者报告诊断任务上 butterfly 显著优于 LoRA、略逊于全量微调,AA activity 上各策略差异不显著。
受控迁移实验(Table I、Fig. 4)
- 测了什么:32 块 BCM-Net(L0=1)从 MNIST 3/5 迁移到 0/8、从 BloodMNIST 迁移到 DermaMNIST,四种策略作用于全部 32 个 mixer。
- 结果:butterfly 与 head-only 保持 L/L0=1,LoRA 与全量微调的界升至 10^3–10^19 量级;MNIST 迁移在 ε=1 的认证准确率 butterfly 91%、head-only 51%、LoRA 与全量微调接近 0(Fig. 4b);DermaMNIST 迁移 butterfly 26%、head-only 18%、其余为 0(Fig. 4c)。Table I 给出 MNIST 迁移中位认证半径 butterfly 1.760、head-only 1.116、LoRA 0.003、全量微调 0.004。
- 作者解读:butterfly 参数量少于 LoRA;Fig. 5 显示同一 ℓ2 范数 1.3 的最坏扰动下,head-only、LoRA、全量微调改变预测而 butterfly 保持。
从头训练的深度实验(Fig. 3)
- 测了什么:三种 mixer 在 MNIST 3 vs 5(4–128 块)和 DermaMNIST(4–64 块)上随深度变化的准确率与认证准确率。
- 结果:无约束 dense 的 Lipschitz 界随深度增长、认证准确率可忽略;谱归一化保持 L=1 但深层出现单类崩溃(图中叉号);butterfly 在 MNIST 上到 128 块准确率保持高位、认证准确率随深度略升,DermaMNIST 上最大深度处 balanced accuracy 下降但认证准确率保持。
- 作者解读:保持范数的变换比单纯约束 Lipschitz 界更能在深层维持可用保证。
认证与经验鲁棒性对比(App. B、Fig. 8)
- 测了什么:毛发镜 seed-0 模型上比较认证半径与 PGD/APGD-T 找到的最小成功扰动,300 张诊断图与 240 张 AA activity 图。
- 结果:ε=36/255 时 PGD 下诊断 67–78%、AA activity 58–63% 的图像在各策略下均未被攻破,APGD-T 最多再降 3 个百分点,随机扰动无影响;所有攻击均未在认证半径内成功。诊断任务 butterfly 把观测鲁棒性的 61%/74% 纳入证明,LoRA/全量微调只证明 29–35%/67–78%。
- 作者解读:butterfly 与 head-only 的认证半径与最小成功扰动的 Spearman 相关为 0.97–0.99,比值约 3.5–3.8;LoRA/全量微调比值升至 7.5–9.3,即证书更保守而非模型更脆弱;DermaMNIST 迁移中 butterfly 还提升了经验鲁棒性,作者给出的一种可能是该实验适配了全部 32 个 mixer。
其他消融与分析
- 保证大小(Fig. 7):εtrain 升至 195/255 时 butterfly 证书可覆盖多数正确分类图像的 JPEG q90,但准确率下降 13–17 个百分点;LoRA/全量微调各 εtrain 下覆盖率不足 7%。
- 受控迁移 margin 消融(Fig. 9):margin 从 1 提到 4,butterfly 中位半径从 0.42 升至 0.92 且 balanced accuracy 不降;head-only 半径停在约 0.45。
- 图像变换覆盖(Fig. 9c):默认 margin 下 butterfly 证书覆盖 68–89% 正确分类图像的 JPEG、降位深、缩放与传感器噪声,LoRA/全量微调为 0(200 张测试图)。
- 非认证骨干对照(Table III):ResNet152 上 butterfly 保持 L/L0=1 但界约 10^109,各半径认证准确率均为 0%;ε=9/255 的 PGD 已将其准确率约减半,36/255 时降至 2–15%,而 BRONet 模型在 36/255 下保持 58–78%。
- 训练开销(Table II):butterfly 参数量约为 LoRA 的 2/3 到 7 成、远少于全量微调,但训练最慢(诊断 14.6 分钟 vs head-only 0.2 分钟,RTX 4070)。
- 骨干准确率差距(Fig. 6a,b):同一图像级划分下,认证模型准确率低于源研究的非认证卷积网络;作者指出这涉及不同骨干与训练条件,且源模型用全部训练集、本文用 90%。
有什么可以进一步探索的点?
作者列出图像级划分、小样本、单种子攻击评测等局限,并提出患者级验证与更大认证骨干等方向。
作者指出的局限与后续方向
- 图像级数据划分:沿用源研究的按图像划分,同一患者的图像可能同时进入训练与测试集,作者指出这可能导致准确率被高估,报告的数字不应解释为对新患者的表现(Sec. VI)。
- 临床数据集规模:两个临床数据集分别只有 143 和 57 名患者,作者称其为相对较小(Sec. VI)。
- 攻击评测覆盖:对抗攻击只用每种策略单一种子、在测试图像子集上评估(Sec. VI)。
- 适配范围:临床实验只适配 BRONet 的全连接层,未研究光照、成像设备等采集差异的影响(Sec. VI)。
- 骨干准确率:认证模型准确率低于常规卷积网络,作者称预训练骨干的质量是主要局限,且在毛发镜上获取更大证书会进一步牺牲准确率(Sec. VI)。
- 后续方向:作者计划优先做更大独立数据集上的患者级验证、更省时的 butterfly 实现、覆盖更多临床相关图像变化的保证,以及用更大的量子启发正交网络预训练更准确的认证骨干(Sec. VI)。
实验覆盖范围
- 被测骨干为 BCM-Net、BRONet、ResNet152 共 3 个;适配策略为 head-only、butterfly、LoRA、全量微调共 4 种。
- 数据集为 MNIST 两个二分类、BloodMNIST、DermaMNIST 及两个毛发镜任务;认证半径评测到 ε=108/255,更大保证实验 εtrain 到 195/255。
- 攻击评测包括 PGD、APGD-T 与同范数随机扰动;毛发镜攻击限 seed-0 模型、300 张诊断图与 240 张 AA activity 图。
- 统计检验为精确 McNemar 检验加 Holm 校正;受控实验 2 个种子、毛发镜 3 个种子。
- 论文未报告攻击的查询次数,也未报告认证半径与人工临床判断的一致性。
总结一下论文的主要内容
量子启发 butterfly 正交适配器在保持 Lipschitz 界的前提下微调认证网络,毛发镜任务认证准确率约为 LoRA 两倍。
一篇关于认证鲁棒微调的方法论文:把 ImageNet 预训练的认证网络适配到医学小数据任务时,常规微调会破坏 Lipschitz 界,作者用量子启发 RBS 门的 butterfly 电路做正交适配器,W′=R(θ)W 保持奇异值不变,认证半径在微调后继续有效,每层只需 n/2·log2 n 个可训练角度。
- 问题:医学图像分类器对微小扰动敏感,认证鲁棒性可给出单张预测的稳定性保证,但医学数据太少无法从头训练认证网络,微调又会破坏保证。
- 方法:butterfly 适配器冻结原权重、只训练正交旋转角度与新分类头,配合 certificate-aware margin 损失;从头训练的 BCM-Net 用于隔离验证正交性的作用。
- 受控结果:BCM-Net 到 128 块仍保持可用证书,谱归一化深层崩溃、无约束层界失控;MNIST 3/5→0/8 迁移在 ε=1 的认证准确率 butterfly 91%、head-only 51%、LoRA 与全量微调接近 0(Fig. 4b)。
- 临床结果:BRONet 毛发镜诊断任务上 butterfly 认证准确率 63.8%(ε=36/255),约为 LoRA(31.6%)与全量微调(35.6%)的两倍,且 ε=108/255 时仍有 20.4% 而后两者为 0(Table II);各策略分类准确率相近、在 PGD/APGD-T 下经验鲁棒性相近,差别在于多少鲁棒性被数学证明。
- 边界:ResNet152 对照显示适配器只能保持已有的界,不能把非认证骨干变成有意义的认证网络;更大证书可以换取,但准确率下降 13–17 个百分点。
- 作者结论:作者称 butterfly 适配器为认证网络的参数高效适配提供了一条保持数学保证的路径,并计划开展患者级验证、更省时的实现和更大认证骨干的研究;作者同时指出图像级划分可能高估准确率、临床数据集较小等局限。