Skip to content

Translation in progress Some entries still include text in the original language.

arXiv:对齐、欺骗与监督· arXiv:2609.31726· Elie Thellier·Indexed by this site · Originally published

研究者提出通过替换神经网络权重高容量外泄医学影像的攻击

High-Capacity Robust Medical Image Exfiltration via Neural Network Weight Replacement

Quick read

Attacks

Based on 论文 PDF (AI 生成); refer to the original

作者用连续潜码把医学图像写入模型初始化,30MB满容量可嵌99例脑MRI。

Threat model内部对手有平台授权,可训练并导出模型,不能直接导出原始图像。

Questions
协作医疗平台限制原始影像导出,但允许导出训练后的模型。作者认为攻击者可把患者图像藏进权重,而微调、剪枝、量化和有限统计审计难以清除这种连续编码。
Methods
用StyleGAN2对抗自编码器把图像压成512维连续潜码,训练时加与批次标准差成比例的高斯噪声,并把矩对齐到Kaiming初始化。潜码按期望方差从高到低写入卷积或全连接权重,模型照常训练;导出后按已知顺序取出潜码并用生成器重建。
Experiments and results
Table 1:BraTS上Ours的Dice 73.9、SSIM 83.2,LiTS的SSIM 53.2,低于DEC缓解前的95.4与98.2。作者称30MB模型满容量可嵌99例153切片的MRI,清洗后重建渐进下降而非失败。
Limitations and future work
作者指出重建保真度依赖压缩对齐,域偏移或极端载荷下可能下降;未评测DP-SGD,也未直接测临床可识别性。隐蔽性评估用了良性参照,强于所述威胁模型。评测载体为U-Net与DenseNet121,缓解含微调、剪枝与量化。
Experimental setupU-Net、DenseNet121 · MIMIC-CXR、BraTS 2021 et al. · Dice、AUC et al.
Threat model
内部对手有平台授权,可训练并导出模型,不能直接导出原始图像。导出前或经fine-tuning、pruning、quantization。防御方仅做有限参数统计检查。目标是嵌入大量医学图像,使模型仍可用、统计上与良性模型不可区分,且缓解后图像仍可恢复。
Evaluated models
U-NetDenseNet121
Benchmarks
MIMIC-CXRBraTS 2021LiTSFLARE 2021BraTS-Reg 2022
Metrics
DiceAUCaccuracySSIMLPIPSJSD
AI summary研究者提出一种高容量神经隐写攻击,把医学图像编码为连续隐表示并嵌入模型初始化权重,模型导出后可直接从权重中重建隐藏图像。该方法用基于 StyleGAN2 的对抗自编码器学习紧凑隐码,并正则化使其匹配标准权重初始化统计量,从而让嵌入参数与干净模型在统计上保持一致;训练时注入噪声可提升对导出环节缓解措施的鲁棒性。载体模型在原本任务上仍保持可用,最多可将 99 个脑部 MRI 体数据嵌入一个 30MB 模型,且在会破坏此前比特级方案的缓解措施下仍可恢复。重建结果只是近似而非像素级精确,但嵌入内容在解剖上仍可辨认并可规模化恢复。

研究者提出一种高容量神经隐写攻击,把医学图像编码为连续隐表示并嵌入模型初始化权重,模型导出后可直接从权重中重建隐藏图像。该方法用基于 StyleGAN2 的对抗自编码器学习紧凑隐码,并正则化使其匹配标准权重初始化统计量,从而让嵌入参数与干净模型在统计上保持一致;训练时注入噪声可提升对导出环节缓解措施的鲁棒性。载体模型在原本任务上仍保持可用,最多可将 99 个脑部 MRI 体数据嵌入一个 30MB 模型,且在会破坏此前比特级方案的缓解措施下仍可恢复。重建结果只是近似而非像素级精确,但嵌入内容在解剖上仍可辨认并可规模化恢复。

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    协作平台可导出模型但不能导出影像,攻击者把图像写入权重并在清洗后重建。

    协作平台禁止导出原始影像,却可导出模型;攻击者要把图像藏进权重,并在轻度清洗后仍能重建。

    • 场景:作者称 data lake 允许在敏感影像上训练并限制原始数据导出,但验证后的模型可以导出,因为平台假定模型只含数值参数。
    • 现有不足:作者称清洗须保任务效用,结构审计少,且常无良性参照。任务嵌入易被缓解破坏;比特编码容量有限且对扰动脆弱;隐式表示需非标准结构。
    • 假设:连续潜码比比特更耐受权重扰动;把潜码统计对齐到标准初始化,可使嵌入参数与干净模型在统计上一致。
    • 本文做法:提出连续、高容量图像外泄攻击:外部数据上学压缩,把潜码写入常规医学模型初始化,导出后从权重重建。
    • 威胁模型:
      • 目标:嵌入大量医学图像,缓解后仍可恢复;模型保持功能,且与良性模型统计上不可区分。
      • 能力:内部对手,有授权,可在敏感数据上训练并导出已验证模型,不能直接导出原始图像。
      • 防御:导出前可能做 fine-tuning、pruning 或 quantization;防御方只做有限的参数统计检查。
      • 受害系统:限制原始影像导出、允许导出模型的协作医疗 AI 平台。
  2. What related research exists?

    引言将相关工作分为任务嵌入、比特编码、水印和隐式表示,并指出三者难同时兼顾。

    任务嵌入

    • Transpose(Amit 等,2023)[5] 及同类工作 [6–10]:在合法模型中嵌入第二任务或隐藏网络。论文指出恢复依赖精确参数配置,标准缓解常破坏这类攻击 [2],改训练或结构也限制与常规医学模型兼容。

    比特级权重编码

    • LSB 及相关编码 [11,13,14] 与 DEC(Li 等,2025)[12]:把图像编成比特流写入权重。论文称 DEC 提高容量,但仍依赖比特;小的权重扰动会造成比特翻转并降低重建 [2]。
    • 对抗变体 [15]:提高稳定性。论文称秘密仍限于比特消息。

    水印与隐式表示

    • 水印 [16–18]:论文称只有几千比特,远不够完整医学图像。
    • 隐式神经表示 [19,20]:可做连续编码。论文称需要非标准结构。

    基线与数据

    • 基线方法:Transpose [5](仅分类)与 DEC [12](分割)。
    • 基准/数据集:MIMIC-CXR、BraTS 2021、LiTS。自编码器另在 FLARE 2021、BraTS-Reg 2022 和不相交的 MIMIC-CXR 划分上预训练。

    作者把本文放在上述折中之外:兼容标准结构与训练,用连续潜码和对初始化统计的对齐,同时追求容量、对清洗的容忍和统计隐蔽。

  3. How does the paper address this problem?

    三阶段:外部数据上学512维潜码,对齐Kaiming初始化后写入常规模型,导出后用生成器重建。

    框架在 Fig. 1 中分三阶段:外部数据上学习潜空间,把潜码写入标准医学模型的初始化并照常训练,导出及可能的清洗之后按已知顺序提取并重建。论文称其为 continuous neural steganography,未另给缩写。

    潜空间学习

    • 编码器:StyleGAN2 对抗自编码器。图像经编码器得到 512 维潜码。生成器用对抗损失、ℓ2 和 LPIPS 重建。在相关外部数据上训练,作者称是为减小域偏移。
    • 噪声:训练时注入与批次标准差成比例的高斯噪声,w̃=w+λnoiseσϵ,ε 服从标准正态,σ 为该 batch 的标准差。作者称用以模拟优化或清洗造成的参数漂移。λ_noise 为 0.2。
    • 参照矩:隐蔽性定义为与良性模型统计一致。从目标结构的 Kaiming(He)初始化层估计全局均值、方差、偏度和峰度,不按层单独匹配。
    • 分布损失:L_dist 惩罚潜码批次均值、标准差相对参照的偏差,并惩罚标准化后的三阶矩和超额峰度。λ_skew 为 0.5,λ_kurt 为 0.2。

    写入初始化

    • 容量:N 张图像需要 N×512 个实值参数,容量由该数量决定。
    • 写入位置:潜码写入所选卷积或全连接权重,发生在初始化。偏置和归一化参数不改,仍用 Kaiming 初始化。
    • 选层:候选张量按期望 Kaiming 方差从高到低排序,先写入方差更高者。作者援引 [15],称这些张量更耐受扰动。写到达到容量或张量填满。
    • 训练:按原任务正常训练,不冻结嵌入参数。作者称潜码统计接近良性初始化,故训练与标准模型相同。

    提取与重建

    • 提取:攻击者按已知插入顺序从嵌入层取出参数,切成 512 维向量,再用预训练生成器重建。
    • 鲁棒定义:作者把鲁棒性定义为清洗造成的潜码扰动只带来渐进退化,而不是灾难性失败。

    四项准则

    • 定义:效用为分割 Dice、分类 AUC/accuracy;容量为图像数 N,或被潜码替换的参数比例;重建为 PSNR、SSIM、LPIPS;隐蔽性为各层 Jensen–Shannon divergence(JSD)的平均。
    • 参照:良性模型在相同设置下训练且无嵌入。论文写明该审计强于真实部署,用作最坏情况;作者认为,若此处仍不能发现隐写模型,更弱的无参照检测更不可能成功。
  4. What experiments did the paper conduct?

    Table 1中BraTS的Ours为Dice 73.9、SSIM 83.2;LiTS的SSIM为53.2。

    实验设置

    • 载体:分割用 U-Net,分类用 DenseNet121,均为 30MB(约 8M 参数)。§4.1 满容量处写约 7.8M 参数。
    • 数据:MIMIC-CXR 为 54,038 张胸片、多标签分类;BraTS 2021 为 1,251 例 MRI、脑肿瘤分割;LiTS 为 130 例腹部 CT、肝肿瘤分割。体积按相邻三切片拼接、逐切片处理。压缩模型:CT 用 FLARE 2021,MRI 用 BraTS-Reg 2022,X 光用不相交 MIMIC-CXR 划分。
    • 默认载荷:除非另述,嵌入 1,641 张(1641×512 个参数,约 30MB 模型的 10%)。
    • 基线:官方实现并改到上述结构。Transpose 只用于分类,MIMIC-CXR 上 100 张。DEC 在分割上取可行最大容量:BraTS 67 张,LiTS 15 张。作者按外泄载荷而非参数比例比较,并称若按 10% 参数对齐,DEC 为 1–6 张,本文超过 1,600 张。
    • 缓解:超参按保持任务效用调节。Super-FT 为 2 epoch,基础学习率 10−4,峰值 10−2 或 10−3,phase ratio 0.1。LWLRD fine-tuning 为 3 epoch。非结构化幅度剪枝去掉 40% 权重。Fine-Pruning 允许精度下降 8%。另有训练后 8-bit 与 4-bit 量化。
    • 未给出的量:PSNR 被列为重建指标,结果未给数值。论文未报告重复次数。λ_noise、λ_skew、λ_kurt 固定为 0.2、0.5、0.2。

    主结果

    Table 1 未在表题中写明是否经过缓解;§4.2 把 DEC 更高的原始 SSIM 称为缓解前。容量来自 §3.3,未写入表内。LiTS 的 Benign 为 Dice 81.5、JSD 0,下表省略该行。

    Swipe horizontally to read the table

    方法与数据任务指标SSIMLPIPSJSD
    Benign, MIMIC-CXRAUC 75.9, Acc 72.4——0
    Transpose, MIMIC-CXRAUC 48.6, Acc 64.668.60.480.08
    Ours, MIMIC-CXRAUC 73.6, Acc 71.264.40.320.01
    Benign, BraTSDice 77.0——0
    DEC, BraTSDice 77.095.40.010
    Ours, BraTSDice 73.983.20.080.02
    DEC, LiTSDice 81.598.20.010
    Ours, LiTSDice 81.053.20.350.06
    • 作者称本文任务表现接近良性模型,容量高于两则基线,且 JSD 较低。Table 1 中 DEC 在 MIMIC-CXR、Transpose 在 BraTS 与 LiTS 的格子为破折号。
    • 作者指出 DEC 缓解前 SSIM 更高,但容量低很多,并称 Fig. 3 中其重建在缓解下急剧变差。作者称本文优先鲁棒与规模,而不是缓解前峰值保真。
    • LiTS 上 Ours 的重建指标低于同表 BraTS。作者在 §4.2 未单独解释该行,但仍称跨模态有效。

    容量–效用

    • Fig. 2 横轴为 Attack Capacity 0%–100%。三面板纵轴为 Dice(%)、SSIM(%)、JSD。可见标注包括 Foreground only、Benign(WD=1e-6)、Benign(WD=0)。攻击曲线没有标出端点数值。正文未定义 WD。
    • 作者称容量上升时 Dice 保持稳定,SSIM 逐渐下降,JSD 接近良性初始化,近饱和时仍有统计一致性。
    • 作者称满容量时 30MB(约 7.8M 参数)可存 99 例 MRI、每例 153 切片,即 99×153×512 个潜参数。摘要写的是最多 99 例脑 MRI、30MB 模型。前景 SSIM 在第 5 百分位强度阈值后计算。

    缓解与定性例子

    • Fig. 3 面板为 MIMIC-CXR、BraTS、LiTS。纵轴 SSIM(%)0–100;横轴分别为 AUC(%)与 Dice(%)。图例为 Ours、Transpose(仅 MIMIC)、DEC(BraTS 与 LiTS)。条件含 No Mitigation、Super-FT、LWLRD FT、Unstructured Pruning、Fine-Pruning、8-bit 与 4-bit Quantization。各点未标数值。图注未另写容量;§3.3 称除非另述则嵌入 1,641 张。
    • 作者称本文在全部缓解下保持重建质量,基线崩溃,量化与剪枝尤其如此。作者称 4-bit 量化是所测最强扰动,重建平滑下降而非灾难性失败。
    • Fig. 4 为单例,不是 Table 1 的汇总值。按抽取列序(Reconstructed、No Mitigation、Super-FT、Fine-Pruning、8-bit Quantization),MIMIC-CXR 的 SSIM 为 63.0%、64.3%、63.2%、64.3%、64.5%;BraTS 为 75.6%、76.6%、56.4%、76.6%、76.6%;LiTS 为 58.3%、56.5%、55.2%、56.5%、57.0%。作者称各模态重建忠实、缓解后轻度退化,并认为 BraTS 跨模态域偏移下表示仍可泛化。Figure 4 中 BraTS 的 Super-FT 例为 56.4%,低于同例 No Mitigation 的 76.6%。图注写分割预测以红色标出。

    消融

    Table 2 比较缓解前与 LWLRD FT 之后。论文未说明数据集;Full Method 的 Dice 73.9、SSIM 83.2、LPIPS 0.08、JSD 0.02 与 Table 1 的 BraTS Ours 行相同,Benign 的 Dice 77.0 也与 BraTS Benign 相同。非良性行 LPIPS 为 0.08 或 0.09。

    Swipe horizontally to read the table

    变体DiceSSIMJSDDice后SSIM后
    Benign77.0—075.8—
    Full73.983.20.0271.368.2
    无噪声74.280.30.0271.953.5
    无层选择73.982.70.0371.462.7
    无矩损失72.382.60.1870.567.9
    仅二阶矩72.682.80.1770.867.5
    冻结潜码68.785.00.0466.972.4
    • 作者称去掉噪声注入会明显降低缓解后重建,并把它视为鲁棒性来源。
    • 作者称去掉矩对齐会升高 JSD、削弱隐蔽性;只匹配二阶矩时 JSD 仍高。
    • 作者称冻结潜码降低任务效用。§5 用该行支持更高 SSIM 可以达到。

    其他消融与分析

    • λ_noise、λ_skew、λ_kurt 固定为 0.2、0.5、0.2;敏感性分析列为未来工作,论文未给曲线。
    • PSNR 在 §3.1 定义,结果未给数值;重复次数未报告。
    • Fig. 2 的 WD 标注在正文中未定义。
    • 论文未报告各缓解条件的额外查询次数或耗时。
  5. What are some points that can be further explored?

    作者指出未评DP-SGD与临床可识别性,隐蔽性用了良性参照,保真度会随域偏移下降。

    作者指出的局限与后续方向

    • 压缩对齐:重建保真度依赖压缩模型对齐,在域偏移或极端载荷下可能下降(§5)。
    • DP-SGD:未做评测。作者称它改变训练而非事后清洗,并称在医学成像的强隐私预算下会明显降低效用;该权衡留作未来工作(§5)。
    • 参照模型:隐蔽性评估依赖良性参照,强于本文威胁模型所允许的条件。作者建议未来做无参照审计,例如对导入模型做异常或离群检测(§5)。
    • 临床内容:没有直接测量重建图像是否保留临床可识别或可操作内容,例如再识别,或只用外泄数据做下游任务。作者称 SSIM 与 LPIPS 是风险代理,不能替代该测量(§5)。
    • 工作点:作者称文中重建只是保真、鲁棒与容量权衡中的一点。冻结潜码时 Table 2 的 SSIM 为 85.0;作者称 SSIM>85% 可以达到,但 Dice 为 68.7,对比未冻结的 73.9,并认为所报告质量是更激进攻击者可达质量的下界(§5)。
    • 后续:3D 生成模型以改进体积压缩;评测 DP-SGD 与结构防御;直接评估重建扫描的临床与再识别相关性;分析 λ_noise、λ_skew、λ_kurt。作者还认为更有效的防御可能需要置换类变换或破坏对称,并做逐层或相关性审计(§5)。

    实验覆盖范围

    • 载体为 U-Net 与 DenseNet121,各 30MB、约 8M 参数;任务分别是分割与分类(§3.2)。
    • 评测集为 MIMIC-CXR(54,038)、BraTS 2021(1,251 例)、LiTS(130 例);体积以相邻三切片拼接后逐切片处理(§3.2)。
    • 基线为 Transpose 与 DEC;默认嵌入 1,641 张,约 10% 参数(§3.3)。
    • 缓解设置为 Super-FT、LWLRD fine-tuning、去掉 40% 权重的非结构化幅度剪枝、Fine-Pruning、8-bit 与 4-bit 训练后量化(§3.3)。
    • 论文未报告 PSNR 数值、重复次数、Fig. 3 各散点坐标,以及 Table 2 的数据集名称(§3.1、§4.3、§4.5)。
  6. Summarize the main content of the paper

    连续潜码写入30MB医学模型,满容量99例脑MRI,作者称轻度清洗后仍可近似重建。

    这是针对协作医疗平台的连续权重隐写:平台不让导出原始影像,但可以导出模型。

    • 问题:作者认为内部用户可把患者图像写入可导出的权重;保效用的 fine-tuning、剪枝、量化和有限统计检查,不足以对付连续编码。
    • 方法:StyleGAN2 对抗自编码器把图像压成 512 维潜码,训练时加尺度自适应高斯噪声,并把矩对齐到 Kaiming 初始化。潜码写入 U-Net 或 DenseNet121 的初始化后照常训练,导出后用生成器重建。
    • 主结果:默认约 10% 参数嵌入 1,641 张。Table 1 中 BraTS 的 Ours 为 Dice 73.9、SSIM 83.2、JSD 0.02,良性 Dice 为 77.0;LiTS 的 SSIM 为 53.2、JSD 为 0.06。作者称 30MB 模型满容量可放 99 例、每例 153 切片的 MRI。
    • 清洗与消融:作者称微调、剪枝和量化下重建渐进变差,比特级基线则会崩溃;Fig. 3 未标各点数值。Table 2 未写数据集,Full Method 与 Table 1 的 BraTS Ours 行相同;去掉噪声后,LWLRD FT 之后的 SSIM 为 53.5,完整方法为 68.2。
    • 作者结论:潜码与标准权重处于同一统计范围,故参数级清洗不足以消除可恢复性。作者认为更有效的防御可能需要结构干预和无参照审计。重建是近似的,临床可识别性未被直接测量。
Read originalarxiv.org