MARCO：面向蛋白质生成模型的放射性水印框架

专有蛋白质生成模型（PGM）的输出缺少不改权重、又能在构象约束下追溯来源的保护，因而同时面临模型抽取和生物安全滥用。

• 场景：作者称 AlphaFold、RoseTTAFold 等模型能由序列得到三维结构，并推动药物与生物材料的从头设计；开放使用也可能被用来设计增强型病原体或毒素，抽取专有模型则损害商业优势。
• 现有不足：作者称语言模型和图像扩散水印不能直接用于连续、对 SE(3) 不变的变长蛋白质；信号须落在扭转角或残基距离等不变量上。FoldMark 要改权重，作者批评其生物学约束不足；SynthIDBio 不支持多比特，作者称没有证据显示它能承受对抗攻击。
• 观察：作者认为只给静态结构打水印不够；在反向扩散全程施扰会移动输出分布，用这些样本训练的盗版模型会学到偏移，从而继承水印。
• 本文提出：MARCO（Conformation Watermark）。作者称这是面向 PGM 的放射性水印：冻结原模型，用辅助编码器-解码器在推理期嵌入签名，同时做知识产权保护与滥用溯源。
• 威胁模型：
  • 受害者：药企或实验室，持有专有 PGM Θ（文中举例 RFdiffusion），对参数、激活和梯度为 white-box，并使解码结果接近所嵌水印 w。
  • 攻击者目标：隐藏来源以侵犯知识产权，或逃避对毒素等受限物的生物安全筛查。成功仅当检测失败，且变换后结构仍保持完整性与生物学功能。
  • 知识与访问：知道水印算法和模型架构，不知道受害者的训练数据、训练算法和水印参数；对受害者模型为 black-box、query-only，对带水印结构的访问不限。论文称一块 80GB 的 A100 加 64GB 内存足以微调 AlphaFold2。
  • 自适应攻击者：完全知道 MARCO。可用 OpenMM 或 Rosetta Relax 推向热力学局部极小；对盗版模型为 white-box 时可用 DPSGD 擦除分布特征；也可伪造水印，干扰归属核验。

蛋白质生成模型

• 联合分布与刚体帧：RFdiffusion（Watson et al., 2023）、ESMFold（Lin et al., 2022）、AlphaFold 3（Abramson et al., 2024）学习序列 S 与结构 X 的联合分布；结构是 N 个刚体帧，并要求 SE(3) 等变。
• 采样范式：Ho et al. (2020) 的去噪扩散与 Lipman et al. (2023) 的 flow matching 把干净结构变为噪声再迭代还原。RFdiffusion 的训练目标是 Cα 平移误差加朝向矩阵的 Frobenius 距离。
• 本文实际比较的生成器：附录 C 还列出 Chroma、FrameDiff、FrameFlow、FoldFlow2，分别对应可编程扩散、SE(3) 扩散和 flow matching。

扩散模型水印

• 推理期注入：Tree-Ring（Wen et al., 2023）把图案写入初始噪声的频域环，检测时做 DDIM 反演；Gaussian Shading（Yang et al., 2024）用最优传输把噪声移向带水印区域，检测时不做反演。
• 模型期烙印：Stable Signature（Fernandez et al., 2023b）微调 VAE 解码器；ProMark（Asnani et al., 2024）用可学习 prompt token 触发水印；Zhao et al. (2024) 用拒绝采样保留满足哈希条件的输出。
• 迁到蛋白质的障碍：作者称 Zhao et al. (2023)、Huang et al. (2024)、Liu et al. (2023)、Ci et al. (2025) 假设固定二维网格、图像潜变量或文本条件，不能直接用于变长三维蛋白质。

蛋白质水印与放射性

• FoldMark（Zhang et al., 2025b）：用水印条件 LoRA 微调 PGM。作者批评它改动权重，且对预测结构的生物学约束不足。
• SynthIDBio（Stutz et al., 2026）：微调 PGM 并训练检测器，损失含保真项与水印项。作者称它不支持多比特，且没有证据显示该设计能承受对抗攻击。
• 放射性：Sander et al. (2024) 讨论语言模型水印会偏置输出分布并传到衍生模型。作者用这一机制解释 PGM 上的传递；Kirchenbauer et al. (2023) 被引为语言模型水印。

实验基线与数据

• 基线方法：AquaLoRA、WaDiff、SleeperMark 由图像扩散水印改到蛋白质域；FoldMark 为蛋白质水印。附录另把三维点云水印 MarkSplatter 适配到原子坐标。超参数沿用原论文。
• 数据：按 RFdiffusion 的筛选，从 PDB 取单体，长度 60 至 512、分辨率细于 5Å、loop 含量不高于 50%，共 20,312 条。

作者把 MARCO 放在不微调 PGM 权重的位置：用距离和扭转角损失保持构象，并让水印随受保护数据进入盗版模型。作者称这是面向 PGM 的放射性水印框架。

MARCO 把水印写成刚体 SE(3) 流形上的多目标优化：冻结的 PGM 每步给出干净骨架，编码器写入水印，解码器在随机攻击后恢复，判别器约束两者难区分。

预测与几何嵌入

• 干净预测：前向过程把真实结构变成时间步 t 的噪声结构。冻结的 Θ 用该状态、t 和序列 S 估计干净骨架，含朝向与 Cα 坐标。
• 残差而非绝对坐标：编码器预测扰动场，不直接输出带水印坐标。平移按余弦时间表加到 Cα 上；该系数在 t=T 时为 1、在 t=0 时为 0。旋转写在 so(3) 切空间，经同一系数调制后用矩阵指数映回，再与原朝向相乘。
• 写回采样：带水印估计替换标准扩散更新中的干净预测，从而传到下一步。作者称对 flow matching 和 ESMFold 等确定性模型，可用更少步扰动给水印；论文未写具体步数。
• 三项几何损失：Lwm 约束扰动幅度；Ldm 惩罚成对 Cα 距离偏差；Ltor 惩罚骨架二面角 ϕ、ψ 的偏差。扭转角按 Watson et al. (2023) 的协议计算。

提取与对抗训练

• 随机攻击层：训练时由 Bernoulli(0.5) 决定是否扰动；论文举例为旋转、裁剪和加噪。施加则解码器看受扰结构，否则看原带水印结构。
• 恢复：提取损失是逐比特二元交叉熵，使干净和受扰结构都能恢复水印。
• 判别器：C 区分干净预测与带水印结构；编码器同时最小化对抗损失，使后者骗过 C。作者用此实现隐蔽性。
• 总目标：五项加权和为 L=λ₁ L_wm+λ₂ L_dm+λ₃ L_tor+λ₄ L_ext+λ₅ L_adv，依次对应扰动幅度、全局距离、局部扭转角、水印恢复和隐蔽性。λ 由预实验网格搜索确定，论文未给数值。

登记、生成与判定

• 防伪造：由模型身份派生指定长度的水印，把身份与时间戳登记到可信账本。作者称未登记的水印不能确立所有权。
• 释放结构：从高斯噪声和序列做反向扩散，每步注入与时间步相关的几何扰动，得到可发布结构。
• 统计判定：解码器输出估计水印，统计与原水印匹配的比特数 k。单侧 Z 检验以 z=(k−μ)/σ 比较随机巧合，其中 μ=0.5l、σ 为 0.5 乘以 l 的平方根。阈值 ẑ=3.0，作者给出假阳性率 ≤10^{-3}；达到阈值则判定检出。正文把 z≥3 与 BA≥0.6875 并列写出。

实现与认证表述

• 网络与优化：编码器、解码器、判别器为 6 层，改编自 FrameDiff，含 16 个隐藏通道的 IPA、Transformer 和三层 MLP。Adam，学习率 10^{-4}，批大小 64，训练 50 个 epoch，Θ 始终冻结。
• 认证：作者在附录 B 称 MARCO 具有认证鲁棒性，并用随机平滑给出定理：若某比特在各向同性高斯噪声下的正确类概率大于 0.5，则存在 L2 半径，其内该比特的平滑分类器不会翻转；该半径再按原子数写成 RMSD 阈值。

实验设置

• 被测 PGM：RFdiffusion、ESMFold、Chroma、FrameDiff、FrameFlow、FoldFlow2，使用官方权重。正文里 RFdiffusion 亦写作 RFDiffusion，二者为同一模型。
• 数据：PDB 子集 20,312 条。保真实验生成 1000 对干净/带水印结构；论文未说明这 1000 对序列是否全部来自该子集。放射性实验从训练数据抽 1000 条序列。负对照每类 100 条。
• 基线：AquaLoRA、WaDiff、SleeperMark、FoldMark，超参数沿用原论文。附录另把 MarkSplatter 用于 1000 条 RFdiffusion 结构的原子坐标。
• 指标：Cα-RMSD，作者称低于 2.0Å 通常视为很接近；归一化 BLOSUM62，先用 ProteinMPNN 由结构得到序列再评分；BA 为匹配比特占比；DR 为 Z 检验成功的比例。正文写 z≥3（并括号注明 BA≥0.6875）为成功检测。
• 默认水印：长度 l=64。容量实验取 32、48 直至 128。
• 训练与未报告项：50 个 epoch，8 块 80GB 的 A100。论文未报告 λ、随机种子、重复次数和统计显著性检验。判定由解码器加 Z 检验完成，论文未写独立评审模型。

主结果

Swipe horizontally to read the table

设置	BA	DR	其他	出处
MARCO，1000 条 RFdiffusion 结构，无旋转/裁剪列	0.98	1.00	RMSD 1.23，B62 0.99	Table 3
同上，旋转后	0.97	1.00	未报告 RMSD	Table 3
同上，裁剪后	0.93	0.99	未报告 RMSD	Table 3
六种 PGM，无攻击，作者总述	>0.95	1.0	最低 RMSD；逐模型刻度未写入正文	§5.1、Figure 3
六种 PGM，旋转、裁剪或加噪	>0.90	>0.99	作者称每种扰动下均如此	§5.2、Figure 4、Figure 6
三源模型到三盗版模型	≥0.90	≥0.99	正文未给九个组合的逐格读数	Figure 12

• 作者称 Figure 3 中 MARCO 在多数指标上领先，图像域基线缺少蛋白质热力学约束并扭曲构象。FoldMark 被作者称为最强基线，但需微调 PGM；MARCO 不改骨干。
• 作者称基线只能部分恢复水印，在对抗攻击下仍不如 MARCO。正文未给出这四条基线在 Figure 3 中的逐项数字。Figure 5 图注称水印构象与干净预测对齐；文本转换看不到叠合图本身。
• 作者称放射性来自反向扩散全程注入的分布偏移，与源模型和盗版模型的架构差异无关。作者认为基线的偶发成功，可能只是盗版模型学到了微调引入的简单分布偏移。

构象操纵与自适应擦除

• 三种操纵：全局 Haar 随机旋转；从任一端裁掉连续 30% 骨架；对坐标加标准高斯噪声。作者称旋转影响相对较小，裁剪和加噪会去掉信息或整体扭曲构象，使四条基线下降。作者认为攻击层对学习持久特征很关键，对抗训练可能把水印散布到整个结构。
• 能量擦除与分子动力学：RFdiffusion 生成 1000 条带水印结构，刚度 k 取 0、50、100、500、1000、5000，再微调 FrameDiff。作者称足够低的 k 会损害水印恢复，同时破坏保真，使盗版模型不可用。另做 100 ns、300 K、1 bar、无位置约束的 OpenMM 模拟，每 10 ns 取帧。作者称保真与鲁棒随时间下降，80 ns 后趋于平衡。Figure 7、Figure 8 的逐点读数未写入正文。
• DPSGD、重折叠与经验曲线：δ=10^{-5}，ε 取 0.5、1.0、2.0、4.0、8.0、16.0，在带水印数据上微调 FrameDiff。作者称 ε≥4.0 时 BA≥0.91、DR≥0.99；更低 ε 可能削弱水印，但保真损失使盗版模型不可用。重折叠用 RFdiffusion 生成 1000 条 de novo 带水印结构，ProteinMPNN 映回序列，再交给其余五个干净 PGM。作者称对重折叠有足够鲁棒性，并认为序列保真并不完美，是为换取这一抵抗。Figure 11 中，作者称全部 PGM 的平均 BA 在 RMSD<2.5 时仍高于 0.8。

放射性、稀释与容量

• 跨架构：源模型为 RFdiffusion、ESMFold、Chroma，盗版模型为 FrameDiff、FrameFlow、FoldFlow2，水印固定。作者称 BA≥0.90、DR≥0.99。正文未给逐对数字。
• 稀释：Table 1 在 FrameDiff 上把水印数据占比从 1.00 调到 0.10，BA/DR 依次为 0.94/1.00、0.88/0.99、0.81/0.92、0.78/0.85、0.73/0.68。作者称占比会影响效果，但 25% 时仍有 0.78 的 BA 与 0.85 的 DR。Table 2 用 FoldMark 结构代替干净结构，对应五档为 0.92/0.99、0.85/0.97、0.82/0.92、0.75/0.73、0.71/0.65。两表数字并不相同；作者仍称在去除 MARCO 水印方面，这类结构与干净结构并无不同。
• 容量：作者称随着 l 增大，归一化 BLOSUM62 与 DR 保持稳定，RMSD 与 BA 更敏感；l≥96 时出现波动，并认为容量开始损害保真。作者称降低后的 BA 仍支持基本检测，但可能影响精确用户识别；默认 l=64 是编码空间与保真之间的折中。Figure 13 逐点读数未写入正文。

其他消融与分析

• 损失与攻击层（Table 5；附录 D.4 写明固定 RFdiffusion，鲁棒性在加噪下评估）：全模块为 RMSD 1.23、B62 0.99、BA 0.98、DR 1.00。去掉 Lwm：2.13、0.79、0.97、1.00。去掉 Ldm：1.63、0.92、0.98、1.00。去掉 Ltor：1.56、0.87、0.97、1.00。去掉 Lext：1.25、0.99、0.02、0.00。去掉 Ladv：1.34、0.97、0.92、0.99。去掉攻击层：1.22、0.99、0.05、0.00。
• 隐蔽性：1000 组 RFdiffusion 三元组，有 Ladv 时 FD 为 2.27，无 Ladv 时为 16.31。作者称 Ladv 提高隐蔽性。
• epoch（Table 4，正文称与上述消融条件相同）：5 个 epoch 时 RMSD 2.44、B62 0.71、BA 0.62、DR 0.17；50 与 100 个 epoch 的 RMSD 均为 1.23，BA 为 0.98 与 0.99。作者称 50 个 epoch 后增益很小。
• 开销（Table 6，秒/结构）：RFdiffusion 由 28.8 增至 32.2，ESMFold 由 8.7 增至 8.9。作者称增加比例较低，对生成无关紧要。50 个 epoch 在单块 A100 上约 16.71 小时。其余 PGM 的推理时间未报告。
• 负对照（Table 7，预定义 64 比特，各 100 条）：天然结构 BA 0.48、DR 0.00；干净预测 BA 0.49、DR 0.00。作者称不会从这两类结构错误检出该水印。
• MarkSplatter（Table 3，同一 1000 条）：其 RMSD 2.71、B62 0.74、BA 0.95、DR 1.00；旋转后 BA/DR 为 0.73/0.68，裁剪后为 0.63/0.35。作者将其不如 MARCO 归因于 MARCO 面向蛋白质结构的设计。

作者指出的局限与后续方向

• 架构范围（Appendix E）：作者称 MARCO 目前专门面向扩散式架构；自回归蛋白质语言模型 ESM3、SaProt、BioMistral 不在当前范围。
• 湿实验（Appendix E）：作者称尚未对物理合成后再数字化的蛋白质做水印恢复实验。
• 后续模型（Appendix E）：作者计划推广到离散模态，包括蛋白质语言模型和基因组语言模型 AlphaGenome，并适配 BoltzGen。文中还设想测序后做结构解析，或用抗体检测表面构象表位；二者都是计划，不是已完成实验。
• 保真与模态（Conclusion）：作者称后续工作将进一步提高构象保真，并把框架扩展到更广的生成架构和其他生物学模态。
• 容量（Discussion）：作者称容量仍是性能约束；增大水印长度 l 会降低保真与鲁棒，需要在用户标识规模和结构完整性之间选择 l。
• 损失权衡（Discussion）：作者称调节损失权重和构象操纵概率，可以把保真与鲁棒的取舍调到具体安全需求。论文未把这写成已完成的参数发布。

实验覆盖范围

• 被测 PGM 为 RFdiffusion、ESMFold、Chroma、FrameDiff、FrameFlow、FoldFlow2，共 6 个；水印基线为 AquaLoRA、WaDiff、SleeperMark、FoldMark，附录另比较 MarkSplatter。
• 构象操纵为随机旋转、30% 裁剪和高斯噪声；自适应设置包括能量约束擦除、100 ns OpenMM、DPSGD、ProteinMPNN 重折叠，以及与干净结构或 FoldMark 结构混合后微调 FrameDiff。
• 放射性实验的源模型是 RFdiffusion、ESMFold、Chroma，盗版模型是 FrameDiff、FrameFlow、FoldFlow2，各用 1000 条序列。
• 多项主实验使用 1000 条结构或序列；负对照为天然结构与干净预测各 100 条。检出由解码器比特匹配和单侧 Z 检验完成，阈值 ẑ=3.0，作者给出假阳性率 ≤10^{-3}。
• 论文未报告 λ 的取值和实验重复次数，也未在正文列出 Figure 3、Figure 4、Figure 6 至 Figure 13 的逐点读数；统计显著性检验未见报告。

MARCO 是加在蛋白质生成模型推理过程上的构象水印，用来标记知识产权，并为可能的生物安全滥用保留可追溯信号。作者还把它说成数字权利管理工具，以及符合生物武器公约的数字监管链。

问题在于：专有 PGM 的三维输出可能被拿去训练盗版模型，也可能在来源被抹掉后绕过筛查。直接改坐标会伤及折叠，改权重的水印又绑在特定模型上。

做法是冻结 Θ。编码器在反向去噪的每一步对刚体平移和旋转加时间相关扰动；成对 Cα 距离和扭转角约束构象，判别器要求带水印结构与干净预测难区分。训练时以 0.5 的概率施加几何攻击，解码器恢复多比特串。检测用匹配比特相对随机巧合的单侧 Z 检验，阈值 3.0。所有权记录登记到账本，未登记的水印不能用来主张所有权。

• 在 1000 条 RFdiffusion 生成结构上，Table 3 的 Cα-RMSD 为 1.23，归一化 BLOSUM62 为 0.99，BA 为 0.98，DR 为 1.00；旋转后 BA 为 0.97，裁剪后为 0.93。
• 作者称六种 PGM 无攻击时 BA>0.95、DR=1.0，且在旋转、30% 裁剪和加噪下 BA>0.90、DR>0.99。
• 三种源模型的带水印数据用于微调三种盗版架构时，作者称 BA≥0.90、DR≥0.99。水印数据占比 0.25 时，Table 1 的 BA/DR 为 0.78/0.85。
• 去掉提取损失或攻击层后，Table 5 的 DR 为 0.00。100 条天然结构和 100 条干净预测的 DR 也是 0.00。

作者的结论是：不改预训练权重，也能让结构水印经 ProteinMPNN 后对回收氨基酸序列影响很小，并称与干净预测的几何偏差可忽略。逐步扰动使输出分布带上可传递标记，从而追查被抽取的模型。作者把后续工作放在提高构象保真、扩展生成架构与其他生物学模态，以及湿实验验证。