From pilot to production: lessons from cross-institution federated training and scientific AI

跨机构科学数据不能集中时，如何把联邦训练做成可运营、可审计、可安全变更的生产系统。

• 场景： 作者称，相关数据可以是专有、出口管制、机密，或受HIPAA、GDPR与机构政策约束。领导级超算有算力，政策边界仍使原始数据留在原地。
• 重要性： 作者称，科学AI已转向适配基础模型，并组合推理、领域知识、智能体工作流和实验仪器。不能移动的数据因此成为开放科学的基础设施问题。
• 现有不足： 作者称，训练成功的试点不是生产系统。还要跨机构治理、防护、运行和恢复，而站点之间不共享硬件，也不共享信任假设。
• 问题转移： 作者把问题从“能否训练”改成“能否运营、审计并安全变更”。所综合的障碍包括内存、reliability、同步、治理缺口和信任不足。
• 本文提出： 这是综合而不是单一算法。作者改编Roth等的五域框架，对照五层生产栈，并汇总Table I的五条工作：NNSA三实验室、ASCR跨设施、NeuroFL、商业云部署、学术界隐私优化。

第二节按场景分组，引言用这些工作说明为何要把模型而不是数据拿来共享。作者没有给出与这些工作的同表数值对照。

联邦学习与联邦LLM

• 形式化与综述： McMahan等（2017）把联邦学习形式化。Kairouz等（2021）综述与本文最相关的cross-silo体制。
• 联邦化LLM的负担： 作者称，权重大小造成聚合内存压力，设施间带宽限制通信，长运行放大reliability风险，并引用OpenFedLLM（Ye等，2024）。
• 已有NNSA报告： 三实验室联邦LLM训练已见于Owens（2025）和Carlson与Siefert的NVIDIA FLARE Day报告（2025）。本文在第四节综合其系统教训。

受监管行业与社会技术因素

• 医疗及其他行业： Rieke等（2020）描述不汇集患者数据的医疗联盟。作者称金融、制造已有成熟部署，神经科学网络中也出现这一模式。
• NeuroFL： Ontario Brain Institute的脑健康联邦平台。作者把它写成Flower的领域扩展，并作为云上、受法规约束的对照。
• 商业部署节奏： 作者引用的叙述称，合同推进速度而不是算力决定节奏，用来把领导级设施特有的现象和更一般的障碍分开。

领导级HPC上的联邦训练

• Li等： 跨四台DOE超算做跨设施联邦学习，在三个厂商、1,700+ GPU上微调7B模型，并提出队列感知的FedQueue。
• Kotevska等： 在领导级系统上做面向科学基础模型的可扩展联邦学习，并综述该设置对科学提出的隐私挑战。
• 本文的用法： 作者称，本文综合的是这些并行工作里出现的系统教训，而不是再给出一个单独算法。

隐私与框架

• 共享更新的泄漏： 作者称，梯度反演和成员推断显示，没有原始数据访问时，共享更新仍可能泄漏训练数据（Geiping等，2020；Zhu等，2019）。
• 差分隐私： Dwork（2006）给出标准保证，可按记录（Abadi等，2016）或按客户端（Geyer等，2017）施加，效用代价已有文献记录。论文写自适应估计器改善了这一权衡，但尚未在前沿规模验证。
• 框架： NVFlare面向生产；APPFL用Globus做跨设施HPC；Flower强调生态广度；OmniFed用配置拆开拓扑、通信后端和隐私机制。

基线与数据： FedQueue的对照是FedAvg、FedAsync、FedBuff、FedCompass，数据为SMolInstruct的任务组划分。NNSA吞吐实验对照理想线性扩展，数据为Llama 3截止日期之后的arXiv文档。

作者把区别放在综合方式上：用改编自Roth等（2026）的就绪框架比较不同部门的并行工作，并用云上受法规约束的部署，分离只属于领导级设施的现象。

作者不在本文提出新的训练算法。做法是用五域就绪框架和分层生产栈，把Table I的五条工作放进同一张检查表。贯穿原则是：先用联邦减少数据移动，再用控制管理剩余风险。

生产栈与五域

Figure 1把训练好的模型放在水线以上。其下五层是数据架构、隐私与安全控制、信任与验证、治理与社会技术因素、运营。作者称每一层都是联邦可能失败的位置。

五域改编自Roth等，并改了名称，以免和分层混淆。作者区分试点心态（站点少、人工审批、定制脚本）和生产心态（可复用接入、基于证据的审批、带版本流水线、可观察运行）。缺口应变成整改计划，或成为暂不扩展的理由。

• 五域各自检查什么： Purpose and Value看可测目标、站点数据是否可得、成功阈值是否事先约定。Agreements and Approvals看运行协议和审批路径；作者称在受监管领域这经常是关键路径。Data Fitness看输入是否协调、校验、版本化。Risk and Justification看控制是否对着明确威胁。Run and Recover看跨站点能否复现、观察和恢复。
• 与分层的对应： 协议对应治理。数据适合度对应数据架构：原始数据留在本地，用带版本的ETL、质量控制和模态检查使贡献可比较。作者称同一schema不保证同一含义。风险同时对应隐私控制和信任验证；作者把“哪份代码可以在本地数据上跑”和“什么可以离开站点”分成两件构建事项。运行与恢复对应运营，包括接入、监控、恢复和退出。
• 社会技术层： 作者称，只做技术评估会漏掉人、流程和技术的协调失败。要同时摸清合同、采购、法律审批和平台部署的机构流程速度。作者还称，实践者需要playbook和sandbox，而不只是API；主要研究者与数据保管人激励不一致时，共享往往跟着社会资本走。

两条前沿部署的架构

• 共同结构： 中心聚合服务器协调各站点登录节点上的客户端。模型权重过网，原始数据留在本地。两条部署的超算、厂商和工作流栈不同。
• NNSA三实验室： 站点为SNL、LLNL、LANL。客户端把训练作为Slurm或Flux批作业提交，经客户端发起的SSH隧道通信；受限数据不离开原站点。训练后端主要是torchtitan，支持分片数据、张量、流水线和上下文并行。被评估的联邦框架是NVFlare、Flower和APPFL。
• NNSA任务与Figure 2设置： 对Llama 3.x的1B、8B、70B做持续预训练。语料是Llama 3训练截止日期之后的arXiv文档，三站点均分。Figure 2写明torch.compile、Float8、batch 2，节点到32。图注中的DP，正文没有定义，不能从本文文本改写成差分隐私。
• ASCR四设施： APPFL加Globus。站点为Argonne的Aurora与Polaris、Oak Ridge的Frontier、Berkeley的Perlmutter，厂商为Intel、NVIDIA、AMD。主运行是每设施64节点的协同预约，合计1,700+ GPU。LLaMA-2 7B在SMolInstruct上按任务组划分，以形成non-IID。正文写八轮；附录A2把复现Figure 3的聚合写为standard FedAvg。正文本身未写这八轮的聚合器名称。

内存、reliability与同步

• 内存： 作者称聚合端内存压力是最先出现的瓶颈。70B在32-bit下每份约∼130 GB，会挤占共享登录节点。作者称现可用消息量化、原生张量传输和基于文件的流式传输处理，由实验室团队和框架开发者共同完成。论文未报告处理后的内存。
• reliability： 模型变大、运行变长后，作者称框架级持久状态应成为一等要求，以便续跑而不是从头重跑。论文未给故障次数或恢复耗时。
• 同步： 作者称，现有框架的同步服务器/客户端通信在规模上支配失败和被浪费的墙钟时间。不预约时，作业进入各设施真实生产队列；作者称批队列延迟在设施间变化大且不可预测，并可主导墙钟时间。
• FedQueue： 作者把它描述为把调度器准入延迟当作一等信号的队列感知协议，对照FedAvg、FedAsync、FedBuff、FedCompass。协议公式在被引工作中，本文未展开。

生产中的隐私、安全与信任

• 三问与工具： 谁能连接，看身份、授权、证书和密钥。什么能移动，看更新、指标和输出是否配了与威胁模型匹配的PET。哪里能跑，看可信执行和证明。作者列出的PET包括加密、安全聚合、差分隐私和机密计算，以免单一机制成为单点失败。威胁分类以Shi等的综述为起点。
• 证据链： 先写威胁模型和敏感点，再说明该模型需要哪些PET与运行时控制，共享前再检查模型、指标或输出能否发布。作者称控制应对着威胁，而不是无差别施加。三实验室部署里，跨站点连接上移动的只有模型权重；共享权重的剩余风险由周围控制和发布审查管理。
• 去中心化信任： 站点要在自己的数据上跑他人代码，每个能接触全局模型的客户端都带来泄漏风险。作者称两种常见做法都扩展得不好：各站点自审会重复且不一致；单一中心审查者既是瓶颈也是单一信任点。所述替代是发布者与审查者签名，hub带签名分发，各站点只采用自己信任的审查者，并配合稳定、带版本的应用格式。
• 证据边界： 作者称差分隐私等控制可能实质降低效用，保证强度常与精度损失耦合。文中点名的改进方向是隐私噪声下的统计估计、梯度子空间学习，以及异构客户端预算。作者写明这些至今在受控设置中展示，不是在已部署的前沿系统上，隐私预算也应明白报告。本文没有给出上述前沿部署的隐私预算。

本文报告的是对已有部署的综合。AE附录写明Figure 2–4来自参考部署，本文增加的是跨工作综合，不是新的测量。

实验设置

• 被测模型： NNSA持续预训练为Llama 3.x的1B、8B、70B；Figure 2具体写Llama 3.1 8B。ASCR微调为LLaMA-2 7B。论文未使用LLM评审模型。
• 数据： arXiv文档取Llama 3截止日期之后，三站点均分；条数未报告。SMolInstruct按化学任务组划分成non-IID，正文举例为Aurora做反应化学、Polaris做性质预测；样本量未报告。
• 设施： NNSA为SNL、LLNL、LANL。El Capitan为AMD MI300A，论文写其在2026年6月TOP500居第2，1.809 Exaflop/s；SNL与LANL为NVIDIA H100。ASCR为Aurora、Polaris、Frontier、Perlmutter。附录A2写芯片分别为Intel Ponte Vecchio、NVIDIA A100、AMD MI250X、NVIDIA A100。
• 软件与通信： 后端主要为torchtitan；联邦框架为NVFlare、Flower、APPFL。ASCR用APPFL与Globus。NNSA用客户端发起的SSH隧道，调度器为Slurm或Flux。附录A1把Figure 2标为NVFlare + torchtitan；正文未给三框架的分项结果表。
• 规模与轮次： ASCR主结果为每设施64节点协同预约，合计1,700+ GPU，八轮。Figure 2为1至32节点，batch 2，torch.compile与Float8。图注DP的含义论文未说明。
• 基线、指标、重复： Figure 2对照理想线性扩展。FedQueue对照FedAvg、FedAsync、FedBuff、FedCompass。指标是tokens/sec、test loss、final loss和到达目标精度的时间。附录A3写每种策略三次重复。Figure 2与Figure 3的重复次数未报告。

主结果

Swipe horizontally to read the table

模型	条件	结果	出处
LLaMA-2 7B	SMolInstruct，四设施non-IID，协同预约，8轮	global test loss 1.39到0.37；附录写approximately	Figure 3；附录A2
Llama 3.1 8B	H100与MI300A，1–32节点，batch 2，Float8	未报告各点tokens/sec；作者称接近线性	Figure 2
Llama 3.x 70B	32-bit，每份权重	∼130 GB	Section IV-C
Llama 3.x 1B	三实验室arXiv持续预训练	未报告	Section IV-A

• 作者对Figure 3的解读： 作者称全局损失单调下降，且持续优于每一个设施的本地模型，并以此作为不集中原始数据也能整合互补领域知识的证据。正文未给出各设施的终点损失；文本转换也没有各轮曲线数值。
• 作者对两次部署的解读： 作者称跨设施联邦LLM训练在该规模下可行，内存、reliability和同步方面的障碍要在生产条件下才出现。
• 条件差异： 1.39与0.37属于协同预约运行。另一次不预约、进入真实生产队列的小规模研究没有给出这对损失；作者称那里的批队列延迟可主导墙钟时间。附录A2写Figure 3复现用standard FedAvg，正文未写聚合器名称。

跨厂商吞吐

• 测了什么： Llama 3.1 8B在NVIDIA H100与AMD MI300A上的每节点token吞吐，节点为1、2、4、8、16、32。图中纵轴标注为Tokens/sec，刻度文字为10K、100K、1M，并有理想线性参考线。
• 结果： 作者称两类硬件都接近线性扩展，较大节点数上MI300A匹配或略高于H100。曲线端点的tokens/sec未进入文本，这里不补。
• 作者的解读： 作者称未分类arXiv实验中，torchtitan在两种厂商架构上都扩展得不错。随后称该工作流已部署到包括El Capitan在内的更大机密机器，并用于三实验室的专有数据；该部分没有指标。

队列延迟与FedQueue

• 测了什么： 无预约时作业进入各设施生产队列；附录A3再用ASCR生产轨迹中的队列延迟分布，在单节点上仿真五种策略。聚合预算匹配，每种三次重复，数据与A2相同的SMolInstruct划分。
• 结果： 作者报告FedQueue的final loss比FedAvg、FedAsync、FedBuff、FedCompass好20%，到达目标精度快60%（Section IV-B，Figure 4）。图注是异构batch-queue delays下global test loss对墙钟时间。各策略曲线终点未进入文本。
• 作者的解读： 作者把调度器准入延迟当作一等信号。附录写time-to-target由平滑曲线计算。论文未报告三次重复的方差，也未报告各设施队列延迟的具体时长。

云上受监管部署与隐私演示

• 云侧对照： NeuroFL和商业部署是云托管，走加密client-server通道，数据受HIPAA、安大略PHIPA或加拿大PIPEDA约束，而不是设施安全政策。作者称，聚合器改为弹性云实例后，来自共享登录节点的内存压力会消失；客户端不再排队，但会churn，轮次仍受最不可用参与者限制。本文未报告这两项的损失或吞吐。
• 隐私演示： 附录A4、A5是单GPU参考实现。AE附录称其验证在原始文献，本文不增加新测量。附录称TraMark在CIFAR-10、10个客户端时预期达到near-perfect泄漏追溯，且主任务精度没有material下降；参数写有α=0.04、k=0.01、non-IID且γ=0.5。附录未给验证率百分比。
• GDPFed： 附录称GDPFed与GDPFed+在异构per-client预算下，于FMNIST和CIFAR-10上的效用高于DP-FedAvg。参考预算为FMNIST的ε2=1.5、ε3=3.0，CIFAR-10的ε2=6.0、ε3=12.0，ε1变化。未报告测试精度。作者在第五节写，这些结果停在受控设置，不是已部署前沿系统。

其他消融与分析

• 三框架NVFlare、Flower、APPFL都做了持续预训练评估；论文未给分框架的吞吐或损失。
• 70B的∼130 GB之后，论文未报告量化、原生张量传输或文件流之后的内存。
• LLaMA-2 7B微调的数值精度、学习率、本地步数：论文未报告。
• 机密专有数据训练：作者称已在El Capitan等机器上使用，未报告指标。
• A5另列Shakespeare为数据集；评估流程文字未单独给出该集结果。
• 同步通信被作者称为在规模上支配失败，论文未报告失败次数。

作者指出的局限与后续方向

• 异步联邦： 作者认为，能在容忍掉队者和站点失败的同时保持收敛与隐私记账的异步或放宽同步协议，是此处后果最大的开放系统问题（Section VI）。
• 泄漏审计： 作者称，在真实多站点条件下量化共享权重的残余泄漏，以及把泄漏追溯到责任参与者，在前沿规模尚未验证（Section VI）。
• 验证标准： 作者称，社区缺少应用格式、签名、证明和信任策略表达的共同标准；没有这些标准，安全审查会重复（Section VI）。
• 数据契约： 作者称，联邦需要随部署一起走的、带版本和校验的数据契约，包括共同数据模型、质量与漂移信号、兼容性检查，而不是每个项目重新谈判（Section VI）。
• 规模与隐私优化： 作者称，自适应聚合、异构预算和communication-efficient方法在跨设施规模上如何相互作用仍开放。又称万亿参数时全量权重交换不切实际，需要低秩适配器、稀疏增量和修订后的隐私记账；维持一个可移植后端跨三个厂商是并行成本（Section VI）。
• 独立复现： AE附录写明，A1机密部分不能在NNSA设施外复现，未分类子集需要H100或MI300A级硬件；A2全量运行需要四设施同时的INCITE或ALCC分配。A3、A4、A5只需单GPU，附录称可以完整复现（附录AE）。

实验覆盖范围

• 训练报告： 覆盖NNSA三实验室上Llama 3.x 1B、8B、70B的持续预训练，以及四台ASCR超算、每设施64节点、合计1,700+ GPU、八轮的LLaMA-2 7B微调。Figure 2只描述Llama 3.1 8B在1至32节点的吞吐趋势，未给出各点tokens/sec。
• FedQueue： 附录A3覆盖五种策略、匹配的aggregation budget、每种三次重复；输入为SMolInstruct划分和ASCR生产队列延迟轨迹。Figure 4的曲线终点数值未进入正文。
• 云与其他设施： 第四节讨论NeuroFL和商业部署，并点名HIPAA、PHIPA、PIPEDA。作者在Section IV-D写，目前没有NSF中心上的部署，并称扩展到NSF和EuroHPC是优先事项。本文未报告这些云部署的损失或吞吐。
• 隐私演示： 附录覆盖TraMark（CIFAR-10）和GDPFed（FMNIST、CIFAR-10、Shakespeare），硬件写为单GPU工作站。AE附录称这两项的验证在原始文献，本文不复现新测量。
• 论文未报告的量： arXiv文档条数、SMolInstruct样本量、Figure 2和Figure 3的重复次数、机密数据上的训练指标，以及上述前沿部署的差分隐私预算。LLaMA-2 7B微调的数值精度也未报告。

本文是对五条并行联邦工作的综合，要回答多站点系统能否被运营、审计和安全变更，而不只是能否训出模型。

• 问题： 高价值数据因专有、出口管制、机密或主权约束不能汇集。作者的回应是让模型去数据所在处，再用控制处理剩余风险。
• 框架： 五域就绪检查对照水线以下五层：数据架构、隐私与安全、信任与验证、治理与社会技术、运营。两条现场部署都采用中心聚合、登录节点客户端，原始数据不出站。
• NNSA： 在SNL、LLNL、LANL上用torchtitan对Llama 3.x做持续预训练。作者称Llama 3.1 8B在H100与MI300A上、1至32节点接近线性扩展，较大节点数上MI300A匹配或略高。70B在32-bit下每份∼130 GB。
• ASCR： 协同预约的1,700+ GPU上，LLaMA-2 7B按化学任务组划分SMolInstruct。作者称八轮全局测试损失从1.39到0.37，且持续优于各设施本地模型。正文未给各设施终点。
• 队列与边界： FedQueue相对FedAvg、FedAsync、FedBuff、FedCompass，final loss好20%，到达目标精度快60%。作者称云上弹性聚合会使登录节点带来的内存压力消失，同步问题会以掉队者的形式留下。隐私优化仍停在受控设置。作者建议由TPC工作组处理异步联邦、泄漏审计、验证标准、数据契约和万亿参数可移植性。