Open-1B：一次完全可审计的训练运行

开源语言模型即便公开权重、数据和配方，也无法证明最终检查点确实由所声明的训练过程产生。

• 场景：作者把透明度分成三层：闭源 API、开放权重、开放训练配方。前两层使用户无法知道架构、轨迹或训练中注入的偏好；开放配方模型如 OLMo、Apertus、Marin、Pythia 仍因浮点运算非结合，即使用户照配方重训也会得到略有不同的权重（Srivastava et al., 2024）。
• 现有方法不足：框架的 deterministic mode 只保证同一台机器上重复，不能跨处理器与不同 GPU 按位一致。proof-of-learning（Jia et al., 2021）和 proof-of-training-data（Choi et al., 2024）只做概率核验；作者称后门可用很少数据点注入（Souly et al., 2025），这些方法可能检不出来。
• 核心要求：作者要的是 bitwise reproducibility（BR）：同一计算在异构硬件上得到完全相同的比特，而不是相差一个 ULP。来源包括 GPU kernel 归约、数据并行的 batch 顺序，以及节点间/节点内集合通信。
• 本文提出：新的披露层级 fully auditable。RepOps 固定上述非确定性来源，使大规模分布式训练的任一步可在单台消费级硬件上重放，并与已发布轨迹按位比对。因单机重放全程不可行，多名独立审计者各核验若干步，合起来覆盖整次运行。作者发布 Open-1B 及其预训练数据、每 100 步的中间检查点、训练代码和审计工具。作者称这是首个按此方式可核验发布的开源 LLM。

• 闭源与开放权重：GPT Sol、Claude Opus、Gemini、Grok 只通过 API 提供，用户看不到架构和训练轨迹；作者还提到厂商可降级已付费产品，并把安全责任转给用户（Davidson et al., 2026）。Qwen、Kimi、DeepSeek、GLM 公开最终权重，数据和配方透明度不一；意识形态与政治偏好已被分析（Gurgurov et al., 2025; Qiu et al., 2026; Pan and Xu, 2026; Jensen et al., 2026），但部分偏好在对应领域被检查前很难发现。
• 开放配方模型：OLMo（Olmo et al., 2026）、Apertus（Hernández-Cano et al., 2026）、Marin（Community, 2025）、Pythia（Biderman et al., 2023）同时发布权重、数据和配方。作者称用户可以据此训出相近模型，但因浮点非结合性无法核对每一步是否正确。
• 训练过程核验与可复现算子：proof-of-learning（Jia et al., 2021）与 proof-of-training-data（Choi et al., 2024）提供概率核验；作者称它们可能发现不了仅靠少量数据点注入的后门（Souly et al., 2025）。Arun et al.（2025）的 reproducible operators 被作者视为做到完全可核验的前提。浮点跨硬件差异引用 Srivastava et al.（2024）。
• 架构与量化来源：decoder-only Transformer（Vaswani et al., 2017），并借鉴 Llama 3、OLMo 2、Gemma 的组件（RoPE、GQA、RMSNorm、SwiGLU、hybrid sliding-window、z-loss、LSQ）。这些是设计来源，论文没有把它们当作可审计性基线。

基线方法与基准/数据集：下游评测对照 OLMo 2 1B 在 OLMo 2 报告 Table 9 上的同一套任务，协议为 OLMES（Gu et al., 2024）。训练曲线对照同一架构、同一配方的 PyTorch bf16 实现。数据为 Open-1B Mix 0626：DCLM-Baseline、FineWeb-Edu、The Stack v2、Proof-Pile-2。

作者把本文放在开放配方之上：不仅公开配方，还要求异构硬件上每一步按位可重放，并用集体审计把整次运行收成可核对的轨迹。

整体思路是把训练中所有会改变舍入顺序或随机序列的来源改成与硬件和集群拓扑无关的确定过程，使 RepOps 下的前向、反传和优化器更新在处理器、NVIDIA GPU 与 Apple GPU 上按位相同，从而任一步都可在单设备上对照已发布哈希重放。

问题设定与 BR 合同

• 确定性不等于可复现：同一机器重复得到同一结果只是 determinism；BR 要求跨异构硬件比特完全相同。
• 非结合性：浮点加法一般不满足 (a ⊕ b) ⊕ c = a ⊕ (b ⊕ c)，并行归约顺序不同就会改末位。同一高层算子还可能编译成融合乘加（舍入一次）或分开的乘加（舍入两次），相差一个 ULP。
• Table 1 的五条合同：跨硬件显式相等；所有后端同一归约顺序；禁止融合、统一乘加约定；次正规数一律刷新为零（对齐 Apple GPU 默认的 FTZ/DAZ）；随机数改为计数器生成器，下标 i 的值只由 (seed, i) 决定，与并行度、张量大小和设备无关。初始化使用 counter-based Philox。

拓扑无关数据流

• 规范流：训练数据是逻辑窗口序列 W0, W1, …，只由训练种子和语料清单决定，与 world size、rank、节点数无关。窗口固定切成 4,097 个 token（inputs + labels），训练序列长度为 4,096。
• 三个 RNG：全局 mix RNG 按 token 份额选来源；每个来源用 (seed, H(source), epoch) 排列 shard，H 为源名称的 SHA-256；shard 内再用 (seed, H(source), epoch, shard) 排列文档。文档以分隔符拼接。
• 数据并行发生在流定义之后：优化器步对应一段连续窗口，rank r 拥有满足 m mod R = r 的窗口。改变 GPU 数只改变谁加载 Wm。作者要求全局 microbatch 数 M 与累积步数 g 满足 M mod R = 0，以免扩容时空转。可恢复状态记录各源已消费文档数、epoch、mix RNG 比特状态和打包缓冲中的残窗。

Open-1B 架构与原生 int8 QAT

• 规模：decoder-only，24 层，隐藏维 2048，GQA 为 16 个 query head、4 个 KV head，head 维 128，FFN 5632，词表 128,256，总参数 1.61B，其中非嵌入 1.08B（Table 3）。无 bias；SwiGLU 的 gate 与 up 为一次融合 GEMM；RoPE θ = 500,000；RMSNorm 前置于注意力和 MLP，嵌入输出也做 RMSNorm；QK-norm 无 learnable gain，按 head、在 RoPE 之前施加。
• 注意力与损失：滑动窗口 512，每第 5 层和最后一层为全因果。z-loss 权重 10^{-4}，与交叉熵在同一次分块计算中完成。嵌入与 LM head 不共享；只对输入嵌入关闭 weight decay。
• 量化：注意力与 FFN 的线性层为 int8 W8A8 LSQ。权重为逐通道步长，每步按 2·mean(|w|)/√qmax 重钉；激活为 per-tensor scale。前向 GEMM 在 int32 累加后反量化。反传经 straight-through estimator，∇x 与 ∇W 的 GEMM 也在 int8 上做，并沿收缩维做 Walsh–Hadamard 旋转。Flash attention 中 P·V 按块量化到 int8；QK^T 与 softmax 保持更高精度；注意力反传不量化，在确定性 BF16 flash backward 上重算，∇Q 用 64 位定点累加。嵌入、LM head、归一化、RoPE 与损失不量化。参数存 BF16，梯度归约与 Adam 矩 (m, v) 为 FP32，优化器更新在 FP32 中完成后再舍入回 BF16。初始化为截断正态，均值 0、标准差 0.02，截断于 ±2σ。

训练配方与确定性集合通信

• 优化与批量：AdamW，β1=0.9，β2=0.95，ε=10^{-8}，weight decay 0.1，全局 ℓ2 裁剪阈值 1.0。48 张 H100，每卡 micro-batch 为 4 条长度为 4,096 的序列。梯度累积三阶段（Table 4）：0–4B token 为 4（每步 3,145,728 token），4B–360B 为 6（4,718,592），360B–400B 为 12（9,437,184）。学习率在 warmup 批量的 667 步内线性升至 4.5×10^{-4}，再按已消费 token 做余弦衰减，到 400B 时为峰值的 10%。全局种子 42。无 dropout、stochastic depth 或 label smoothing。
• 数据：Open-1B Mix 0626 约 450.5B token（Table 5）：DCLM-Baseline 300.5B（66.7%）、FineWeb-Edu 59.8B（13.3%，教育分至少 3）、The Stack v2 54.2B（12.0%，宽松许可且单文件至多 1MB）、Proof-Pile-2 36.0B（8.0%）。400B 预算下各源约 0.89 个 epoch，训练中不重复文档。作者不做额外去重。
• 通信：附录 A 把跨副本 all-reduce 与节点内 reduce-scatter 改成固定顺序，平均值用预先计算的倒数相乘而不是随硬件变化的除法，使集群路径与单设备顺序重放得到同一比特。每步用分片规范哈希覆盖该 rank 的数据 batch、参数、优化器状态和梯度；作者称哈希是审计锚点，不是可复现性本身所必需。

成功判定与审计

• 单步审计：审计者用已发布代码、数据和检查点，在 NVIDIA GPU、x86 CPU、ARM CPU 或 Apple Silicon（Metal）上重放某一步，断言结果与已发布轨迹按位一致。最终整次运行对应一个哈希。
• 集体核验：单机重放全程不可行。作者借用开源软件中分模块核验的想法，让多名用户各自认证若干步，合起来到达产生该模型的集体终态。中间检查点间隔为 100 步。论文未在正文给出单步通过/失败的形式化谓词以外的“比特一致”标准。

实验设置

• 被测模型：Open-1B（1.61B / 非嵌入 1.08B），预训练检查点为 step 80,957、400B token。下游对照为公开的 OLMo 2 1B（allenai/OLMo-2-0425-1B，stage1-step1907359-tokens4001B）。数值稳定性对照为同一架构、同一配方的 PyTorch bf16。
• 数据与规模：Open-1B Mix 0626，Table 5 合计 450.5B token、332.2M 文档；实际消耗 400.0B token、80,957 个优化器步，分 7 段从历史检查点重启。
• 下游协议：与 OLMo 2 报告 Table 9 同一套任务。OLMES（Gu et al., 2024）对每题取 MCF 与 CF 中较好者；MMLU 与 held-out 选择题只做 MCF。OLMES 为 10 任务宏平均。OLMo 2 报告未公布其中五项，作者用同一锁定的 OLMES harness 自己重跑，并称与 Table 9 中配方一致处相符，例如 MMLU MCF 26.9。
• 训练指标：训练 CE 的 2,000 步均值、混合探针 held-out CE、裁剪前梯度范数、权重 Frobenius 范数、MFU、逐步墙钟时间、状态哈希开销。梯度在范数超过 5 时触发 spike 协议，跳过五个优化器步。
• 硬件：六台 a3-megagpu-8g，共 48 张 H100。论文未报告下游评测的重复次数或人工一致性。

主结果

Table 6 为预训练检查点的下游分数（OLMo 2 1B 为 4T token，Open-1B 为 400B token）：

表格较宽，可左右滑动

检查点	Tokens	Avg	OLMES	MMLU	ARC-C	HSwag	WinoG	NQ	DROP
OLMo 2 1B	4T	31.9	61.5	26.9	26.1	67.5	67.8	16.1	25.1
Open-1B	400B	25.4	50.1	25.9	36.2	48.6	54.1	8.1	16.8

Held-out：OLMo 2 的 AGIEval / GSM8K / MMLU-Pro / TriviaQA 为 24.5 / 3.3 / 11.1 / 50.1；Open-1B 为 20.9 / 1.5 / 11.7 / 30.0。

• 训练收敛（Table 7、Table 8、Figure 1）：held-out 混合 CE 从 6.59 单调降到 2.580；终点训练 CE（2k 步均值）为 2.60。作者给出 T>5B 的幂律：训练损失约 3.53 T^{-0.057}，R^2=0.71；held-out 约 3.44 T^{-0.050}，R^2=0.93。作者把训练曲线只当作稳定性诊断，收敛陈述以 held-out 为准，并称此范围内加性渐近项不可辨识。
• 作者对下游的处理：Table 6 直接并列两行。Open-1B 的 Avg 与 OLMES 低于表中 OLMo 2 1B，ARC-C（36.2 对 26.1）和 MMLU-Pro（11.7 对 11.1）更高。两者 token 预算不同（400B 对 4T）。
• 运行健康度（Table 9）：稳态（step>1,300）裁剪触发率为 0.16%；全流程 343 步（0.42%）超过阈值 1，其中 warmup 占主要部分。仅两批触发跳过：step 1,782 的裁剪前范数 5.78，step 43,737 为 6.88，共跳过 10 个优化器步。中位步时主阶段 28.0 s、后期 47.1 s；有效训练 27.8 天，日历跨度 29.5 天。

低精度稳定性

• 梯度爬升（§4.1、Figure 5）：约 116B token 起梯度缓慢上升。作者称 int8 量化的 flash attention 反传使 query 支路梯度为零，QK-norm 的 gain 单调变大以补偿。修复是给梯度 kernel 加跨硬件可复现的缩放，并去掉 QK-norm 的 gain。Figure 5 中原运行约从 25k 步起上升，修复后该漂移消失；图为滚动均值，阴影为 ±1 标准差，并截到较短那次运行的长度。
• 量化步长漂移（§4.2、Figure 6）：约 2,000 步后第一块（嵌入及其投影）梯度范数超过 10^3，其余块仍正常。逐项替换后，作者称换成 bf16 线性层即消除不稳定，因而归到权重量化器。机制叙述是：AdamW 下更新幅度主要由学习率决定，步长一旦超过权重范围，量化层级塌缩，STE 把舍入噪声送回梯度。修复是每步用 LSQ 初始化公式重算逐通道步长，不再把步长当可训练参数；开销约为主步时间的 2%，关闭量化约 70%。Figure 6：原运行在 step 2,500 前离开基线并超过 300；每步重算的运行在同一区间保持平坦。作者认为随机舍入与 BR 不兼容，除非接入 §2.1 的计数器生成器，而重算步长不需要该机制。
• int8 与 bf16（§4.3、Figure 7）：作者称可复现 bf16 约比可复现 int8 慢 1.6 倍，因此正式运行选 int8。同一配方下，400B token 后训练 CE 相差约 0.2 nats。z-loss（系数 10^{-4}）在 int8 上明显高于 bf16；作者称这是量化的自然结果：bf16 在零附近更密，int8 间距处处均匀，长尾 logit 不会同样靠近零。

可复现性的开销与哈希

• 吞吐（§5）：六节点、墙钟 29.5 天，其中预训练 27.8 天。功率运行均值约 50%，尖峰至 70%，约每 GPU 485 W。MFU 稳态约 5%。作者称这比优化过的非可复现 kernel 低一个数量级，是用算力换可复现性。Figure 11 与附录 B：状态哈希每步约 5.77–5.96 s，在 1、2、4、6 节点上分别占墙钟 4.9%、9.3%、16.7%、21.4%；绝对成本不随规模下降。
• 集合通信：Figure 中确定性跨副本 all-reduce 相对 NCCL 更慢；图注给出确定性路径在所测 buffer 上的耗时点，其中包括 2.82 s 这一档。正文称单设备重放走同一倒数乘法，以保持与集群比特一致。具体逐点曲线高度在纯文本中无法逐列核对的，这里不补。
• 权重轨迹（Figure 3、Figure 4）：作者称 WQ/WK 在约 120–180B token 后范数停止增长，进入由 lr×λ 主导的衰减均衡；WV 单调增长且后层更大；输入嵌入约在 250B token 饱和，unembedding 约在 100B token 见顶后随 weight decay 下降。Figure 3c 为各参数支路每 1,000 步的 |Δ log ‖W‖|。

其他消融与分析

• 幂律窗口排除前 5B token（warmup 与首次增大 batch），此后 395B token 上 held-out R^2=0.93，训练 R^2=0.71。
• Walsh–Hadamard 旋转把权重量化相对误差从约 5% 降到约 1%（作者给出的形状，非独立对照表）。
• 步长每步重算而非按固定间隔；步长不再是优化参数，故不重置其优化器矩。
• 重启：七段均从最近历史检查点继续，并用重复步上的哈希比对验证重启。
• 梯度全流程最大值为 7.06（step 247，warmup）；稳态最大值为 6.88（Table 9）。
• 论文未报告独立审计者已覆盖的步数比例，也未报告跨 GPU/CPU/Apple Silicon 的逐位一致通过率表。

作者指出的局限与后续方向

• 仍是 base 模型：结论中作者称当前发布的是 base checkpoint，并计划继续做指令微调，再报告微调对可审计轨迹的影响（Conclusion）。
• 单机无法重放全程：引言与审计一节写明，在消费级硬件上核验整次训练不可行，因此设计成多人各认证若干步的集体核验（Introduction、§6）。
• 可复现性以吞吐换取：§5 写 MFU 约 5%，比优化过的非可复现 kernel 低约一个数量级；作者把这写成该方案的代价，而不是未解决的故障。
• int8 与 bf16 损失不完全重合：§4.3 报告 400B token 后训练 CE 约差 0.2 nats，且 z-loss 在 int8 上更高；作者把后者解释为均匀量化间距的结果，未把它列为待修复项。
• 概率证明仍可能漏掉后门：引言认为 proof-of-learning 与 proof-of-training-data 不能排除少量数据点注入的后门；本文的回应是按位重放，而不是改进那些概率证明（Introduction）。
• 后续数据与配方：作者计划维持数据、代码、检查点与审计工具的公开，使第三方能重放任意步（Conclusion）。论文未把“尚未完成全量外部审计”写成一条局限陈述。

实验覆盖范围

• 训练运行是 Open-1B 这一次 48×H100、400B token、int8 W8A8 QAT、种子 42 的预训练，共 80,957 步、7 段重启（§3.2、Table 7）。
• 下游评测是 Table 6 的 OLMES 套件，对照 OLMo 2 1B 的 4T 预训练检查点；MMLU 与 held-out 选择题只用 MCF（§3.3.2）。
• 稳定性对照包括：梯度爬升修复前后（Figure 5）、量化步长每步重算（Figure 6）、RepOps int8 对 PyTorch bf16（Figure 7）。
• 开销测量包括六节点墙上时间、功率与 MFU（§5），以及 1/2/4/6 节点上状态哈希占步时的比例（附录 B、Figure 11）。
• 审计设计覆盖 NVIDIA GPU、x86、ARM 与 Apple Silicon（Metal）上的单步重放，以及每 100 步的检查点；论文未报告已完成审计的步覆盖率或跨设备比特一致的实测通过表（§6）。

Open-1B 是 Gensyn 发布的 1.61B 参数 decoder-only 模型，目标是把预训练从“公开配方”推进到每一步可在异构硬件上按位核对。

浮点加法非结合、融合乘加、次正规数和平台相关随机数，使同一配方在不同机器上得不到同一权重。概率性的 proof-of-learning / proof-of-training-data 被作者认为不足以排除少量数据注入的后门。

RepOps 在所有后端固定归约顺序、禁用融合乘加、把次正规数刷新为零，并用 (seed, i) 计数器生成随机数。数据是与并行度无关的规范窗口流；集合通信改成可在单设备上顺序重放的确定归约，平均值用倒数乘法。线性层从预训练起做 int8 LSQ，步长每步按权重重算，QK-norm 不设 gain。48 张 H100、种子 42、400B token，全局 batch 分三档增大。

held-out 混合 CE 从 6.59 降到 2.580（Table 7）；T>5B 的 held-out 幂律 R^2=0.93。Table 6 上 Open-1B（400B）OLMES 50.1、Avg 25.4，同表 OLMo 2 1B（4T）为 61.5 与 31.9。稳态梯度裁剪率 0.16%，全程只跳过 10 步。相对同配方 bf16，400B 后训练 CE 约差 0.2 nats。MFU 约 5%，状态哈希约 6 s/步，六节点时约占步时 21.4%。

作者的结论是：固定非确定性来源之后，任一步都可以在消费级硬件上对照已发布轨迹重放，整次运行由多人分步核验覆盖；当前发布的是 base 模型，指令微调及其对审计轨迹的影响留作后续。