其他arXiv 2609.17380
Open-1B：一次完全可审计的训练运行
提出 RepOps，使分布式预训练可跨硬件按位复现并被审计
- arXiv
- 2609.17380
- 发表
- 场景
- 模型与 API
- 测试
- Open-1B、OLMo 2 1B
摘要Open-1B 用跨硬件按位算子和集体审计，把 400B token 预训练变成可分步核验的轨迹。
Open-1B 是 Gensyn 发布的 1.61B 参数 decoder-only 模型，目标是把预训练从“公开配方”推进到每一步可在异构硬件上按位核对。浮点加法非结合、融合乘加、次正规数和平台相关随机数，使同一配方在不同机器上得不到同一权重。概率性的 proof-of-learning / proof-of-training-data 被作者认为不足以排除少量数据注入的后门。