Sable:面向大语言模型逐位精确推理的小域 Sumcheck 论证系统
Sable: A Small-Field Sumcheck Argument for Bit-Exact Inference of Large Language Models
作者提出 Sable:单 GPU 上为整数化 transformer 推理生成比特级密码学证明,Qwen2.5-32B 全部 64 层 4,096 token 证明耗时 92.5 s。
- 托管语言模型的客户端无法确认输出由哪个模型、哪份权重、什么采样随机性产生。作者要解决的是:让服务器为生产规模模型的推理附上仅凭密码学假设即可由任何人事后核验的证据。
- 作者定义无浮点的整数函数 FO 固定每次舍入、归一化、softmax 与采样,再用 31 位 KoalaBear 域上可证不回绕的约束系统、分块 LogUp 查找与单一多线性承诺,在单 GPU 上以两遍流式方式生成证明。
- 在一块 RTX PRO 6000 上,Qwen2.5-32B 全部 64 层 4,096 token 证明 92.5 s,16,384 token 397.5 s;Qwen3-32B 与 MoE 模型 Qwen3-30B-A3B 的 4,096 token 证明分别为 121.8 s 与 84.7 s。代价是精度:FO 在 WikiText-2 上困惑度比 BF16 高 8.3%,MMLU 差距在 1.6 分以内。
- 作者指出:证明非零知识、体积 106–477 MiB,只适合开放权重模型的审计者;约 1.9×10^4 份证明即可恢复权重;递归压缩与零知识外层尚未建成;FO 相对 BF16 有精度损失;soundness 分析中承诺方案那一步不是既有定理的直接应用。
- 威胁模型
- 敌手是运行 prover 的服务器,想让 verifier 接受一个并非由已承诺权重 W 经整数函数 FO 产生的输出。verifier 信任发布权重承诺 CW 与电路常数摘要 hcirc 的注册表、自己的分词、以及决定采样种子的客户端 nonce。证明非零知识、体积 106–477 MiB,定位为开放权重模型的审计者证明。
- 被测模型
- Qwen2.5-32B-InstructQwen3-32BQwen3-30B-A3B
- 基准
- WikiText-2MMLUGSM8K
- 指标
- proving time (s)proof size (MiB)verification time (s)perplexity over BF16greedy token agreementround-by-round soundness error
研究者提出论证系统 Sable,可在单张 GPU 上证明某个已承诺的整数量化 Transformer 对给定提示逐位产生给定 token 序列,代码开源于 https://github.com/moonmath-ai/Sable。系统将模型固定为不含浮点步骤的整数函数 F_O,使舍入、归一化、softmax 和采样都由输入决定,并基于 31 位 KoalaBear 素数构建约束系统。在一块 NVIDIA RTX PRO 6000 Blackwell GPU 上,Sable 对 64 层的 Qwen2.5-32B 证明 4,096 个 token 需 92.5 秒、16,384 个 token 需 398 秒,并覆盖 Qwen3-32B 与混合专家模型 Qwen3-30B-A3B;证明开销为服务时间的 41 到 50 倍,每参数每 token 耗时为 zkLLM 的 1/40 到 1/64。
深度解读
这篇论文试图解决什么问题?
为托管 LLM 的推理提供仅凭密码学假设即可核验的比特级证明,并在单 GPU 上做到生产规模可行。
核心问题:客户端如何确认托管服务器声称的模型推理确实按承诺的权重与随机性执行,且证据只依赖密码学假设、任何人可事后核验。
- 场景与动机:作者指出,客户端向托管模型发提示词后只收到文本,无法判断是哪个模型生成的、权重是否被更激进地量化、回答是否被截断、采样是否用了承诺的随机性。可验证推理要求服务器附上 y = F(W, x, r) 的证据,其中 W 由公开承诺 CW 固定、r 是服务器不能选择的种子。
- 现有方法的不足:作者称已有密码学证明系统代价高:sumcheck/GKR 类系统证明过卷积网络与至多 13B 参数的语言模型,电路类系统把模型编译进通用 SNARK;浮点推理结果随 kernel、batch 形状与归约顺序变化,不是输入的确定函数,因此近似检查浮点计算(如 TOPLOC)回答的是另一个问题。
- 核心观察:小素数域让 prover 快,但 transformer 的中间量相对 p≈2^31 很大,模 p 成立而整数上不成立的关系会让作弊 prover 通过;且 16,384 token 的轨迹约 6×10^11 个域元素、7×10^11 次查找,超出 LogUp 在素数域的 soundness 条件,必须分块并流式处理。
- 论文提出什么:Sable——一个论证系统与单 GPU prover,包括:无浮点的整数函数 FO(固定每次舍入、归一化、softmax、采样与停止规则)、31 位 KoalaBear 域上可证不回绕的约束系统、把 zerocheck 与 LogUp-GKR 叶子层合并的 domain sumcheck、单一多线性承诺,以及面向递归压缩的 verifier 精简与 BLAKE3 电路。
- 威胁模型(Section 4):
- 攻击者目标:运行 prover 的服务器,想让 verifier 接受并非 FO (W, x, r) 对承诺 W 产生的输出。
- 信任锚:发布 CW 与电路常数摘要 hcirc 的注册表(开放权重可由任何人重算);verifier 自己的分词;客户端 nonce(固定采样种子)。
- 受害方/验证者:能负担 106–477 MiB 证明与 19–56 s 单核验证的客户端或审计者;证明非零知识,定位为开放权重模型的审计者证明。
- 附带限制:约 1.9×10^4 份证明即可通过线性代数恢复权重,闭权重需要计划中的零知识层;soundness 定理假设 CW 承诺的是范围内权重。
有哪些相关研究?
相关工作覆盖 ML 推理证明、并发系统 FlashProve、可信执行与统计指纹、sumcheck/查找/小域/承诺/GPU prover 与整数量化。
ML 推理的密码学证明
- zkCNN(LXZ21)——基于 sumcheck 的卷积证明,沿 GKR 路线;Mystique(WYX+21)——VOLE 交互式零知识证明,做算术/布尔转换。
- ZKML(CWSK24)与 ezkl(Zko23)——把模型编译到 Halo2 电路并优化布局。
- zkLLM(SLZ24)——sumcheck 处理张量运算、tlookup 处理非算术操作、专用 attention 协议,证明至多 13B 模型;zkGPT(QSL+25)——面向 GPT-2 规模,CPU 上约 22 s 证明 GPT-2。论文指出这两者在大素数域(BLS12-381 或 BN254)上工作、近似非线性函数而不固定被服务模型的整数语义;Sable 的区别是在 31 位域上付出显式 no-wrap 界、逐比特定义被服务函数(含归一化、softmax、采样、停止)、并把轨迹流式化。
并发工作 FlashProve
- FlashProve(Ant26, RAC+26)——Anthropic 的并发系统,证明 400.7B 参数 MoE 模型 Llama 4 Maverick 的推理,64 位 Goldilocks 域、零知识、协议经 Lean 机器检查,证明约 18.8 MB。论文指出的区别:Sable 的证明覆盖整段回复(每个生成 token、停止规则、正温度下由语句固定的种子采样),FlashProve 不检查采样、被截断的回复在那里按更短回复验证;Sable 证明至 16,384 token 上下文,FlashProve 为 1,024;Sable 的权重承诺是任何人可从开放 checkpoint 重算的 Merkle 根,FlashProve 的隐藏承诺限制可服务批数(至多 688,127);Sable 报告完整任务基准(MMLU、GSM8K)精度,FlashProve 只报告 WikiText-2 上贪心 token 差异(6.8% 与 9.4%)且不跑任务基准。
其他可信推理路径
- GPU 上的可信执行环境——在硬件信任假设下 attest 运行的代码;refereed delegation(CRR11)与乐观方案——通过重执行解决争议,要求确定性计算与持权重的诚实方。
- TOPLOC(OFP+25)——对浮点激活做局部敏感哈希,持模型的验证者可近似、统计地检查所声称的计算。论文称 Sable 的语句是精确的、verifier 不需要权重,代价是更高的证明成本。
证明系统构件与量化
- sumcheck(LFKN92)、GKR(GKR15)、Thaler(Tha13)的线性时间矩阵积证明、Libra(XZZ+19)、Spartan(Set20)、HyperPlonk(CBBZ23);查找参数从 Plookup(GW20)到 LogUp(Hab22)及其 GKR 证明(PH23),Lasso/Jolt(STW24, AST24)。
- 小域与 prover 算法:Mersenne-31/BabyBear/KoalaBear 等 31 位域(Pol24, HLP24)、Binius(DP25)、Gruen(Gru24)、Bagad 等(BDT24)与 Dao 等(DDB+26)的小值 sumcheck prover。
- 哈希承诺:FRI(BSBHR18a)、Ligero(AHIV17)、Brakedown(GLS+23)、BaseFold(ZCF24)、WHIR(ACFY25)、Haböck(Hab24)的列表译码分析。
- 整数推理与量化:LLM.int8()(DLBZ22)、SmoothQuant(XLS+23)、QuaRot(AMC+24)、SpinQuant(LZF+25);FO 按 QuaRot 方式融合随机正交旋转,并把每个浮点非线性替换为查表。
基线与基准:精度对比的基线是 FP8(W8A8,per-tensor)与 SmoothQuant INT8(W8A8)两种已部署 8 位量化,基准为 WikiText-2、MMLU、GSM8K;证明时间对比 zkLLM(其 Table 1 的 LLaMa-2-13B 配置)与 FlashProve(Table 8)。作者把 Sable 定位为:在 31 位域上以显式 no-wrap 界换取 prover 速度、逐比特固定被服务函数、并把轨迹流式化以覆盖生产规模模型与长上下文。
论文如何解决这个问题?
先定义无浮点的整数函数 FO,再用 31 位域上不回绕的约束系统与流式单 GPU prover 证明其执行。
整体思路:把被服务的模型替换为一个完全由整数定义的函数 FO,使"输出等于 FO (W, x, r)"成为可证明的语句;再设计一个约束系统,使每条关系在整数上成立当且仅当在 31 位 KoalaBear 域 Fp 上成立;最后用流式两遍协议与单 GPU prover 完成证明。
整数函数 FO(Section 5)
- 数制:残差流为 A=[−2^23, 2^23) 内、10 个小数位的整数;矩阵乘输入按行量化到 [−127, 127] 并配 2 的幂指数;权重按列配指数;每个乘积 C=AB 的标度只依赖行/列,归约轴上无标度,累加器是精确整数(|acc|<2^29)。
- 原语:Requant8/ShiftQ8(最小适配指数量化)、NormScale(RMSNorm,增益融合进下一权重)、ShiftRound、ShiftQ8S(带偏置的饱和 8 位舍入)、RoPE8、MulRound、SatAdd,以及正确舍入的查表 τexp、τSiLU、τrecip 与采样表 τexp,θ;表项用双精度计算、近舍入边界的项用 60 位精度重算,摘要在 hcirc 中固定。
- 采样与停止:θ=0 时取达到最大 logit 的最小下标;θ>0 时用逆 CDF,ut 取 BLAKE3(r∥t) 的低 30 位;停止规则是关系 R 的一部分,否则任何有效输出的前缀也有效,服务器可截断回答。
- Qwen3 扩展:QK-norm(按头行做 ShiftQ8+NormScale+ShiftQ8S)与 MoE(路由 SatShift、按阈值选 k=8 个专家、权重归一化、专家 MLP、合并与单累加器 down 投影);行 clamp 处理首位置小范数行,否则 FO 在这些输入上无定义。
- 从 checkpoint 到 FO:确定性程序做 QuaRot 式旋转、融合增益、8 位量化,并在 1,024 token 英文技术文本上两遍校准静态指数;Qwen3 上按 key-value 组选择 Q/K 指数划分(Q/K split)以最小化分数舍入噪声,不改变证明的大小与成本。
不回绕的约束系统(Section 6)
- 设计规则:每条约束读作整数恒等式时两边绝对值低于 p(除 ShiftQ8S 外低于 2^30.9,Table 18),从而在 Fp 成立当且仅当在 Z 成立(Theorem 6.1);每个 gadget 在合法输入下只有唯一满足输出(Theorem 6.2)。
- 标记表:所有静态查找进入一张 2^26 行、7 列的表 T(Table 1),范围检查 u∈[0,2^k) 是单次查找 (k,u),任何宽度的界都花一次查找。
- 关键 gadget:ShiftRound 用 SR 查找行绑定移位 k 的取值来源(公开层常数加/减已承诺的行指数),防止 prover 自选 k;可能为负的移位(attention 输出、down 投影、logits)另加 SRA 输入界,作者称开发中曾用随机搜索构造出可绕过的剩余类,该界堵上了缺口;NormScale 的左移用 (16, [E<0]Σ) 查找界住输入。
- attention:因果分数矩阵切成 128×128 tile,只保留对角线及以下;行最大值用 gather(动态查找集)而非索引位;softmax 查找的表域 x<2^23 强制 Mm≥accmj;P V 积按 2^12 键分块使部分和低于 2^29。
- 输出约束:θ=0 时对每个生成位置与全部词表做范围查找,断言 yt 是第一个最大值;θ>0 时用 10 位 limb 的乘积关系精确计算 wt=⌊utZt/2^30⌋ 并检查逆 CDF 不等式。
协议(Section 7)
- 两遍结构:commit pass 前向运行 FO、逐层建 witness 并承诺、统计查找重数,层间只保留残差流;prove pass 反向逐层重算 witness、跑 sumcheck,把 claim 从输出一路传回 embedding,最后统一打开所有承诺(Figure 2)。
- domain:把一组列的 zerocheck 与所有 LogUp-GKR 树的叶子层合并进一个 sumcheck(Theorem 7.1),省去每个 domain 一个 sumcheck,余数等表达式无需单独成列;代价是括号次数升高,最大 domain 次数 8 到 10。
- 分块 LogUp:静态查找按提交顺序分入每块至多 2^30 次查找的 chunk,各有自己的重数列;一次表侧 GKR 同时证明所有 chunk(Theorem 7.2)。作者指出 16K 证明约 7×10^11 次查找、超过 300p,不分块则 LogUp 在素数域不 sound。
- 承诺:所有张量与权重装入一个多线性承诺——rate-1/2 Reed–Solomon 码、混合高度 BLAKE3 Merkle 树(一层各类共享一条路径)、混合长度 BaseFold 打开(Fp8 上);每层做段内归约避免为全局求值证明重建 witness。
- transcript:BLAKE3 压缩函数的自定义顺序模式,逐 31 位拒绝采样挑战;(Z,β) 前有 11 位 proof of work,查询前有 30 位 proof of work;最终查询打开不吸收进 transcript。
安全性与递归(Sections 8、10)
- soundness:随机预言模型下,交互证明的 round-by-round soundness 误差为 2^−103.4(Table 2,含两处 proof of work);Theorem 8.1 显示用一个挑战的幂压缩 k 元组损失 log2 k 位,故 Sable 每个坐标独立抽挑战。作者明言:承诺构造(列表译码 + 混合长度批处理 + 每 oracle 两次折叠)这一步不是既有定理的直接应用,而是按轮组合 BCIKS 相关一致性定理。
- verifier 精简:公开列闭式求值、固定表承诺、最终打开只记录不哈希、更宽更少的列、共享 Merkle 路径,把 4,096 token 全模型证明的 verifier 哈希从 17.8M 降到 4.2M 次 BLAKE3 压缩、证明从 360 降到 134.8 MiB(Table 3)。
- BLAKE3 电路:把一次 G 调用证明为一行 80 列的 domain(加法进位约束、三张 2^16 行 XOR/旋转查找表),行间用 LogUp 内存布线(Figure 4);2^18 次压缩一块时每次压缩约束证明成本 1.3 µs(摘要写 2.8 µs,正文 10.2 节给出 2.4 与 1.3 µs 两档)。
论文做了哪些实验?
单 GPU 端到端证明三个模型、与 zkLLM/FlashProve 对比、成本模型与工程消融、证明大小与验证、FO 精度归因与无定义输入扫描、伪造拒绝测试。
实验设置
- 硬件与软件:一块 NVIDIA RTX PRO 6000 Blackwell Server Edition(96 GB),主机 Intel Xeon 6776P(24 核可用)、214 GB 内存;Linux 6.11、CUDA 13.0、PyTorch 2.14、CuPy 14.2;每次测量前后确认 GPU 空闲。
- 被测模型:Qwen2.5-32B-Instruct(64 层)量化到 FO;Qwen3-32B(64 层,QK-norm);Qwen3-30B-A3B(48 层,每层 128 专家、每 token 用 8 个)。
- 工作负载:三种形状——1×4,096 token、4×4,096 token 单证明、1×16,384 token;每条序列是均匀随机 token id 提示词加 16 个贪心生成 token,证明覆盖生成与停止规则。
- 计时口径:从语句到最后一条证明消息的墙钟时间,权重承诺预先算好、kernel 已编译;端到端结果为同一进程内一次预热后三次热运行的均值(Table 4、5、7);开发期对比数字为单次热运行,同配置重复差异至多约 2%。
- 精度评测:WikiText-2 切成 145 个 2,048 token 窗口(296,815 个预测);MMLU 全部 14,042 题 5-shot;GSM8K 全部 1,319 题 8-shot 贪心解码(Qwen2.5 至多 256 token,Qwen3 至多 1,024 token);95% 区间为 2,000 次 bootstrap(变体间配对重采样)。
- 对比基线:精度对比 FP8(W8A8 per-tensor)与 SmoothQuant INT8(W8A8);证明时间对比 zkLLM 与 FlashProve 的已报告数字(Table 8)。
主结果
端到端证明时间与资源(据 Table 4 与 Table 7,均为三次热运行均值):
表格较宽,可左右滑动
模型 形状 Prove (s) Overhead Proof (MiB) Verify (s) Qwen2.5-32B 1×4K 92.5±0.0 50 134.8 18.8 Qwen2.5-32B 4×4K 253.1±0.0 45 239.0 26.8 Qwen2.5-32B 16K 397.5±0.3 41 345.7 40.2 Qwen3-32B 1×4K 121.8±0.0 53 165.1 26.5 Qwen3-32B 4×4K* 485.7±25.3 68 298.0 36.2 Qwen3-32B 16K* 668.7±2.2 50 476.7 55.8 Qwen3-30B-A3B 1×4K 84.7±0.9 17 106.2 20.2 Qwen3-30B-A3B 16K 265.7±6.3 21 219.5 29.5 (* 这两种形状下 CUDA graph 放不进显存,未用 graph replay;Qwen3-30B-A3B 的 4×4K 为 181.9±5.7 s、证明 152.6 MiB、验证 23.0 s,表中从略。Overhead 为证明时间除以作者 FO serving 引擎完成同样工作的时间。)
- 作者指出:4×4K 证明覆盖 4 倍 token 只用 2.74 倍时间(权重、表侧与求值证明被共享);16K 与 4×4K token 数相同但慢 1.57 倍,因为 attention 随序列长度二次增长。
- 作者报告:证明时间为所 attest 推理的 41–50 倍;按公开 GPU 价格 1×4K 证明约 6.4 美分;与 zkLLM 相比每参数每 token 时间少 40–64 倍(Table 8:zkLLM 30.2 ps/pt,Sable 在 Qwen2.5-32B 上 0.48–0.75 ps/pt),作者同时注明部分差距来自硬件(其 GPU CUDA 核为 A100 的 3.5 倍)且两系统证明的语句不同(zkLLM 隐藏权重、近似非线性)。
- 例外:Qwen3-32B 的 4×4K 三次运行分别为 462、482、512 s,各计时阶段相同,作者称未定位散布来源;同 prover 在无 Q/K split 校准的该模型上为 464.7±5.3 s。
精度与归因(Sections 11.8)
- WikiText-2 与任务:FO 在 Qwen2.5-32B 上困惑度 5.580、比 BF16 高 8.3%(配对区间 7.3–9.5%),贪心 token 一致率 86.3%;FP8 与 SmoothQuant INT8 的困惑度增量分别为 +0.7% 与 +1.6%(Table 12)。MMLU 上 FO 比 BF16 低 1.4 分(81.8% 对 83.2%),GSM8K 低 0.6 分(88.0% 对 88.6%)。
- 归因:在 WikiText-2 上,12 位 query/key 变体消除 37%(35–40)的困惑度差距,float softmax、多 4 位 SiLU、16 位 up 投影各自移动不超过 3%,四者同开不优于单独 12 位 query/key;换用 WikiText-2 训练文本校准几乎不变(Table 13)。作者注明这些变体按现状不可证明(额外位数破坏约束系统的界)。
- Qwen3:FO 困惑度增量 Qwen3-32B 为 +6.6%、Qwen3-30B-A3B 为 +1.9%(Table 14);Q/K split 在不增加证明成本的情况下消除 Qwen3-30B-A3B 53%(46–60)与 Qwen3-32B 23%(19–26)的增量。两模型上 FO 与 BF16 的 MMLU 差距在 1.6 分以内、GSM8K 在 1.7 分以内。作者给出两个解释:Qwen3 的 MMLU 答案 logit 边际更小(中位 5.6/5.8 nats 对 Qwen2.5 的 8.3),同样大小的误差翻转更多答案;Qwen3-32B 在 GSM8K 上的损失主要来自答题风格变化(FO 的 1,319 个答案中 527 个以逐步风格开头,BF16 为 92 个)。
无定义输入扫描与正确性测试(Sections 11.9、11.10)
- 扫描:WikiText-2 全部测试窗口、全部 GSM8K 提示、2,000 条随机 MMLU 提示(共 3.45M token 真实文本)加 160 条 4,096 token 对抗序列(重复单 token、随机 id、随机数字串、随机字节、重复注入式短语),以及每个词表 token 在位置 0;三个模型上没有任何输入触发 FO 的无定义条件(Table 16)。作者注明这不能证明不存在此类输入:知道权重的敌手可以搜索,开放权重下客户端可自行评估 FO 确认拒答。
- 伪造拒绝测试:在小模型上逐条腐化证明消息、换权重、改采样 token、伪造最终打开与各类 no-wrap 界(含 Theorem 6.3 的左移剩余类、QK-norm 指数 22 的未除四形式、kr=15 的路由饱和),均被拒绝;设备 transcript 与 graph replay 产生的证明与主机逐字节一致。
其他消融与分析
- 成本模型(Table 9):实测为中心预测的 2.45/1.73/1.56 倍(1×4K/4×4K/16K),1×4K 超出模型声明的 2 倍因子;作者称小形状部分受延迟限制(每层约 3,800 个单块 sumcheck 轮)。
- 工程消融(Table 10):graph replay 把 64 层 1×4K 证明从 133 s 降到 106 s;per-layer reduction 从 108.2/304.7/479.1 s 降到 99.3/269.6/419.3 s;多项尝试无收益被回退(如寄存器上限、拆分非对角 tile 域、torch.compile witness)。
- 外部库对比:与 SP1-GPU 6.9.0 相比,26 列 2^23→2^24 的 coset LDE 为 6.1 ms 对 10.2 ms,2^24 乘积 sumcheck 为 1.50 ms(含设备 transcript)对 1.17 ms(仅 kernel);作者称没有库能让整个 prover 更快。
- verifier 精简(Table 3):BLAKE3 压缩从 17.77M 降到 4.22M,证明从 360.0 降到 134.8 MiB;编译核心 verifier 单核验证三种形状为 18.8/26.8/40.2 s。
- serving(Table 17):FO 引擎 batch 1 解码 27.5 tok/s,与 FP8 的 25.3 相当、比 BF16 的 21.0 快 30%;batch 32 为 FP8 速率的 79%;prefill 比 FP8 慢 2.7 倍。
有什么可以进一步探索的点?
作者列出零知识、递归层、精度恢复等待建项;实验覆盖三个 Qwen 模型、三种形状与多项精度基准。
作者指出的局限与后续方向
- 非零知识与开放权重限制(Sections 1.2、4、8.3、12):主证明不是零知识,约 1.9×10^4 份证明即可恢复全部权重,系统按现状只适合开放权重模型;多租户证明、保密权重与证明公开发布都需要零知识外层(隐藏承诺、掩码 sumcheck/GKR 消息),该模式尚未建成。
- 递归压缩未完成(Sections 10.3、12):递归层还需要 Fp4/Fp8 算术 gadget、把 verifier 运行转成 witness 的记录器、定长电路切分、外层与低码率末层;BLAKE3 电路的轨迹承诺成本尚未测量。
- soundness 分析的一步缺口(Section 8.2):作者称不知道有已发表定理恰好覆盖列表译码 + 混合长度批处理 + 每 oracle 两次折叠这一组合,该步是按轮组合 BCIKS 定理的论证,不是既有定理的直接应用。
- 权重范围假设(Sections 4、8.3):soundness 定理假设 CW 承诺范围内权重;闭权重需要每次模型发布做一次范围证明,作者称尚未构建。
- 精度损失与格式(Sections 11.8、12、13):FO 相对 BF16 有精度损失,剩余 63% 的困惑度差距未定位;作者称找到以小证明成本闭合差距的整数格式是 FO 的主要开放问题;12 位 query/key 按成本模型会把 Qwen3-32B 证明时间乘 1.39(4K)到 1.78(16K)。
- 其他后续项(Sections 12、13):滑窗 attention 可去掉长上下文下大部分因果分数项;小形状下把大量小 sumcheck 批量化、把剩余主机端 claim 算术移到 GPU;univariate skip 估计省 2–4%;整体编译的 verifier;机器检查协议证明(相对 FlashProve 的方向)。
实验覆盖范围
- 被测模型为 Qwen2.5-32B-Instruct、Qwen3-32B、Qwen3-30B-A3B 共 3 个,均量化到 FO;形状为 1×4K、4×4K、16K 三种(Section 11.1)。
- 端到端结果为同进程一次预热后三次热运行的均值;开发期对比为单次热运行,同配置重复差异至多约 2%(Section 11.1)。
- 精度基准为 WikiText-2(145 窗口)、MMLU(14,042 题)、GSM8K(1,319 题),对比 FP8 与 SmoothQuant INT8 两种 8 位方案(Section 11.8)。
- 无定义扫描覆盖 3.45M token 真实文本、160 条对抗序列与全部词表 token 的位置 0,未覆盖生成位置(扫描只跑 prefill,Section 11.9)。
- 论文未报告证明生成所用的总查询次数上限 Q 的具体实验值;soundness 以每轮误差项与 Table 2 的预算给出(Section 8.3)。
总结一下论文的主要内容
Sable 在单 GPU 上为 32B 级模型的比特级整数推理生成密码学证明,4,096 token 92.5 s,代价是精度与证明体积。
Sable 是一个论证系统与单 GPU prover,面向的问题是:托管 LLM 的客户端无法确认输出由承诺的权重与采样随机性产生,作者要给出一个只依赖密码学假设、任何人可事后核验的证据。
- 做法:定义无浮点的整数函数 FO,固定每次舍入、归一化、softmax、采样与停止;在 31 位 KoalaBear 域上设计每条关系都可证不回绕的约束系统;查找按至多 2^30 次分块以满足 LogUp 在素数域的 soundness;所有张量与权重装入一个基于 rate-1/2 Reed–Solomon 码与混合高度 BLAKE3 Merkle 树的多线性承诺;prover 两遍流式过模型、重算 witness、用设备端 Fiat–Shamir 与 CUDA graph 重放。
- 性能:在一块 RTX PRO 6000 上,Qwen2.5-32B 全部 64 层 1×4,096 token 证明 92.5 s,4×4K 为 253.1 s,16K 为 397.5 s(Table 4);Qwen3-32B 与 Qwen3-30B-A3B 的 1×4K 证明为 121.8 s 与 84.7 s(Table 7)。作者报告证明时间为所 attest 推理的 41–50 倍、每参数每 token 时间比 zkLLM 少 40–64 倍,并注明硬件与语句差异。
- 安全性:随机预言模型下交互证明的 round-by-round soundness 误差 2^−103.4(Table 2);作者明言承诺构造那一步不是既有定理的直接应用。
- 精度代价:FO 在 WikiText-2 上困惑度比 BF16 高 8.3%、贪心 token 一致率 86.3%(Table 12);约三分之一差距归因于 8 位 query/key;Qwen3 上 Q/K split 零证明成本消除 23–53% 的差距,两模型 MMLU/GSM8K 与 BF16 差距分别在 1.6 与 1.7 分以内(Table 14)。
- 作者结论:作者称比特级证明生产规模模型推理在单 GPU 上可行;剩余成本是约 50 倍于推理的证明时间、相对 BF16 的精度损失,以及在递归零知识层建成之前只适合开放权重模型审计者的 106–477 MiB 证明;下一步是递归与零知识层、整体编译的 verifier 和恢复精度的整数格式。