研究量化功耗测量对隐藏算力的约束能力
Can Power Draw Constrain Covert Compute?
作者在A100上给出功耗核验的放松上界:fp16声明、int8隐藏时β*=1.16,匹配调度至少藏0.41。
被监测方控制负载、操作数、数值格式、时钟与空闲状态,并可运行未声明计算。
- 算力上限协议需要外部确认实际跑了多少计算。片外功耗不经过被监测方控制的硅片,但交换率、格式、时钟和空闲都可由其选择,不同运算量可以画出相同功耗。
- 把功耗写成运算率乘交换率加开销。隐藏运算要同时落在能量预算和剩余机时里,β取二者较小值,再对声明利用率取最坏情况。带边在A100上分实验测量,额外能力沿阶梯收窄同一上界。
- 确认声明为fp16、隐藏为int8时,最坏放松上界β*为1.16(h*=0.42)。匹配能量调度在h=0.216至少藏住0.41。重执行、限定两种块并收紧开销后,β*为0.059。
- 作者写明所引β来自A100和片上能量计数器,且没有展示同一调度能同时到达三条带边。跨硬件间隙、DVFS和多设备公式没有测成闭式输入。其他通道和机房级推广被列为后续。
- Threat model
- 被监测方控制负载、操作数、数值格式、时钟与空闲状态,并可运行未声明计算。验证方只信任片外电表,看不见交换率、运算率与开销;噪声在本文中置零,并假设声明计算已跑过。要判断的是声明运算量是否与功耗一致,界是隐藏运算占声明格式机器容量的比例。
- Benchmarks
- NVIDIA A100-SXM4-80GB dense matmulfixed 10 s covert-dose windowint8 Pythia-6.9B transformer block
- Metrics
- β*βIDexchange rate rΔP0
论文推导了功耗轨迹无法排除的最大隐藏算力 β 的闭式解,即隐藏算力占申报机器容量的比例。在 NVIDIA A100 GPU 上的测量显示,最坏情况下 β = 1.16,而对抗性等能量策略至少可隐藏 β = 0.41 的算力。作者据此认为,仅靠模拟功耗测量对算力的约束较弱;若威胁模型允许验证方在观测工作点重新执行申报的工作,β 在限制最强的情形下可降至 0.059。该结果为前沿 AI 算力限制协议的外部核查提供了定量估计。
Paper analysis
What problem does this paper attempt to solve?
片外功耗能否约束主动隐藏的算力,此前没有定量上界。
外部审计能否只靠片外功耗,排除被监测方主动藏起的算力。
- 场景:作者称前沿系统能力增长后,治理越来越依赖外部核验,机制之一是对运算量设阈值。行政令 14110 曾临时要求报告超过 10^26 次整数或浮点运算的训练。
- 不足:计数器、片上时钟和内存流量读的是运营方控制的硅片。作者称防篡改读路径和 attested 监测固件尚不存在;密码学 proof-of-training 要运营方配合,主动问答探针则跑在其不可信硬件上。
- 观察:每次运算都耗能,所以总能量给总工作量一个预算。交换率却由活动因子、格式、数据位置和电压决定,被监测方可控且电表不可见,故不同运算量可以对应同一功耗。
- 做法:给出隐藏运算占声明格式机器容量之比 β 的闭式放松上界,并在 NVIDIA A100 上测带边,再看额外核验能力能把上界压到何处。
- 威胁模型:
- 目标:被监测方(prover)可运行未声明计算;验证方要判断声明运算量 Cdec 是否与功耗一致。
- 知识:验证方信任片外电表上的 Pobs,看不见交换率 r、运算率 F 和开销 P0。假设 2.1 将噪声置零;假设 2.2 认定声明计算已跑过,电表本身不能确认这一点。
- 能力:被监测方控制负载、操作数值、数值格式、时钟、空闲状态,以及运算率在声明与隐藏之间的划分。
- 对象:窗口内的硬件运算,按实际执行的名义运算计数,而不是算法 FLOPs。本文只分析功耗。
What related research exists?
既有侧信道多在合作条件下做正向映射,本文处理对抗性逆问题。
引言把相关工作放在核验需求、读硅片的核验,以及合作条件下的侧信道三类里,没有单独的 Related Work。
- 算力治理与申报阈值
- Sastry 等(2024)讨论用算力治理人工智能;Heim 与 Koessler(2024)讨论训练算力阈值在监管中的功能。
- Shavit(2023)研究用计算监测核验大规模神经网络训练规则。Baker 等(2025)给出核验国际人工智能协议的分层框架,并建议使用与芯片物理分离的片外模拟传感器。
- Reuel 等(2025)整理技术治理开放问题。作者引用行政令 14110:超过 10^26 次整数或浮点运算的训练曾被临时要求报告。
- 读运营方硅片或依赖配合的核验
- O’Gara 等(2025)、Ansari(2026)、Rahman 与 Tajdari(2026)讨论硬件级治理、防篡改读出或零开销遥测。作者称被动遥测读的是运营方控制的硅片,所需防篡改读路径和 attested 固件尚不存在。
- Jia 等(2021)与 Garg 等(2023)的 proof-of-training 或零知识 proof-of-training 依赖运营方配合。Monfared 等(2026)的计时与内存遥测探针跑在运营方不可信硬件上。
- 合作条件下的侧信道与功耗
- Hu 等(2020)、Maia 等(2022)、Gao 等(2024)、Chaudhuri 等(2025)从物理发射恢复模型架构或超参数;Naghibijouybari 等(2018)、Wei 等(2020)用同驻进程可见的计数器与计时做类似恢复。
- Tang 等(2022)、Xu 等(2026)、Gangwal 等(2020)用节点遥测或片上计数器分类负载。Clark 等(2013)用功耗发现异常计算,Arefin 与 Serwadda(2025)用端口侧信道观察 GPU 活动。
- Patel 等(2023)、Choukse 等(2025)、Latif 等(2025)刻画 GPU 与训练功耗。作者称这些大多是合作条件下的正向模型,把已知负载映射到发射;核验面对的是主动逃避传感器时、从发射反推负载的逆问题。
作者把本文放在功耗这一条逆问题上,并称功耗与计算的联系最直接,因为每次运算都耗能;其他通道留待后续。
- 算力治理与申报阈值
How does the paper address this problem?
用能量预算与容量裁剪的较小值给出隐藏算力占容量的放松上界 β。
作者用带放松的闭式上界 β 描述功耗轨迹不能排除的隐藏运算,再测量公式所需的带边。
正向模型与计数
芯片功耗分成动态项与静态项。作者把动态项改写成运算率乘交换率, P(t)=r(t)F(t)+P0(t) r 的单位是 J/op,时钟在边际成本里消去;P0 收集泄漏、冷却和 I/O 等非计算开销。计数的是硅片实际执行的名义运算:一次乘加计两个名义运算,不论 fp32 还是 int8。附录 A 从 CMOS 功耗定律推到该式。
逆问题与歧义
验证方看到的是正向映射 G 的像。r 可变时 G 非单射,逆问题只返回与轨迹一致的负载集合,总运算量的投影是一个区间。物理歧义 βID 是区间宽度除以声明格式峰值容量 Cmax。假设 2.2 下区间下沿就是 Cdec,上沿是声明量加最大隐藏量。作者用各带边的笛卡尔积代替联合可行调度,得到放松上界 β,并称 βID 不大于 β,仅当所用带边能被同一调度同时达到时取等。
能量预算与容量裁剪
对窗口积分后,总能量分成声明、隐藏与开销。开销只知落在带内,不扣除一条已知基线,因为风扇、时钟和空闲由被监测方控制。不报警检验是单侧的:隐藏工作只会加能量,只有总能量偏高才可疑。声明工作做到便宜带边、开销做到低边、隐藏工作做到便宜带边时,能量允许的隐藏量最大。容量上,声明工作至少占窗口的比例 h,剩余时间按隐藏格式的公开峰值计价。 β(h)=min(βen(h),(1−h)γ) h 是声明运算占声明格式容量的比例,γ 是隐藏格式与声明格式的峰值运算率之比。能量项随 h 上升,容量项随 h 下降;验证方可引用的是对 h 的最大值 β*。若开销项单独超过 γ,最大值在 h=0。声明和重执行能收窄分子里的声明带,到不了分母里的隐藏地板;片外刻画开销带宽也不会把它缩小。
带边怎么钉住
进入界的量是声明带上下沿、隐藏成本下沿和开销带宽。实验 1 用全因子矩阵乘钉声明带,并在其余因子固定时读精度、操作数和局部性的宽度。实验 2 在无声明工作时读开销,另做速率阶梯检查仿射关系,该斜率不进入界。实验 3 在固定 10 秒窗口里只改变隐藏剂量,用能量对隐藏运算量的回归斜率估计边际成本。作者称隐藏边必须是边际成本,总商会把基线功耗摊进隐藏运算。平台不能锁时钟,电压因子不由扫描得到。
能力阶梯
Section 5 在同一公式上逐档多给验证方一项能力或威胁模型限制:观察时钟与局部性、重执行声明工作、把隐藏工作限制到已测负载类、把开销带限制到正在计价的窗口,以及已知隐藏数值格式的分支。后一分支与负载类限制作用在同一项上,作者称二者不叠加。时钟与局部性档作者有意不报价。
What experiments did the paper conduct?
作者称A100上确认fp16后,最坏β*为1.16,匹配调度至少藏住0.41。
实验设置
- 硬件:实验 1–3 与 5 在一张 NVIDIA A100-SXM4-80GB(驱动 595.84)上顺序运行。平台拒绝锁时钟和功耗封顶,DVFS 只记录。附录 C 记录同 SKU 七张卡;带边复测在另外三张上。
- 负载与样本量:实验 1 对固定形状 dense matmul 做精度、驻留位置和操作数分布的全因子扫描,60 单元,图注 n=240。附录 C 记实验 1、2、3、5 的记录窗口为 340、85、70、135,含参考单元和被修剪重复。实验 2 为五种空闲变体、各五个窗口。
- 隐藏剂量:实验 3、4 用 10 秒窗口和固定 fp16 声明突发,只改变隐藏剂量。实验 3 为 int8 或 fp16、操作数为零,六档、每档五次,隐藏忙碌比例最高 0.48。实验 4 为 Pythia-6.9B 一层做成的两种 int8 量化 transformer 块,激活为真实文本;论文未报告文本条数。
- 计量:能量来自片上 NVML 总能量计数器。GA100 无公开精度规格,作者采用 Fermi/Kepler 文档中的 ±5%,只向外扩带宽。
- 指标:交换率 r(pJ/op)、开销带宽 ΔP0、放松上界 β(h) 及其对声明利用率的最大值 β*。标题数字的容量与 γ 用公开峰值:Section 3.2 写 fp16/bf16 为 312 Top/s、int8 为 624 Top/s,故 γ=2。
- 对照:没有外部算法基线。放松上界对照的是作者自己的匹配能量调度,以及能力阶梯上逐档收窄后的同一公式。没有 LLM 评审。
主结果
组装标题界时,声明边取实验 1 的 fp16 单元 [1.10, 2.19] pJ/op,开销宽度 41.2 W,隐藏边取实验 3 的单侧 95% 下置信限。
Swipe horizontally to read the table
条件 β* h* βen(1) fp16 声明、int8 隐藏,γ=2 1.16 0.42 2.39 fp16 声明、fp16 隐藏,γ=1 0.66 0.34 1.62 内核实测峰值 246.9 与 307.7 Top/s,γ=1.25 0.91 未报告 未报告 据 Section 4.2 与 Figure 7。第三行论文只给出 β*。
- 作者称能量在交点左侧约束隐藏量,容量在右侧约束;满声明利用率时容量项为零,故 β(1)=0,满利用率的能量宽度不是物理下限。
- 作者称公开峰值给隐藏流的空间大于本文内核实际能用的,这是对对手有利的方向,所以标题计价用公开峰值。
- 所报 β 来自实测带边,没有把未扫描的电压因子乘进去。实验 1 中调速器把时钟维持在 1335–1410 MHz。Table 1 未钉格式的跨格式包络不用于这个标题数字。
匹配能量证人
- 测了什么:同 SKU 另一张卡上,固定声明和 10 秒窗口。诚实轮在高代价操作数上跑声明 fp16;作弊轮在低代价操作数上跑同样次数,并加入 int8 填量以匹配能量。接受规则是作弊轮能量低于诚实均值加三次重复标准差(附录 B)。
- 结果:h=0.10、0.15、0.216 时,被接受的隐藏负载为声明格式容量的 0.19、0.29、0.41。h=0.10 的八次交错重复中,两臂为 1291.3±4.4 J 与 1279.3±5.6 J,|ΔE|/E=0.9%,并藏有 3.5×10^4 次 int8 迭代。h=0.216 最贵一次重复只比阈值低诚实均值的 0.86%。
- 作者解读:证人给出 βID(0.216)≥0.41,低于该点放松模型的 0.72。达到的交换率是声明贵臂 1.84、便宜臂 0.82、隐藏填量 0.54 pJ/op,未坐到带边(带顶 2.19,隐藏边际边 0.51)。作者称内核在 h≈0.24 以上放不进窗口,不把由此读到的 ≈0.77 当作界。讨论和结论把该证人写成 β*_ID≥0.41,上端 1.16 是放松上界,不是测得的 βID。
能力阶梯
- 逐档下降:Table 2 从精度已核验的档起算。重执行把声明带收成硬件间隙;作者取 ϵ≈0.05 pJ/op,得 β=0.34、βen(1)=0.35,并称这是对 ϵ 的敏感性分析。同 SKU 三张卡的带边一致到 2–3%;按 0.02–0.04 pJ/op,作者称 β 为 0.29–0.32;按 0.2 pJ/op,作者称 β≈0.54。没有现场时钟观测时,作者称重执行停在 β≈1。
- 负载类与开销:实验 4 两种块的回归斜率为 2.54 与 3.21 pJ/op,R²>0.999,单侧 95% 下置信限为 2.53 与 3.16。分母取 2.53 时 β=0.071、βen(1)=0.072。开销低边从冷卡 62.9 W 抬到有上下文时的 73.4 W 后,容差下 P0 为 [69.7, 101.0] W,ΔP0 从 41.2 W 到 31.3 W,β=0.059;同一限制在重执行档为 0.28,在标题档为 1.12。
- 分支:已知隐藏格式为 fp16 时,精度档 β=0.66、βen(1)=1.62,重执行档 β=0.23、βen(1)=0.24。Figure 8 把该分支画成空心点,作者称它不与下方档位衔接,也不与实验 4 叠加。时钟与局部性档没有数字。作者称底档里开销项约占 70%(0.040/0.059;重执行档 0.195/0.28)。
其他消融与分析
- 实验 1 条件宽度:wκ=13.5、wα=1.88、wC=1.04;乘积 26.5,池化跨度 24.8,作者称式 (25) 符合到 7%。fp16 子带 [1.10, 2.19] pJ/op,因子 2.00。
- Table 1 未钉格式时声明边为 19.5 与 0.786 pJ/op,通用隐藏地板 0.51 pJ/op,ΔP0=41.2 W;wV≈1.5 为假设,不是扫描结果。
- 开销观测 [62.9, 96.2] W,容差后 [59.8, 101.0] W;作者称 ±5% 占 7.9 W,其余 33.3 W 来自空闲状态差异。改用各变体中位数则 ΔP0=23.9 W。重核后的五窗从 96.2 W 降到 76.5 W,作者仍取峰值。
- 实验 3 点估计为 int8 0.53、fp16 0.77 pJ/op,R²>0.999;界使用 0.51 与 0.76。总商比边际成本高 0.26(int8)与 0.39(fp16)pJ/op,作者不用总商作隐藏边。
- 实验 5 在 fp16、n=96 上得到操作数散布 w0=1.83;附录 D 称安全界不依赖该附录中的数字。实验 1 的 fp16 streamed 单元为 1.94。附录 D 的操作数构造不在此复述。
- 实验 2 在计算受限形状上,功率对速率的 R²=0.99,斜率落在 [1.10, 2.19],作者称只作诊断。若直接报告 P0,作者称 ΔP0≈8.5 W,底档 β*=0.030。
What are some points that can be further explored?
作者把所引β限定在A100与片上计数器,并列出未测的硬件间隙。
作者指出的局限与后续方向
- 硬件范围:所引 β 的经验值来自一个厂商、一种 GPU、一种驱动和一个集群。作者称这些数值是 A100 特定的,Section 3 的框架和闭式是一般的(Section 6)。
- 隐藏地板:标题用的 0.51 pJ/op 测自合成操作数,角落是 int8 乘零;实验 4 只测两种 Pythia transformer 块配置。作者称底档依赖该测量下沿,不是有用计算的普遍下界(Section 6)。
- 重执行间隙:≈0.05 pJ/op 是假设。同 SKU 上带边一致到 2–3% 有测量;跨加速器、固件和冷却的间隙,作者称未被测量(Section 6)。
- 时钟:平台拒绝锁频,DVFS 没有被扫描。作者称 wV≈1.5 来自文献而不是本文测量;能滑动 DVFS 的被监测方可能得到更宽的声明带,并可能得到更低的隐藏地板(Section 6)。
- 电表与多设备:能量读自片上遥测,不是馈电上的改造电表。GA100 总能量计数器没有公开精度规格,±5% 借自 Fermi/Kepler;∼100 ms 的遥测节拍是经验刻画,不是厂商规格。作者称没有给出机房级多设备版公式,多设备界如何写精确是开放问题(Section 6)。
- 带角与后续:作者称没有展示任一调度能同时达到便宜声明、低开销和便宜隐藏;若不能,βID 窄于所引 β。结论把给时钟档定价、用馈电电表替换片上计数器、把界从单设备做到整座机房列为后续;其他通道也留待后续(Section 6、Conclusion、引言)。
实验覆盖范围
- 实验 1–3 与 5 在一张 NVIDIA A100-SXM4-80GB 上顺序完成;附录 C 记录同 SKU 七张卡,另三张卡上带边一致到 2–3%。
- 被分析的通道是时间积分后的功耗。Section 5 对时钟与局部性档有意不给出 β*。
- 精度轴为 fp32、tf32、fp16、bf16、int8。实验 1 是 5×2×6 共 60 个单元,图注窗口数 n=240。
- 隐藏边际成本来自实验 3 的剂量–响应,六档、每档五次;有用负载是实验 4 的两种 int8 块,激活为真实文本。成功与否不用 LLM 评审,而用能量回归和单侧 95% 下置信限。
- 论文未报告馈电电表读数、锁时钟条件下的 wV、跨代际硬件间隙的数值,以及实验 4 的文本样本量。
Summarize the main content of the paper
作者称功耗单独只能弱约束隐藏算力;附加限制下放松上界可到0.059。
这篇工作定量估计片外功耗能为算力核验排除多少未声明运算。
- 问题:协议需要外部确认实际计算量。被监测方可控制交换率、格式、时钟和空闲,电表看到的总能量对应的不是唯一负载。验证方信任电表,并假设声明计算已经跑过,但看不见 r、F 和 P0。
- 方法:功耗写成运算率乘交换率加开销。隐藏运算同时受能量富余和剩余机时约束,β 取两条放松宽度的较小值,再对声明利用率取最大。带边用 A100 上的矩阵乘、空闲窗口和固定窗口剂量响应分开测量。额外限制沿能力阶梯逐档收窄同一公式。
- 标题界:确认声明格式为 fp16、隐藏为 int8、容量用公开峰值时,β=1.16(h=0.42),满利用率能量宽度 βen(1)=2.39。隐藏也限定为 fp16 时,β*=0.66。这些是放松上界,不是测得的物理歧义。实验时时钟被调速器维持在窄窗口内,未把文献中的电压因子乘进所报数字。
- 证人:匹配能量调度在 h=0.216 给出 βID≥0.41,同点放松模型为 0.72。作者在结论里写成 0.41≤β*_ID≤1.16;上端是模型上界。
- 阶梯:作者取重执行间隙 ϵ≈0.05 pJ/op 时 β=0.34;再把隐藏限于实验 4 的两种块,β=0.071;开销改按驻留卡,β*=0.059。已知隐藏为 fp16 的分支在精度档为 0.66、重执行档为 0.23,不与块限制叠加。
- 作者结论:作者称功耗单独只能弱约束。0.059 是所列限制同时成立时的案例,不是任意有用计算的普遍下界。作者认为应把功耗与其他通道一起读,时钟是其中最清楚的一项。