TranScope：利用 CPU 性能计数器对 Transformer 做成员推断攻击

核心问题是在缺乏输出置信度且推理时间恒定的黑盒 Transformer 模型上，如何有效检测输入数据是否属于模型的训练集。

• 场景与重要性：模型版权争议与隐私合规案件频发，模型常被编译为本地运行的二进制文件或仅暴露标签，无法访问内部权重与置信度。
• 现有方法的不足：软件级成员推断攻击依赖置信度分数或需要昂贵的替代模型与数千次查询；基于硬件的攻击（如 GateBleed）依赖分支预测差异，而现代主流 Transformer 采用静态前向计算，输入依赖的分支并不存在。
• 核心观察：分词器在训练数据中高频词上赋予数值相近的 ID，而在生疏词上赋予离散的高 ID；这种分词跨度几何差异映射到嵌入表访问时，直接导致底层 TLB 命中率与页表遍历（Page-table walk）发生硬件级分流。
• 论文的解决方案：提出了 TRANSCOPE 框架，利用单次推理中 CPU 暴露的数百个硬件性能计数器和功率侧信道，在端到端耗时恒定的情况下完成分布外与成员检测。
• 威胁模型：
  • 攻击者目标：检测输入数据是否属于训练集分布，为版权合规或法律诉讼（如 Daubert 标准证据）提供可复现的硬件证据。
  • 攻击者知识：仅具备黑盒访问能力，不依赖模型权重或内部特征，允许模型为闭源二进制格式。
  • 攻击者能力：作为特权审计员或普通用户，在自身完全控制的物理机器（OS、硬件、输入及推理运行时）上执行单次推理并读取硬件性能计数器与能耗，无需与受害者交互或共驻。
  • 受害系统：运行在通用 CPU 上的主流静态无分支 Transformer 模型（如 BERT、GPT、ViT、LLaMA/Pythia）。

软件级成员推断攻击

• Shokri 等人（2017）——提出利用影子模型从分类器输出置信度中推断成员资格；Carlini 等人（2022，LiRA）通过似然比检验提升了攻击效果。
• Choquette-Choo 等人（2021）与 Peng 等人（2024，OSLO）——针对标签级 API 展开基于鲁棒性扰动的攻击，但需要数千次昂贵查询或训练替代模型；He 等人（2025，PETAL）将标签级攻击扩展至语言模型，但依赖同等体量的替代模型。
• Tong 等人（2025）——发现公开分词器词表中包含领域专属词元从而泄漏成员信息；作者指出 Tong 等人依赖特定词的存在，而 TRANSCOPE 依赖词元跨度诱导的硬件访问步长，因而词表过滤防御无法抵御 TRANSCOPE。

硬件辅助侧信道与隐私攻击

• Kalyanapu 等人（2025，GateBleed）——利用 Intel AMX 功率门控时序针对自适应神经网络（如 BranchyNet、Mixture-of-Experts）进行成员推断；作者指出 GateBleed 依赖输入相关的动态分支与未修复的 AMX 硬件，无法应用于静态前向传播的现代 Transformer。
• Srivastava 等人（2026，GhostTrace）——利用 GPU 性能计数器对 CNN 和 ViT 进行成员推断；作者指出由于 GPU 暴露的计数器数量少于 CPU，其推断准确率较低。
• Yan 等人（2020，Cache Telepathy）与 Akinsanya 等人（2024）——分别利用缓存侧信道恢复模型架构超参数，或利用时序通道攻击具有可观测时延差异的自适应网络。

基线与基准设置

• 基线方法：置信度截断与离散化防御（Top-k、置信度舍入、仅标签输出）、恒定时间填充（Constant-time padding），以及 PETAL 报告的 AUC 表现。
• 评测基准：IMDb 情感分析数据集、NIH Exporter 资助记录、Enron Emails 邮件数据，以及真实纽约时报（NYT）版权文章。

定位与区别

• 作者指出，传统软件攻击均需要置信度、多轮查询或替代模型，而既有硬件攻击均依赖时序波动或动态分支；TRANSCOPE 首次在模型执行路径与时序完全恒定的静态网络中，仅凭单次查询的 CPU 微架构计数器即可提取训练集成员信号。

TRANSCOPE 核心思路是通过分析输入文本分词后在词表中引起的地址跨度差异，读取 CPU 内存层级中隐藏的页表与缓存遥测信号。

根因机制与内存几何学

• 词元间距映射：输入序列的分词结果将词映射为整数 ID，每个 ID 对应嵌入表的一行，内存基地址公式为 addr(r_t) = BASE + r_t · d_model · sizeof(float)，其中 d_model 为隐藏层维度。
• 局部性分流：训练集中高频共现的词在分词器中被分配相近的数值 ID，在 BERT-base 中产生约 0.83 MB 的小跨度内存跳转（落入少于 70 个独立页面），由 TLB 快速命中；非成员输入的生疏词 ID 分散，跨度可达 28.9 MB，引起 TLB 未命中与多次页表遍历（Page-table walk）。
• 时序掩蔽效应：虽然页表遍历每次引入约 200 周期的开销，但在单次推理数千万总周期的静态执行中，累计时延差异不足 1.2%，无法被端到端时序捕获，但完整保留在性能计数器中。

框架设计原则

• 非侵入式测量（P1）：将被测模型视为不可修改的静态制品，不注入代码。
• 多见证人陪审团（P2）：采集 7 个硬件子系统的 263 个核心性能监控事件，不依赖单一侧信道。
• 严格受控执行（P3）：通过隔离 CPU 核心、禁用超线程（SMT）并固化预取器，排除环境随机噪声。
• 方法与法律结论分离（P4）：输出符合证据规则的微架构指纹置信度评分，而非单一二值判决。

五阶段执行流程

1. 制品条件化：构建与待测样本长度一致的熟悉参考集与新颖参考集。
2. 受控执行环境装配：在 Linux 系统中利用 taskset 绑定单核，启用 isolcpus，设定固定睿频（800 MHz–4.1 GHz）。
3. 目标模型推理：对待测输入及参考样本执行标准前向计算。
4. 多见证人数据收集：利用 PAPI 采集 263+ 硬件事件指标，并通过 Intel RAPL 读取每推理套接字功耗。
5. 分析与证据报告生成：计算各计数器相对于参考分布的 z 分数效应量，聚合生成多见证人指纹（MCF）评分并提供 95% 自助法置信区间。

实验设置

• 被测模型：BERT 系列（4.4M、11.3M、29.1M、41.7M、110.1M、340M）、GPT-2 系列（124M、355M、774M、1.5B）、Pythia 系列（70M、160M、410M、1B、1.4B、2.8B）、Vision Transformer（ViT，22M、86M、307M）及未修改的 GPT。
• 数据集与规模：IMDb（1,000 条训练样本 vs 1,000 条均匀随机词元序列，长度 512）；NIH Exporter（1,000 条）与 Enron Emails（1,000 条）互相作为分布内外样本；纽约时报（NYT）真实文章（2018–2019 年前截断样本 vs 2020–2024 年后截断样本，长度 512）；CIFAR 与 ImageNet（图像分辨率 224×224×3）。
• 硬件与后端环境：单核隔离的 Intel Sapphire Rapids 与 Haswell 架构 CPU，标准 PyTorch 及 Intel IPEX（启用 AMX/AVX-512-VNNI 加速）。
• 指标定义：AUC、分类准确率（Acc.）、假阳性率（FPR）、假阴性率（FNR）、Cohen's d 效应量。
• 评审与分类方式：利用 2,000 个特征样本（100 个 ID 和 100 个 OOD，各 10 次重复，每样本提取 1,596 个特征）训练四层 MLP 分类器（神经元数 512-128-32-1，80/20 划分，10 轮次）。

主结果

据 Table III，TRANSCOPE 在各生产级 Transformer 上的成员推断与分布外检测结果如下：

表格较宽，可左右滑动

• 作者指出，在绝大多数配置下，仅凭硬件性能计数器即可实现超过 90% 的辨别准确率，且随着模型规模扩大，攻击信号普遍增强。
• 表中省略了部分中等规模点：BERT（29M 为 100%、41M 为 100%）、GPT-2（774M 为 93%）、Pythia（160M 为 99%、410M 为 98%、1.4B 为 97%）、BERT IPEX（11M 为 83%、29M 为 88%）、BERT Enron/NIH（11M 为 77%、29M 为 80%、110M 为 97%）、BERT NIH/Enron（11M 为 73%、29M 为 80%、110M 为 80%），其完整数值均载于 Table III。

真实版权数据验证（NYT 案例）

• 测试内容：以未经修改的 GPT 在 Sapphire Rapids 上推理 2019 年（截断前可能训练数据）与 2020–2023 年（截断后确定非成员）真实纽约时报文章。
• 实验结果：2019 年文章相比后续年份非核心请求读取减少 56%（Figure 12(a) 标注下降达约 90%），DTLB 加载未命中遍历周期减少 12%（Figure 12(b)），而端到端时序差异在 1.2% 以内。
• 作者解读：作者认为这证实了硬件计数器在真实版权文章上展现出明确的时间截断分界线，可作为法庭可采信的版权取证证据。

功率侧信道与突现计数器

• 测试内容：利用 Intel RAPL 监测单次推理功耗，并在 Haswell 与 Sapphire Rapids 上分析各计数器效应量。
• 实验结果：非成员样本功耗超出成员样本 2.6%–4.5%，并随模型规模单调增长（Figure 3）；在 ViT-base（86M）上，浮点微码协助（ASSISTS.FP）效应量达 d = 2.52（Figure 10），在 BERT-tiny 上页表遍历计数器效应量达 d = 0.75–0.82（Figure 8）。
• 作者解读：作者认为这证实了功率与微码协助构成了完全正交于执行时间的新泄露通道。

其他消融与分析

• BERT-base 周期中位数差异仅 0.015%（7.6×10^4 周期），但页表遍历中位数相差 14 次（Figure 7）。
• ViT-base 流水线清除效应量 d 约为 0.84，流水线恢复周期效应量 d 约为 0.73（Section V）。
• 4.4M 参数微型模型功耗差异为 -0.65%，作者指出这是低于 RAPL 量化步长的人工制品（Figure 3）。
• GPT-2 在 1.5B 参数规模时准确率出现回落，从 774M 的 93% 降至 82%，FPR 升至 0.16，FNR 升至 0.21（Table III 与 Figure 11）。
• BERT-large（340M）在全零词元比例变化实验中页表遍历次数保持平坦，作者推测模型主体计算淹没了嵌入表访问贡献（Figure 5）。

作者指出的局限与后续方向

• 分支预测器自适应重构：面向未来 LLM 推理的 CPU 设计可引入“ML-phase”提示信息，针对分布外输入自适应调整分支预测器的置信度阈值（Section V）。
• 内存结构与预取优化：针对 Transformer 嵌入表访存诱导的 300+ 次页表遍历，未来硬件可采用感知嵌入的 TLB 分区、大页支持的嵌入表以及推测性页表预取设计（Section V）。
• 形式化信道容量计算：作者指出其公开的 290+ 事件跟踪数据集可供社区在三种模型家族和两种微架构上，计算各个泄露硬件事件的形式化信道容量理论上界（Section VI）。
• 防御机制探索：作者提出在微调阶段限制分词器更新、对嵌入表词元 ID 按频率重排以平滑访问跨度，并探讨平衡能耗与端口利用率的“恒定足迹执行”防御（Section IV-Contributions）。

实验覆盖范围

• 硬件平台覆盖：测试集中于单核隔离运行的 Intel Sapphire Rapids 和 Haswell 微架构，未测试 AMD 处理器、GPU 集群、智能手机边缘芯片或专有 AI 加速硬件。
• 模型类型与规模覆盖：覆盖了 BERT（4.4M–340M）、GPT-2（124M–1.5B）、Pythia（70M–2.8B）以及 ViT（22M–307M），最大模型参数量覆盖至 2.8B。
• 输入序列形态覆盖：文本测试样本均截断或填充为统一的 512 词元长度，图像样本固定为 224×224×3 尺寸，未测试变长动态输入。
• 未报告的信息：论文未报告各模型在真实生产部署中的端到端吞吐量变化，未报告操作系统并发多线程或多租户共享 CPU 缓存时的噪声干扰程度。

• 核心定位：TRANSCOPE 是一种无需模型内部权重、不依赖置信度分数和执行时序差异的硬件辅助微架构成员推断与分布外检测技术。
• 要解决的问题：现代大语言模型和视觉 Transformer 普遍采用静态无分支前向传播，且行业正转向本地闭源二进制部署并屏蔽输出置信度，导致传统软件 MIA 和既有硬件侧信道攻击失效。
• 方法核心机制：论文发现模型训练导致高频词元聚集而生疏词元分散，这种几何跨度直接影响嵌入表的内存页面局部性，进而在底层触发可观测的 TLB 未命中、页表遍历和能耗差异。
• 关键实验结果：在 Intel CPU 上，TRANSCOPE 在 BERT-base 上达到 99% 准确率和 0.99 AUC（Table III）；在真实纽约时报文章测试中，训练集截断前文章相比后续文章减少 56% 非核心读取（Figure 12）；单次推理能耗呈现 2.6%–4.5% 的非成员额外开销（Figure 3）。
• 结论与启示：作者指出，模型训练足迹已深刻烙印在处理器的微架构执行状态中，单纯依赖软件层面的置信度离散化和恒定时间填充已不足以保障隐私，硬件设计必须重新审视 AI 工作负载下的内存层级与侧信道泄露。