从字节到行为:来自运行中 GPU 隐藏状态的请求级归因
From Bytes to Behavior: Request-Level Attribution from Live GPU Hidden States
作者提出用非修改调试器从运行中的 GPU 进程读取残差流,在 33 个开源模型上字节级还原,并用线性探针区分拒答与遵从(AUROC 0.88)。
- 现有 ML 内存取证多针对静态权重或日志,无法分析运行中 LLM 单次请求的瞬时隐状态;作者试图在不修改、不重启目标服务的前提下,从活动 GPU 进程获取残差流证据。
- 提出六阶段流水线(attach, clock, identify, read, validate, use),用 CUDA 调试器在 PyTorch 分配器或 kernel 启动处设断点记录内存事件,通过盲选择器识别残差流分配并读取字节,最后用线性探针分析。
- 在 33 个开源模型上实现字节级还原;在 Qwen2.5-0.5B 上用拒答探针区分拒答与遵从,142 条 held-out 提示词上 AUROC 0.88,错误率 5–15%;但调试器导致 46–192 倍减速。
- 作者指出方法限于本地 ptrace 访问、PyTorch 分配器、decoder-only 模型(≤3.4B 参数及一个 7B 4-bit 模型)、batch size 1;TensorRT-LLM 等未测试;动态 batching 会破坏固定周期;观测行为本身会改变系统状态。
- 威胁模型
- 分析者拥有本地 ptrace 权限和 CUDA 调试器,可对运行中、不可重启或修改的 LLM 服务进程进行观测;不知道模型架构、权重、提示词或生成内容;目标为 PyTorch 进程,decoder-only 模型,batch size 1。
- 被测模型
- Qwen2.5-0.5B-InstructTinyLlamaLlama-3.2-1BGPT-2Pythia
- 基准
- HarmBenchXSTestJailbreakBenchAdvBenchAlpacaP39
- 指标
- AUROCbyte-exact recoveryerror ratefalse positive ratefalse negative ratebalanced accuracyECE
针对现有机器学习内存取证只分析模型权重、提示日志等静态产物、难以检查不能重启或修改的运行中 LLM 服务的局限,论文提出用非修改式调试器从活跃 GPU 进程按层提取残差流激活的方法,无需预知模型架构参数或权重。方法采用六阶段通用流程加平台适配器,借助 PyTorch 分配器时钟或内核启动时钟定位并读取显存中的张量分配,在 9 个架构类别的 33 个开源 decoder-only 模型上验证恢复的字节逐字节精确、可用于下游分析。作为用例,将在标准框架激活上训练的线性 probe 应用于恢复的状态,在留出提示上以 0.88 的 AUROC 区分拒答与服从。作者称这项工作确立了对中间隐藏状态的实时观测式访问在具名推理平台上可行,为检查已部署 AI 系统的运行行为提供了新的证据来源。
深度解读
这篇论文试图解决什么问题?
解决无法从运行中的 LLM 服务获取单次请求瞬时隐状态进行取证分析的问题。
核心问题: 现有 ML 内存取证主要针对静态权重或日志,无法获取运行中 LLM 服务单次请求的瞬时计算状态(残差流),限制了对部署模型行为的检查能力。
- 场景与重要性: LLM 部署转向不透明的高吞吐服务,内部推理机制对操作者不可见;残差流包含单次请求的特有证据,但处理后立即被重用,标准日志无持久记录。
- 现有方法不足: 传统内存取证依赖静态结构或已知偏移;GPU 数据残留研究针对陈旧数据或跨进程泄漏;LLM 服务泄漏研究关注提示词提取和时序侧信道,均未触及实时隐状态。
- 核心观察: 残差流在 GPU 内存中以特定分配模式存在,可通过观察内存分配事件(而非修改代码)来识别和读取。
- 论文提出: 一个六阶段非修改调试器流水线,使用 PyTorch 分配器时钟或 kernel-launch 时钟识别张量分配,从显存读取残差流字节,并用线性探针进行下游分析(如拒答检测)。
- 威胁模型:
- 攻击者目标: 获取运行中模型的 per-layer 残差流,用于行为归因(如判断拒答)。
- 知识: 无模型架构参数、权重、提示词或生成内容;仅拥有本地 ptrace 权限和 CUDA 调试器。
- 能力: 附加调试器到未修改的 PyTorch 进程,记录内存分配事件,读取显存。
- 受害系统: 运行中的 decoder-only LLM 服务(PyTorch 后端,batch size 1)。
有哪些相关研究?
相关研究涵盖静态内存取证、GPU 数据残留、LLM 服务泄漏和线性探针可解释性。
静态内存取证与模型恢复
- DeepFreeze 和 AI Psychiatry:从边缘设备或 CPU/GPU 内存镜像恢复模型参数,依赖恢复的框架对象指导过程,针对静态参数而非实时隐状态。
- Cold boot attacks:证明无协作获取的内存是合法的秘密来源,确立从易失性内存恢复密钥的可行性。
GPU 数据残留与泄漏
- 早期 CUDA 内存取证研究:表明数据在 CUDA 全局、共享和纹理内存中持久存在。
- LeftoverLocals:从 GPU 本地内存恢复其他进程留下的 LLM 响应,关注跨进程边界而非单次请求的实时状态。
- NVIDIA GPU 内核驱动取证:从 RAM 镜像恢复驱动结构。
LLM 服务泄漏
- KV-cache 共享时序泄漏:多租户环境中通过时序变化泄漏提示词,属于侧信道而非内部状态分析。
线性探针与拒答方向
- 线性探针:用于读取层表示的 established 技术。
- 拒答方向研究:表明对齐聊天模型的拒答由残差流单一方向介导,per-layer 探针可在最终层前解码拒答;本文复现此性质作为用例,而非新的可解释性发现。
基线与对比
- 论文使用 dataset-tag 规则和 prompt-text 分类器作为基线,在 HarmBench 和 XSTest 数据集上对比拒答判定性能。
定位区别: 作者称本文是首个针对 live inference 过程 hidden states 的取证方法,区别于针对静态 artifacts 或侧信道的工作;探针结果仅作为 recovered states 的用例,而非新的可解释性 claim。
论文如何解决这个问题?
通过六阶段流水线(attach, clock, identify, read, validate, use)用非修改调试器从内存分配事件中识别并读取残差流。
整体思路: 提出一个与平台无关的六阶段流水线,仅时钟机制和识别规则随平台适配;利用 PyTorch 分配器或 kernel-launch 作为时钟源,通过盲选择器从内存日志中识别残差流分配,在分配后读取字节,并用线性探针分析。
问题设定与形式化
- 目标: 从运行中的未知架构 LLM 进程获取 per-layer 残差流,不修改目标进程,不依赖先验架构知识。
- 形式化: 分配 a 链接到 b 当且仅当 size(a) = size(b) 且 nalloc(b) = nalloc(a) + ℓ(a) − 1,其中 ℓ(a) 是分配 a 的生命周期(出生到释放间的分配数)。
六阶段流水线
- Attach: 使用 CUDA 调试器(cuda-gdb)附加到未修改的 PyTorch 进程。
- Clock: 产生事件流指示每层执行时刻;主时钟利用 PyTorch caching allocator 在 malloc/free 处设非停止断点,记录大小和设备指针;备选时钟在每次 kernel launch 处中断。
- Identify: 盲选择器分两步:主规则识别 hand-off 链(层输出在下一层输出分配后立即释放),要求至少 8 个成员;若无则回退到 regular constant-stride 链(至少 8 成员,90% 连续间隔等于 stride)。
- Read: 在分配后一个 allocation 处读取字节(因此时分配先于填充它的 kernel);对最后 token 读取 hidden-size × element-size 字节的最后一行。
- Validate: 离线对照校准模型和 hook-based 参考验证,收集时不运行验证逻辑。
- Use: 将恢复的状态传递给下游分析(如深度预测和拒答预测探针)。
关键设计选择
- 非修改观测: 选择 ptrace 和 CUDA 调试器而非 Python patching 或 LD_PRELOAD,以保持证据中立性,尽管导致 46–192 倍减速。
- 盲选择: 不输入层数或架构,仅依赖内存分配的时间序和大小模式识别残差流。
- 读取时机: 通过测量确定必须在分配后读取,分配点读取会得到 stale 数据。
探针训练与应用
- 深度探针: 预测状态来自哪一层,用 16-token 句子训练。
- 拒答探针: 在 chat-templated 提示词的最后一个 prompt token 处读取残差状态,标签为模型是否以拒答短语开头(标准列表);使用 logistic/softmax 损失和权重衰减训练,应用于标准化特征。
论文做了哪些实验?
在 33 个模型上验证字节级还原,在 Qwen2.5-0.5B 上验证拒答探针 AUROC 0.88,并测量了 46–192 倍减速。
实验设置
- 硬件与软件: 单张 NVIDIA RTX 2080 Max-Q(8GB, sm_75),驱动 580.178.04,CUDA 13.0,PyTorch 2.13.0,cuda-gdb 13.0,vLLM 0.32.0,SGLang 0.5.23。
- 被测模型: 33 个开源 decoder-only 模型(涵盖 9 个架构类),另加 5 个冻结规则模型;具体包括 Qwen2.5-0.5B-Instruct、TinyLlama、Llama-3.2-1B、GPT-2、Pythia 等。
- 数据集: 开发用 P39 数据集 228 条恢复行;实验 A 用 HarmBench 和 XSTest 的 142 条提示词(从未用于规则、探针或阈值推导);归因研究用 JailbreakBench 和 AdvBench 衍生的 228 条提示词(41–43 tokens)。
- 基线: Dataset-tag 规则(balanced accuracy 0.731)和 prompt-text 分类器(AUROC 0.559)。
- 指标: 字节级匹配(byte-exact)、AUROC、错误率、假阳性率(FPR)、假阴性率(FNR)、balanced accuracy、ECE。
- 评审方式: 预注册测试(脚本哈希前置),hook-based 参考作为 ground truth,离线 bootstrap 计算 95% 置信区间。
主结果
表格较宽,可左右滑动
平台/配置 时钟 识别规则 结果(据 Table I) HF, static KV cache Allocator Two-step selector Byte-exact, 33 models; decode 6/7 vLLM, eager Allocator or kernel Selector; or stream class Byte-exact; stream 24/24, 22/22 vLLM, default (compile+graphs) Kernel launch Kernel-name dataflow rule Prefill 31/31, 23/23, 27/27 on 3 fresh models; decode 6/6 runs llama.cpp, CUDA backend Kernel launch Additive identity (prefill); norm-launch rule (decode) Prefill byte-exact; decode 10/10 runs; quantised Q8_0/Q4_K_M 12/12 runs SGLang Kernel launch Kernel-name rule (FusedAddRMSNorm) Prefill 6/6 runs; decode 4/6 (fails on Llama-3.2-1B) - 作者称两步选择器在 33 个模型上成功识别正确内存链,字节级匹配参考状态,跨三次 pass 一致。
- 在 vLLM eager 模式下,所有 6 个模型每层字节级匹配;默认配置下 allocator 时钟失败,kernel-launch 时钟仍可见。
拒答探针性能(Experiment A)
- 设置: Qwen2.5-0.5B-Instruct,vLLM 默认配置,142 条 untouched 提示词(HarmBench + XSTest),冻结探针(layer 21,threshold logit 0)。
- 结果: AUROC 0.876 [0.808, 0.929],balanced accuracy 0.777,accuracy 0.803( majority baseline 0.725),FPR 0.282,FNR 0.165,ECE 0.160(Table III)。
- 分来源: XSTest unsafe accuracy 0.945,HarmBench 0.778(18 prompts),XSTest safe 0.696。
- 对比: 优于 dataset-tag 规则(balanced accuracy 0.731)和 prompt-text 分类器(AUROC 0.559)。
归因错误率(Attribution Error Rates)
- 设置: 228 条 vLLM-eager 恢复行,positive class 为 refused,阈值固定于训练源。
- 结果: JailbreakBench(71 条)错误率 15.5% [7.0, 25.4],FPR 13.3%,FNR 19.2%,优于 dataset tag 的 26.8%;另一来源(157 条)错误率 4.5% [1.3, 7.6],FPR 6.2%,FNR 3.3%,优于 tag 的 8.3%(Table II)。
开销与长度鲁棒性
- 延迟: Qwen2.5-0.5B 在 vLLM batch 1 下,median prefill 延迟 eager 模式 17.5–17.8 ms,默认模式 9.6–10.7 ms;附加收集器后 157–163 秒/提示词(约 15,000 倍 unattached default)。
- 长度鲁棒性: 在 34, 48, 100, 160, 230 token 长度下,未改变规则成立,30/30 提示词的 layer end 匹配在 2% 以内。
其他消融与分析
- 负结果: 差分 diffing 两次 VRAM dump 失败(单合并区域包含所有 13 输出);post-pass 镜像仅 1/13 输出完整;分配点读取对所有层失败。
- 派生属性: 从运行进程可推导 token count、hidden size、layer count(Table IV),vLLM default 下 6/6 prefill 和 decode 精确,SGLang decode 在 Llama-3.2-1B 上 token count 错误(4/6)。
- 替代方法失败: 名称无关内容规则在 dev gate 失败(2/9 logs,仅 eager)。
有什么可以进一步探索的点?
作者指出方法受平台依赖、模型规模、batch size 和侵入性限制,建议未来扩展平台支持和降低开销。
作者指出的局限与后续方向
- 平台依赖: 方法依赖 PyTorch caching allocator 和 build-specific offsets,非平台无关;TensorRT-LLM、TGI 和其他 GPU 未测试(Section VII-A)。
- 模型规模与配置: 当前支持至 3.4B 参数(单个 7B 4-bit 模型测试);4-bit 7B MoE 模型因 8GB 内存限制未测试;仅限 batch size 1、固定 prompt 长度、fp32/bf16(vLLM 上 fp16)(Section VII-A)。
- 动态 batching: 动态或连续 batching 及可变长度输入会破坏固定 pass 周期,当前未测试(Section VII-A)。
- 侵入性: 调试器在每次分配时 halt 进程,导致 46–192 倍减速;GPU 调试器附加非取证中立,可能污染证据(Section VII-B)。
- 证据强度: 行为级推断(Level 3)为初步,依赖已知错误率的拒答状态,仅测试单模型和两个小 held-out 来源(Section VII-C)。
- 选择器鲁棒性: 固定选择器需两次修订,存在过拟合测试模型的风险;无平台无关识别规则(Section VII-E)。
实验覆盖范围
- 被测模型为 33 个开源 decoder-only 模型(9 个架构类)加 5 个冻结规则模型,参数规模至 3.4B(一个 7B 4-bit 除外)。
- 平台覆盖 Hugging Face(static KV cache)、vLLM(eager 和 default)、llama.cpp(CUDA backend,含 Q8_0/Q4_K_M 量化)、SGLang(Triton attention);TensorRT-LLM 和 TGI 未测试。
- 拒答探针评测在 Qwen2.5-0.5B-Instruct 上进行,使用 HarmBench 和 XSTest 的 142 条提示词(预注册),以及 JailbreakBench/AdvBench/Alpaca 的 228 条提示词(探索性)。
- 论文未报告跨 GPU 架构(除 sm_75 外)的测试,未报告 batch size >1 的实验,未报告动态 batching 下的性能。
总结一下论文的主要内容
提出用非修改调试器从 live GPU 进程获取残差流的方法,在 33 个模型上验证字节级还原,并用线性探针实现请求级拒答归因。
本文针对 LLM 服务取证中无法获取单次请求瞬时隐状态的问题,提出一个六阶段非修改调试流水线。方法利用 PyTorch 分配器或 kernel-launch 作为时钟,通过盲选择器从内存分配日志中识别残差流,在不修改目标进程的前提下从显存读取字节。
实验在 33 个开源 decoder-only 模型(涵盖 9 个架构类)上实现字节级还原,覆盖 Hugging Face、vLLM、llama.cpp 和 SGLang 平台。在 Qwen2.5-0.5B-Instruct 上,使用拒答探针在 142 条 held-out 提示词上达到 AUROC 0.88,错误率 5–15%,优于 dataset-tag 基线。
作者称该方法为请求级归因提供了新证据源,但强调其侵入性(46–192 倍减速)和平台依赖性,目前限于小模型(≤3.4B)和 batch size 1 场景。