省下的时间去了哪里:在 LLM 服务中隐藏跨租户缓存命中的局限
Where the Savings Go: The Limits of Hiding Cross-Tenant Cache Hits in LLM Serving
作者提出跨租户 KV 缓存命中会把节省复制给后续请求,单次探测在 vLLM 半负载下以至少 0.98 的优势读出成员关系,并证明零泄漏时只有提供方保留节省。
攻击者持有少数普通账户、在提供方速率限制内,知道候选文本和引擎配置,不控制也不了解其他租户流量,只观察自己请求的输出事件、状态码和账单;受害账户使用秘密文本,攻击者问成员关系问题:该文本是否在缓存中。
- LLM 服务引擎跨租户共享前缀缓存时,命中会泄露他人是否发送过某文本;按账户加盐虽关闭该信道但放弃跨租户复用,且隔离只到账户粒度。作者问:共享全局缓存但隐藏命中的防御能走多远。
- 作者指出隐藏命中要求之后一切可观察量都与未命中世界同分布,并追踪节省的去向:步进调度器把命中省下的时间完整复制给排在后面的每个请求。攻击者用一组只返回一个 token 的 listener 请求夹住探测,数它们各在第几步完成来读出 shift;论文还按 scope、release、reaction 三个维度分类评估已发表防御,并给出泄漏上界与零泄漏构造。
- 在 vLLM 单实例上回放 Azure 生产轨迹至半负载,单次探测对 256 token 以上文本的优势至少 0.98;只隐藏命中请求的防御在 vLLM 和 SGLang 上被一次探测读出(优势 0.96–0.99);随机延迟需约 10 倍 shift 以上才把优势降到 0.1;作者证明速率受限租户从 k 个其他账户内容获得的收益至多为 kε 量级,零泄漏时只有提供方保留节省。
- 作者指出:未测量任何已部署服务;最短可读秘密随每步 token 预算变长;高负载下失败源于受害者块被驱逐;只攻击成员关系,不覆盖逐 token 重建;定理不覆盖混合专家模型;零泄漏构造假设单实例与 batch-invariant kernels,未对多实例证明。实验为 1–4 实例、三种 GPU、至多 70B 模型。
- 被测模型
- Llama-3.1-8B-InstructQwen3-8BDeepSeek-V2-LiteLlama-3.1-70B
- 基准
- Azure LLM inference trace 2023 (conversation part)BurstGPT traceSQuAD (48 Wikipedia articles, 429 chunks, via LlamaIndex 0.14.25)
- 指标
- one-shot advantagefalse-positive rateend-to-end accuracy
Bowen Sun 与 Chaowei Xiao 提出针对 LLM 服务跨租户 KV cache 的计时侧信道攻击:步进式工作保守调度器会把缓存命中省下的时间完整转移给排在其后的每个请求,攻击者用两组自己的监听请求夹住探测请求并数监听请求完成的步数,即可判断某段文本是否被其他租户缓存过。在单个 vLLM 实例上重放 Azure 生产轨迹、负载至多一半容量时,单个探测即能以至少 0.98 的优势判断 256 token 及以上文本是否被缓存;攻击在 SGLang、Llama-3.1-70B、DeepSeek-V2-Lite 及生产路由多实例部署下同样能读出缓存状态。只隐藏命中请求的防御在 vLLM 和 SGLang 上被一次探测击穿(优势 0.96 到 0.99),随机延迟需达到偏移量的约 9 到 16 倍(每条响应平均 0.15 到 4.9 秒)才能把优势压到 0.1。
推荐理由论文指出缓存命中省下的时间会完整转移给后续请求,只隐藏命中请求本身的防御挡不住这类侧信道推断。
深度解读
这篇论文试图解决什么问题?
跨租户共享 KV 缓存时隐藏命中能否既保复用又防成员关系推断,作者给出否定答案。
核心问题:LLM 服务引擎跨租户共享前缀缓存会泄露"某文本是否被他人发送过",在保留跨租户复用的前提下隐藏命中,最远能做到什么程度。
- 场景与重要性:缓存命中跳过 prefill 计算使响应更快,共享缓存因此暴露其他租户是否发送过给定文本,已有攻击借此检测共享或恢复提示词。商业 API 因此把缓存限定在组织/账户粒度,vLLM 提供按请求加盐,但这放弃跨租户复用,且隔离止于账户边界。
- 账户边界之下的隔离缺口:中继、转售商和应用在一个账户下服务多个终端用户,作者称他们与他人都观察到生产环境中继合并客户身份;账户内的团队、用户、会话也可能需要相互隔离,而更细粒度的隔离放弃更多复用。
- 现有防御的不足:作者称他们找到的防御都把泄漏评估为命中请求与未命中请求之间的差距,没有分析命中节省的资源流向哪里(附录 A 引用了各防御的威胁模型)。
- 核心观察:隐藏命中要求之后租户可观察的一切都按未命中世界分布;步进调度器只要有等待的工作就不空闲(work-conserving),会把命中省下的时间完整复制给排在后面的每个请求,使其各提前一个相同的量(shift)。
- 论文提出:一个数步(step-counting)攻击、按三个维度分类的防御评估、"可见收益即信号"的泄漏上界证明、一个零泄漏构造及其成本,以及双世界重放的审计方法。
- 威胁模型:
- 目标:成员关系推断——判断给定候选文本是否在缓存中;作者指出若机制只通过缓存查找读取内容,成员关系安全界定了所有等长候选上的推断。
- 知识:攻击者知道候选文本和引擎配置(可用自己的请求测量),不控制也不知道其他租户的流量。
- 能力:少数普通账户,合计在提供方速率限制内;只观察自己请求的输出事件时间、内容、usage 字段、状态码、头部和账单。
- 受害系统:使用秘密文本的受害账户(其输出长度与停止条件固定);提供方机制是任意的准入、调度、缓存、路由与释放算法,可读全部内容并使用身份。
有哪些相关研究?
相关工作分为缓存时序攻击、共享队列时序信道和隐藏命中的防御三类,作者称无人分析节省的去向。
针对 LLM 缓存共享的时序攻击
- PromptPeek(NDSS 2025)与 OptiLeak(2026)——在探测前后发送 dummy 请求,利用 longest-prefix-match 调度使命中提前返回,逐 token 重建提示词;Table 5 指出它们分别需要每侧 20 个 dummy 加 20 个候选、或超过批上限的 dummy 批。
- SpliceLeak(2026)——读探测自身首 token 时间里的 step-wave 模式,针对非前缀复用,每 token 最少 63 个请求;Early Bird(2025)——读探测自身 TTFT,每 token 112.72 次查询并带微调预测器,针对系统提示词与语义缓存。
- InputSnatch(2026)——读探测的 prefill 时间,逐字段重建,需 300–600 次 profiling;Gu et al.(ICML 2025)——用每测试 250 个样本审计缓存共享范围;Wang et al.(NeurIPS 2026)——从自己探测的 token 间隔时间读全局 KV 占用以实施拒绝服务。
共享队列上的经典时序信道
- Loophole(2017)与 Tramèr et al.(2020)——在共享事件循环或交易中夹入自己的短任务,读出受害者是否运行及其工作量。
- Beams et al.(2021)与 Kadloor、Kiyavash 等(2013、2016)——FIFO 及任意 work-conserving 调度下,排在受害者后面的包泄露其突发,泄漏量已被量化;作者指出这些信道读的是受害者自己的活动,而本文 listener 读的是另一租户缓存文本给探测带来的节省。
隐藏命中的防御与缓存隐私成本
- 隐藏命中请求:Gu et al. 提出延迟命中使其像未命中,InputSnatch 建议统一响应时间,PromptPeek 提出对客户端隐藏 KV 活动;作者指出三者都没有实现,论文用 oracle 评估。
- 加噪与限速:KVGov(2026)加 20 ms 高斯噪声并报告在其仿真中阻止了 PromptPeek 的时序模型;SpliceLeak 考虑随机 padding 但指出噪声可被平均掉;Fonseca et al.(2026)把响应量化到时间 bin 上沿。
- 收窄共享与事后反应:SafeKV、CachePrune、KVGov scope、Early Bird、SpliceDefense、PrivKV-Sched、CacheSolidarity、随机阈值(Harnik et al. 2010);经典"把节省留在系统内"的防御包括 predictive mitigation(2010、2011)、deterministic execution(2010)、StopWatch(2014)、VUsion(2017)。
- 缓存与去重的隐私成本:客户端去重、named-data 缓存、差分隐私缓存序列([37]–[39]);作者称本文的界改为度量租户自身所获收益,且对持有多个账户的速率受限攻击者成立。
基线与定位:论文没有实现基线攻击做对比,而是把已发表防御按 scope、release、reaction 三个维度分组(Table 4),对每组评估最接近的已发表设计或其 oracle 版本;攻击对比对象是 Table 5 中各攻击报告的请求数与调度要求。作者定位本文:所有防御都通过探测自身响应评估泄漏,无人分析命中节省的去向;本文读的是被复制给后续请求的节省,只需 FCFS 步进调度。
论文如何解决这个问题?
用 listener 请求夹住探测、数它们在第几步完成来读出被复制的节省,再按三维度分类评估防御并给出理论界。
整体思路:隐藏命中要求命中世界与未命中世界中租户可观察的一切同分布;作者追踪命中省下的时间流向,发现 work-conserving 步进调度把它完整复制给排在后面的每个请求,于是攻击者只需数自己 listener 请求在第几步完成即可读出。方法包括ruler 攻击构造、三维度防御分类和泄漏上界与零泄漏构造。
系统模型与安全定义
- 引擎按块存储 KV 缓存(vLLM 中每块 16 个 token),请求命中其提示词的最长缓存前缀;跨账户写的块被命中即跨租户命中。主流引擎按步调度:每步先服务运行中的请求,再按到达顺序准入等待请求,每步有 token 预算 B 和序列数上限 K,调度器 work-conserving。
- 作者假设一步的时长只取决于其形状(token 数、序列数、各序列上下文长度)加与缓存内容无关的噪声;作者指出这对 dense 模型成立,对混合专家模型不成立。
- 安全定义(Definition 1):机制是 (β, ε)-secure,若对任意工作负载,速率预算 β 内任意账户集合 O 的视图在原工作负载与把共享文本替换为随机 token 后的工作负载之间的总变差距离不超过 ε。单次优势 ε*(β) 对应一次成员关系探测。
攻击成立的条件
- 攻击在探测前后各发一组 listener,读数窗口需满足三个窗口条件:窗口内无其他请求进入服务、无请求插队、引擎未触及序列与内存上限且受害者块仍在缓存。
- 攻击者以短突发发送窗口内请求使第一个条件更可能成立。Proposition 2 给出:其他请求以速率 λ 泊松到达时,窗口无其他请求进入的概率为 e−λ w,其中 w 为窗口长度;这给出所需突发速率的下界公式。
- 在 L40S 上 w0 约 22 ms;半负载(2.27 请求/秒)下读 1,024 token 秘密需在约 76 ms 内以 655 请求/秒发 51 个请求,平均速率仍低;一次读数对 4,096 到 256 token 秘密花费 20 到 176 个请求、约 17,000 到 22,000 输入 token。
ruler 构造与正确性
- 节省的四个出口(Table 2):命中请求本身、排在后面的请求、共享状态、硬件。Lemma 1(copied saving)证明:在只有攻击者请求的引擎上,命中 h 个 token 后,(i) 引擎在 H 世界始终多完成 h 个 token;(ii) 探测独占一步时后面每个请求在 M 世界晚相同的量;(iii) 探测与第一个 listener 填满一步、后续请求各为 B 个 token 时,每个请求在 M 世界恰好晚一整步,对任意 1 ≤ h ≤ B 成立。
- ruler 按序发送:新鲜 token 的头部、探测前 listener 组、探测(候选文本加新鲜 token)、探测后 listener 组、至少 B 个 token 的尾部;listener 各 ℓ 个新鲜 token,每个请求输出一个 token,整把 ruler 作为一次突发发出,组间间隔几毫秒。同一步完成的 listener 同时收到首 token,攻击者按到达分组数出步边界,比较边界位置与各世界预测的相位,或直接数两个边界之间的步数。
- Theorem 1 给出正确性条件:窗口条件成立、各段足够长使每步读满、时间戳误差在整步间隔的四分之一以内时,判定规则在每条路径上正确,且不需要探测自身的响应和绝对延迟。实际运行的 ruler:4,096 token 秘密用 20 个请求(listener 560 token),1,024 用 52 个(176 token),256 用 176 个(48 token);B = 2,048 时满足约 144 token 以上命中的分离条件。
防御分类与理论结果
- 三个维度(Section 4.1):scope(哪些块可跨账户命中)、release(每个响应何时释放)、reaction(怀疑探测后如何反应);Table 4 把找到的防御分入四组,对每组评估最接近的已发表设计加其最强 oracle 版本。
- Theorem 3(benefit is a signal):若机制 (β, ε)-secure,则速率预算内账户 b 从 V 个共享账户内容中获得的视图变化不超过 Vε;单次优势不超过 ε 时,从 k 个其他账户写入的文本 x 中获得的视图变化不超过 kε;ε = 0 时 b 从他人内容中一无所获。
- Proposition 4(lockstep replica):单实例上,副本把每个跨租户命中当作未命中运行调度器,每步固定时长 D,引擎跳过缓存工作但按副本时间释放一切输出;在输出 token 只依赖自身请求(需 batch-invariant kernels)、释放精确等前提下机制对任意 β 是 (β, 0)-secure。
- Theorem 4(price of padding):只通过暂停或挂起输出工作的机制,在饱和 prefill 下必须把每个可能含潜在命中的步填充到预先固定的宽度,释放延迟至少累加这些宽度,成本随时间增长而非随命中次数增长。
论文做了哪些实验?
在 vLLM/SGLang 多 GPU 多负载下测 ruler 攻击,并逐类评估防御:全部可被读出或代价随时间增长。
实验设置
- 被测系统:vLLM 0.26(默认调度器,L40S 上 B = 2,048、K = 256)、SGLang 0.5.16(4,096 token 块),CacheSolidarity 用作者的 vLLM 0.8.5;模型为 Llama-3.1-8B-Instruct、Qwen3-8B、Llama-3.1-70B(FP8,双 GPU)、DeepSeek-V2-Lite(MoE)、Qwen3.5-9B(混合注意力,附录 D)。
- GPU:L40S 48GB、RTX PRO 6000 96GB、H100 NVL 94GB;上下文上限 16,384 token(后两者 32,768),85% 显存,seed 0。
- 负载:回放 Azure LLM inference trace 2023 对话部分,按使引擎饱和的速率的 0、1/4、1/2、0.75、0.9 档;半负载为 2.27–2.93 请求/秒、运行中请求中位数 39–53;另回放 BurstGPT 最忙 6 小时(99,345 请求)。
- 指标:one-shot advantage(文本在缓存时答"cached"的概率减去不在时的概率),每个秘密一次探测;每个 trial 是一个缓存 epoch,世界以 1/2 概率抽取;Table 7 给出各结果每世界 30–172 次试验及 95%/90% 区间。
- 重复:主负载实验跑三次——第一次 ruler 缺尾部(设计缺陷),第二次在收集数据前固定设计,第三次冻结全部参数、换新种子重复。
- 防御评估方式:只作用于释放时间的防御(随机延迟、predictive mitigation)在未修改引擎的记录上双世界重放;CacheSolidarity 跑作者公开代码。
主结果
据 Table 3(其他部署下的单次优势,0.25/0.5 为负载占容量比例)与正文:
表格较宽,可左右滑动
设置 秘密长度 0.25 负载 0.5 负载 2 实例,cache affinity 1,024 / 4,096 0.88 / 0.98 0.87 / 0.94 4 实例,cache affinity 1,024 / 4,096 0.71 / 0.90 0.60 / 0.98 2 实例,round robin,单探测 1,024 0.45 0.45 4 实例,round robin,单探测 1,024 0.02 0.11 4 实例,round robin,每实例一探测 4,096 0.62 0.74 RTX PRO 6000,2 实例,affinity 4,096 / 16,384 0.90 / 0.93 0.75 / 0.78 70B,单实例双 GPU 4,096 / 16,384 0.98 / 1.00 0.44 / 0.46 H100,单实例 4,096 / 16,384 1.00 / 0.98 0.85 / 0.66 - 单实例 Azure 轨迹回放(第二、三次运行):无负载至半负载,ruler 读 256、1,024、4,096 token 秘密的优势为 0.980–1.000(Figure 4);作者称这对应摘要中"单实例半负载单次探测优势至少 0.98"。
- 探测自身首 token 时间在负载下已弱:1,024 token 秘密在 1/4 与 1/2 负载下优势 −0.03 到 0.19,仅 4,096 token 秘密保持 0.79–0.97;作者称 listener 读出了探测自身时序不再显示的信息。
- 日志可检查条件全部成立的 trial 中,1,919/1,931 判定正确;只答"cached"时 732/733 命中世界 trial 正确、782 个未命中世界 trial 中 1 个误报,半负载内假阳性率 95% 置信下低于 0.61%。
防御评估:隐藏命中请求与随机延迟
- 隐藏命中请求(Gu et al.、InputSnatch、PromptPeek 的 oracle):调度不变、只让探测按未命中世界分布时,listener 在 vLLM 和 SGLang 上以 0.96–0.99 的优势一次探测读出(Table 4);作者称这是因为节省仍被复制给后续请求。
- 随机延迟:KVGov 的 20 ms 高斯噪声下,1,024 token 以上命中及对齐构造的 listener 保持 0.986–0.989;负载下按周期间隔分步的 ruler 保持 0.987–1.000 至半负载。Figure 6:独立指数延迟把优势降到 0.1 需要均值为 shift 的 9–16 倍(每响应 0.15–4.9 s);对比较最早释放的攻击者需 38 倍。
- 量化释放与限速:Fonseca et al. 的 bin 量化可被贴着 bin 边界的 listener 跨过;按账户分别限速无效,因为攻击者可把请求摊到多个账户。
防御评估:收窄共享、反应与"留在系统内"
- 收窄共享:SafeKV、CachePrune、KVGov scope、Early Bird、SpliceDefense、PrivKV-Sched 各自判定为可共享的内容(如模板、检索文档、超长候选)仍可按 Section 3 读出;作者称这些防御对成员关系都不提供保证。
- CacheSolidarity:修复其公开代码中 stale flag 缺陷后,第一次跨租户命中被 ruler 以 0.979–0.983 读出;块属主标志本身成为新信道,直接读 0.973、经对齐 listener 读 0.980、经 decoy 读 0.981(Table 4)。
- 留在系统内:predictive mitigation 重放后,最强预测器在最保守设置下把 1,024/4,096 token 秘密压到 0.1 以下(95% 上置信限 0.074/0.028),但命中世界响应比加盐晚 10–12 ms,16/256 token 对齐构造的界为 0.17/0.32(晚 167/298 ms);deterministic execution 微基准中 0% 与 2% 余量留下 0.98 与 0.55 优势,5% 余量不可读但使每步变长 2.3%。
- 理论结果:Theorem 3 给出收益 ≤ kε;Proposition 4 给出零泄漏构造;Theorem 4 给出填充成本随时间增长——作者举例,宽度为整步的 0.13%–0.77% 时,填充在 0.4–50 s 内抵平一次 1,024 token 命中的节省并持续增长。
其他消融与分析
- 第一次运行(ruler 缺尾部)读 256 token 秘密仅 0.50、0.87、0.94(无负载、1/4、1/2 负载),修复设计后第二、三次运行恢复。
- 0.75 容量时优势 0.66–0.98,失败源于受害者块被驱逐(缓存占用 94% 时 26%–32% 的命中世界 trial 未命中);0.9 容量以上引擎过载。
- BurstGPT 轨迹(0.86–5.84 请求/秒):优势 0.980–1.000,1,119 个条件全成立的 trial 无一误判;MoE 模型 DeepSeek-V2-Lite 上半负载内 0.948–1.000。
- 端到端 RAG 案例(LlamaIndex + SQuAD 48 篇文章 429 块):攻击者从 4 个候选块中猜受害者首先检索的块,空闲、1/4、1/2 负载下正确率 97%、95%、85%(机会水平 25%)。
- 窗口条件验证(Figure 5):61 个设置中 58 个的干净窗口比例在 e 的 −λw 次方预测值 ±0.1 内;优势从不低于 2q − 1 超过 0.05。
- TLS 反向代理后:1,024/4,096 token 秘密半负载内 0.882–0.975,但假阳性率从 0.13% 升至 2.5%–2.9%,作者称未分离出原因。
有什么可以进一步探索的点?
作者列出攻击与定理的边界;实验覆盖 1–4 实例、三种 GPU、至多 70B 模型,未测已部署服务。
作者指出的局限与后续方向
- 未测量任何已部署服务,其每步预算、路由、批处理与保留策略未知,且更大的预算会拉长最短可读秘密(Section 5.2)。
- 攻击只读 Table 2 中第二个出口,其他出口仅通过特定防御进入(Section 5.2)。
- 混合注意力模型在共享缓存下,命中为空的请求也要多花 11–25 ms,两个世界不重叠(Section 5.2、附录 D)。
- 多实例共享一个 KV 池时命中可发生在任意实例,作者未在该设置下测量 ruler(Section 5.2)。
- 定理不覆盖混合专家模型(其按内容路由 token),但数步攻击在一个 MoE 模型上读出了秘密(Section 2.1、3.3)。
- 零泄漏构造假设单实例与 batch-invariant kernels(vLLM 0.26 不具备),未对多实例证明;提供方能否把收益留给超出速率预算的租户而对其他人隐藏,是开放问题(Section 4.5)。
- 只攻击成员关系:负载下定理不覆盖逐块重建提示词,也不覆盖逐 token 重建(Section 3.5)。
实验覆盖范围
- 被测模型为 Llama-3.1-8B-Instruct、Qwen3-8B、Llama-3.1-70B(FP8)、DeepSeek-V2-Lite、Qwen3.5-9B 共 5 个;引擎为 vLLM 0.26、SGLang 0.5.16 与 CacheSolidarity 作者的 vLLM 0.8.5(附录 C)。
- 部署形态覆盖 1–4 实例、cache-affinity 与 round-robin 路由、三种 GPU(L40S、RTX PRO 6000、H100 NVL)、TLS 代理与双 API 服务器(Section 3.4、附录 D)。
- 负载来自 Azure 轨迹(至 0.9 容量)、BurstGPT 轨迹与合成泊松请求;主结果每世界 30–172 次试验(Table 7)。
- 防御评测覆盖 Table 4 四组:隐藏命中请求、随机延迟、收窄共享与反应、留在系统内;其中随机延迟与 predictive mitigation 在记录上重放,CacheSolidarity 跑作者代码。
- 论文未报告对真实在线 API 的测量;广域网路径上的请求侧乱序未测量(Section 3.5)。
总结一下论文的主要内容
命中节省被复制给后续请求使隐藏命中失效;作者给出攻击、防御评估和"收益即信号"的理论界。
一篇针对多租户 LLM 服务缓存侧信道的攻击与理论分析论文,结论是:共享全局缓存同时隐藏命中,做不到既保复用又防成员关系推断。
- 问题:前缀缓存命中跳过 prefill,共享缓存因此暴露他人是否发送过某文本;按账户加盐放弃跨租户复用且隔离止于账户,而已有防御只让命中请求本身像未命中。
- 方法:work-conserving 步进调度把命中省下的时间完整复制给排在后面的每个请求(shift);攻击者在速率限制内用两组各返回一个 token 的 listener 夹住探测、一次短突发发出,数 listener 在第几步完成即可读出,不依赖探测自身响应。
- 攻击结果:空闲 vLLM 上 4 个请求优势 0.985–0.989;回放 Azure 生产轨迹至半负载,256 token 以上秘密单次探测优势 0.980–1.000;2–4 实例 cache-affinity 路由下 4,096 token 秘密 0.90–0.98;RAG 端到端案例猜中受害者检索块 97%/95%/85%(空闲/1/4/1/2 负载)。
- 防御评估:只隐藏命中请求的防御在 vLLM 与 SGLang 上被一次探测读出(0.96–0.99);随机延迟需均值约 10 倍 shift 以上才把优势降到 0.1;收窄共享类防御对成员关系无保证;CacheSolidarity 的块属主标志成为新信道(0.973–0.981)。
- 理论结果:作者证明速率受限租户从 k 个其他账户内容获得的收益至多为 kε 量级,零泄漏时只有提供方保留节省;零泄漏在单实例、batch-invariant kernels 等前提下可达,但填充成本随时间增长而非随命中次数增长。
- 作者的建议:需要隔离的提供方应按信任域加盐,由知道边界的层传入隔离键;跨信任域共享应作为明示代价的可选项,而非描述成能隐藏命中的防御。