Mirage：用拓扑感知隔离可证明地防御 LLM KV cache 时序侧信道

核心问题：多租户 LLM 服务的 KV cache 前缀共享把 TTFT 变成计时预言机，攻击者可逐 token 推断其他租户的私密提示词，而现有防御为堵住信道牺牲了缓存复用本身。

• 问题场景：vLLM、SGLang 等引擎用前缀缓存省去重复 prefill，命中时 TTFT 明显低于未命中；作者称攻击者仅凭普通 API 访问发送猜测探测、观察命中/未命中差异，即可重建私密提示词、系统指令或他人输入字段，在医疗、法律、企业文档等多租户场景风险突出。
• 现有方法不足：按论文说法，per-user 分区与 cache salt 直接取消跨租户复用；SafeKV 这类选择性共享仍把所有被判为敏感的条目隔离，且安全完全依赖分类器——假阴性完全泄露、假阳性白白损失复用；无差别加噪则要把所有命中响应垫到 miss 分布上尾，抹掉前缀缓存通常带来的最高 73% 延迟收益。
• 核心观察：秘密熵高而单次计时探测最多泄露几个 bit，攻击者必须在同一前缀下发出大量不同候选，形成良性用户不会产生的高扇出（fan-out）模式；Mirage 把这个攻击的必要条件变成检测信号，而不是对内容打标签。
• 论文方案：提出 Mirage——网关层的流级发射混淆框架：用 Privacy Odometer 计量前缀扇出，超预算后进入锁定，把整条 token 流按从在线估计的 cache-miss 分布采样的偏移整体平移，GPU 继续全速服务共享缓存；作者称其在三个模型上把三种攻击压到随机猜测附近，且吞吐最高为隔离防御的 1.6×。
• 威胁模型（Section III）：
  • 目标：在已知或猜出的前缀 P 后，增量重建下一个秘密 token 或短片段（如系统提示词、私密文档片段）。
  • 知识：black-box；可知道公开模板、分词器行为和领域上下文，可微调本地辅助模型生成候选，但不知道受害者的确切私密延续。
  • 能力：普通 API 客户端，可开多账户、并发或分批发送探测、观察自己请求的完整流式 trace（提交时间、TTFT、ITL），还可直接冲刷缓存或制造缓存压力触发 LRU 驱逐。
  • 受害系统：开启跨请求 prefix caching 的多租户 LLM 服务后端；论文不处理需要特权访问、直接 KV 内容泄露、token 计数泄露及 API 计时面之外的硬件侧信道。

LLM 计时侧信道攻击

• EarlyBird（2025）：研究 LLM 服务中的计时泄露，利用缓存依赖的延迟差异恢复提示词；本文用它做单 token 恢复的攻击评测。
• InputSnatch（2024）：把 prefill 时间差变成实用的黑盒输入恢复攻击，跨模型和硬件配置；本文用它做结构化字段恢复评测。
• PromptPeek（2025）与缓存审计工作（2025）：前者展示多租户 KV cache 共享可通过探测候选延续泄露提示词，后者测量商业 API 的提示词缓存行为；另有利用加密流 token 长度（2024）和投机解码计时（2024）的其他侧信道，论文称 Mirage 专门针对 KV 前缀缓存计时信道，并假设攻击者观察完整流式 trace 而非仅 TTFT。

隔离类防御

• Cache Partition（2024）：为每个用户分配隔离的前缀缓存命名空间，消除跨用户计时交互；论文指出其代价是失去共享前缀收益。
• CacheSalt（vLLM，2025）：用请求级 salt/额外哈希键让同一信任边界内的请求才共享缓存块；论文称这类机制简单且强，但惩罚使用公共模板和共享系统提示词的良性负载。

选择性共享防御

• SafeKV（2025）：结合隐私检测、统一公私元数据和运行时保护，限制敏感 KV 块的复用；论文批评它仍隔离所有被判敏感的前缀，使内容分类器成为安全和性能的单点故障，且完全不检查攻击者的探测行为。

基线与攻击评测对象：攻击侧用 EarlyBird、InputSnatch、OptiLeak（2026，利用 SGLang 最长前缀匹配调度的响应顺序信道）；防御对照为 No Defense、Cache Partition、CacheSalt、SafeKV 四点。

本文定位：作者称与上述工作不同，Mirage 把敏感前缀留在共享缓存中，只对探测行为触发的发射计时做混淆，从而在保住缓存复用的同时获得接近绝对隔离的安全性。

整体思路：Mirage 把隐私状态追踪与物理执行解耦——后端 GPU 继续从共享 KV cache 全速服务，控制平面只统计攻击者不可避免的扇出行为，超预算后在网关对客户端可见的整条 token 流施加统一时间偏移，使命中看起来像一次自然的 cache miss。

架构与数据流

• 双通道结构：请求先进入未修改的引擎（前缀缓存 + GPU 执行），并行地由控制平面评估；网关根据相位标志把发射分成 Phase 0/1 直通（e_i = a_i）与 Phase 2 平移（e_i = a_i + Δ_pad）两条路径。
• 状态与缓存解耦：odometer 状态保存在 CPU 内存或分布式存储，攻击者无法通过冲刷 GPU LRU 缓存重置风险分。

Privacy Odometer 与相位门控

• 拓扑新颖度计量：把提示词分解为计量锚点前缀 P 和延续分支 bj（整个延续的哈希）；只有前所未见的分支才计分，完全重试不计分（默认 ρ=0）。
• 风险分更新：S_P,c(t_j) = min{S_max, γ^{t_j − t_j−1} S_P,c(t_j−1) + ω_sens(P) φ_topo(r_j) + ρ(1−φ_topo(r_j))}，即风险分随时间衰减、按新颖分支累加并封顶以防 DoS 永久锁定。
• Trust Scope：按认证用户维护独立账本，匿名流量并入单一池化账本以防 Sybil；同一物理 KV cache 仍被所有用户共享。
• 相位规则：ωsens=0 为 Phase 0（白名单直通）；ωsens>0 且 S≤θ 为 Phase 1（宽限期，不 padding）；S>θ 进入 Phase 2 锁定。默认 θ=1.0、ωsens=1.0，即 G=1：第一个新颖分支免费通过，第二个立即锁定；锁定前最多 K_max(P)=⌈θ/ω_sens(P)⌉ 个未垫候选。
• 敏感性门：原型用词法/结构门给医疗语境、姓名、病症药物、标识符等赋权；作者强调安全不依赖词表完备，推荐 fail-closed 默认（整个端点 ωsens=1），词表只作白名单。

发射混淆器（Emission Obfuscator）

• 整流平移：Phase 2 时从校准 miss 分布采样目标首 token 延迟 τ，计算 Δ_pad=max(0,τ−t_actual)，对每个 chunk 加同一偏移；观测 TTFT 变为 max(tactual, τ)，所有 ITL 保持不变。
• 钳位到上尾：发射目标是 miss 分布 q=0.97 分位数（加 η 边际）的单侧钳位，物理命中与约 97% 真实 miss 落在同一延迟地板上；作者称低 overhead 的分布匹配发射器会留下可利用残差（Section VI-F）。
• 批级均衡：同一锁定前缀的并发响应按前缀哈希分组，经自适应屏障后各自抽取独立均匀偏移，使发射顺序随机置换，关掉同批探测的顺序信道；良性请求不分组不重排。

动态 miss 估计器

• 仿射延迟模型：以 TTFT ≈ a + bL 拟合冷 miss 延迟，用滑动窗口内纯 miss（cached_tokens=0）样本做流式最小二乘更新，残差上尾分位数 Qq(R) 捕捉实时尾部；τ 取仿射中心与残差尾两项的较大者并加均匀抖动。
• 冷启动回退：窗口未填满时用双轨 EMA（hit/miss 分轨）与保守默认界，保证启动即受保护。

安全与性能论证

• 扇出下界（Theorem 1）：Fano 式下界给出恢复 N-token 秘密所需查询数 k ≥ (H(S*|P) − h2(ε) − ε log2(M−1))/C；锁定后每查询容量坍缩到均衡间隙 δeq（Lemma 2），组合界（Theorem 2）为 k ≥ N1 + (H(S*|P) − h2(ε) − ε log2(M−1) − N1)/δeq。
• 宽限期定价：Phase 1 成功率 ≤ min{1, Kmax(P)·pB}，G=1 时不超过先验猜测概率 pB；时间衰减 γ 与缓存驻留（Poisson 驱逐模型）构成作者所称的时空两难——慢速探测等分数衰减时受害者缓存可能已被驱逐。
• 性能界：Theorem 3 给出良性流量只付常数控制面开销 cctrl；Theorem 4 给出 Mirage 相对隔离的容量比 1 + h̄·E[pP]/E[w]；Proposition 1 把 δeq 界为 (1−q) + εest + pslow，将安全参数直接折算成 padding 延迟。

实验设置

• 被测模型：DeepSeek-R1-Distill-Qwen-14B、Meta-Llama-3-8B-Instruct、Qwen1.5-1.8B-Chat，覆盖 1.8B/8B/14B 三个规模（附录 C）。
• 平台与配置：SGLang（radix-tree 前缀缓存、最长前缀匹配调度），NVIDIA A40 GPU，单在途请求（MRR=1）为主、MRR=16 做批量复核；Mirage 默认 θ=1.0、γ=0.995/s、ω=1.0、q=0.97、η=0.20、10 ms 均匀发射噪声、块大小 B=1（附录 C）。
• 数据：安全实验用 500 条机密咨询提示词（Census 姓名表 + MedQuAD + 共享系统提示词组装）；开销评测用 Alpaca 公共指令、500 个虚拟用户、Poisson 到达、1–8 req/s 扫负载；语义缓存实验用 40 主题医疗语料、all-MiniLM-L6-v2 嵌入。
• 攻击与基线：EarlyBird（467 个首 token 候选池）、InputSnatch（完整 500×500 姓名×病症字典端到端恢复）、OptiLeak（≤50 候选同批、rank 至 10,000）；防御对照 No Defense、Cache Partition、CacheSalt、SafeKV。
• 指标与统计：ASR@N（N=100/1k/10k）；所有头条数字报 95% percentile bootstrap CI（5,000 次重采样，附录 D）；判别器实验报有效 AUC = max(AUC, 1−AUC)。

主结果

据 Table I（ASR@N，%；InputSnatch 为 ASR@100–10k 端到端）：

表格较宽，可左右滑动

模型	防御	EarlyBird@10k	InputSnatch	OptiLeak@10k
DeepSeek-14B	No Defense	92.4	59.4	68.8
DeepSeek-14B	Mirage	0.2	0.4	0.0
Llama-3-8B	No Defense	33.4	34.2	81.8
Llama-3-8B	Mirage	0.0	0.4	0.0
Qwen1.5-1.8B	No Defense	6.2	0.0	67.6
Qwen1.5-1.8B	Mirage	0.0	0.0	0.0

• 隔离基线同样封闭信道：Cache Partition、CacheSalt、SafeKV 在各模型上把三种攻击压到 0.0–2.0%（SafeKV 在 Qwen1.5-1.8B 的 EarlyBird 残留 2.0%），但作者指出它们靠禁用跨租户复用实现。
• 无防御时信道随规模变宽：作者称更大模型 prefill 更长、命中/未命中差更大，EarlyBird 从 Qwen1.5-1.8B 的 6.2% 升到 DeepSeek-14B 的 92.4%。
• bootstrap CI（Table VI）：Mirage 在 DeepSeek-14B 上 EarlyBird 0.2 [0.0, 0.6]、InputSnatch 0.4 [0.0, 1.0]、OptiLeak 0.0 [0.0, 0.1]；测量为零的格子给 rule-of-three 上界。

性能开销

• 公共流量：Mirage 中位 TTFT 与无防御相差 1.5% 以内（55.2 ms 对 54.4 ms，300 次请求试验）；Cache Partition/CacheSalt 把 DeepSeek-14B 中位 TTFT 抬高 44–46%，Qwen1.5-1.8B 在较高负载下为数倍（Figure 2）。
• 吞吐（Figure 3，Llama-3-8B，MRR=16）：Mirage goodput 沿理想线跟踪 No Defense，per-tenant 隔离在约 14 req/s 饱和；24 req/s 时 Mirage 吞吐约为其 1.6×，作者称与 Theorem 4 的容量比一致。
• 敏感流量触发精度（Table II，Llama-3-8B）：良性首访 150 ms（零次 Phase-2 事件），同一查询在攻击进行中为 418 ms；Static Pad（G=0）对良性首访也收 417 ms；No Defense 两种情形约 150 ms 但信道敞开。
• 控制面成本：单次 odometer 决策中位约 6.4 µs；追踪 10,000 个活跃敏感前缀约 35 MiB 主机内存，零 GPU 内存。

语义缓存泛化

• 设置：GPTCache 式语义缓存，命中/未命中差 70–450 ms；移植三个攻击目标——membership（随机基线 50%）、closed-world（K=10，基线 10%）、open-world（K=40，基线 2.5%），每目标 100 次试验；Mirage-Semantic 用实体代表（相似度阈值 0.80）与局部密度 Dent 计量。
• 结果（Table III）：无防御时 AUC ≥ 0.99、closed-world ASR 96–99%；Mirage-Semantic 把三个目标压回随机基线（AUC 0.47–0.55，如 DeepSeek-14B open-world ASR 从 54.0% 降到 1.0%），计时差 ≤ 5 ms，作者称良性流量零 padding。
• 作者提醒：Table III 是分类任务、对随机基线评估，不能与 Table I 的 ASR@N 逐格比较。

自适应对手

• 多变量分布判别器：8 特征（R 次测量的 TTFT 统计量）逻辑回归，200 对命中/未命中、5 折 CV；无防御时 CV AUC 从 R=10 的 0.807 升到 R=20 的 0.962，对 Mirage 钳位发射器有效 AUC 为 0.53 ± 0.01（6 次运行），作者按 δ̂eq = 2·acc − 1 折算为每探测最多约 0.06 bit 残差。
• 全 trace 判别器（Table IV，内容受控、纯计时）：无防御时 Llama-3-8B 上 ITL-only AUC 0.90、whole-trace 0.99；Mirage 下 TTFT 0.58、ITL-only 0.53、whole-trace 0.56、per-trace 0.58；DeepSeek-14B 从 0.98 降到 0.60–0.63；Qwen1.5-1.8B 因无防御基线信道本身弱（EarlyBird 仅 6%）被排除。
• 低速逃逸（Table XII，Qwen1.5-1.8B）：spread-candidate 在三个叠加 oracle 假设下 top-1 ASR 76.5%（ρ=0），ρ=1 时降到 25.5%；作者强调这是标注上界而非可部署攻击，因为假设（每候选前分数归零）与（受害者前缀数小时驻留）在真实负载下互相矛盾。

其他消融与分析

• 发射器形状（Table V，n=3）：只有钳位在每次运行封闭信道（0.53 ± 0.01，平均 pad 35 ms）；全 CDF 匹配 0.67 ± 0.04（10 ms）、尾部条件 0.55 ± 0.06、参数化 log-normal 0.58 ± 0.10，部分运行泄露。
• 宽限预算 G（Table IX，Qwen1.5-1.8B，5 seeds）：G=0 良性命中 476 ms，G≥1 约 44 ms；spread-candidate ASR 在各 G 下维持 12.5% 随机基线（11.1–12.1%）。
• 重复权重 ρ（Table X）：exact-repeat 在真实自污染下已失效（AUC 0.501）；理想化 oracle 下信道重开（0.975），ρ=1 关闭（0.516）。
• q 与 η 扫描（Table XI）：q∈{0.90,0.97}、η∈{0.10,0.20,0.30} 下残差 0.51–0.58，平均 pad 24–33 ms，无临界点。
• 批量负载复核（附录 G，MRR=16）：顺序信道 120 个目标上 0% 成功；全 trace 判别器有效 AUC 维持 0.53–0.58。
• 敏感共享负载（Table VIII，64 租户，Llama-3-8B）：16 req/s 时 Cache Partition/SafeKV TTFT 升至 1858/1777 ms，Mirage 611 ms 对无防御 542 ms。

作者指出的局限与后续方向

• 敏感性分类（附录 I）：Lemma 2 依赖正确识别敏感前缀；评测用词法检测器只为可复现，真实部署可用嵌入检测器或基于应用元数据的 fail-closed 路由。
• 良性共享误伤（附录 I/E）：单一全局预算下，一个 fail-closed 前缀上持续不同的良性延续大多会被 padding（附录 E 测得 93%）；作者称 trust-scoped 记账可消除、G 可调。
• 估计器校准（附录 I）：miss 目标 τ 在线追踪，冷启动时回退到保守默认；作者讨论了用 dummy 流量操纵估计器的可能，并称结构上难以利用。
• 硬件与规模（附录 I）：评测限于 NVIDIA A40、单 GPU 服务、14B 以内模型；未评 A100/H100、张量/流水并行多 GPU、70B/MoE，作者称具体开销与 δ̂eq 数字只代表该 regime。
• 语义缓存泛化（附录 I）：语义缓存实验用 40 主题医疗语料、真实句嵌入加模拟命中/未命中计时；针对生产嵌入缓存的真实语义缓存攻击留作未来工作。
• 威胁范围与后续方向（附录 I/J）：不处理非计时信道（加密流量突发、token 长度序列、直接 KV 反演）；附录 J 提出学习式/熵式敏感性门控、熵自适应宽限预算、用差分隐私/流量整形/安全多方计算扩展威胁覆盖三个方向。

实验覆盖范围

• 被测模型为 DeepSeek-R1-Distill-Qwen-14B、Meta-Llama-3-8B-Instruct、Qwen1.5-1.8B-Chat 共 3 个，均跑在 NVIDIA A40 单 GPU 的 SGLang 上（附录 C）。
• 攻击评测覆盖 EarlyBird、InputSnatch、OptiLeak 三种 KV cache 计时攻击；防御对照为 No Defense、Cache Partition、CacheSalt、SafeKV 四点（Section VI-A）。
• 安全实验数据为 500 条组装语料；主安全数字在 MRR=1 下测，MRR=16 批量复核在附录 G；语义缓存实验每目标 100 次试验。
• 自适应评测包括 8 特征 TTFT 判别器（200 对样本、5 折 CV）、全 trace 判别器（Llama-3-8B 与 DeepSeek-14B）与低速逃逸分析（Qwen1.5-1.8B）。
• 论文未报告主实验中攻击方辅助模型的具体微调细节，也未报告跨副本部署下 odometer 状态共享的实测开销（附录 I 称该量化工程尚未做）。

一篇针对多租户 LLM 服务 KV cache 计时侧信道的防御论文，核心是把检测对象从"内容是否敏感"换成"流量是否呈现攻击特有的扇出"。

• 问题：前缀缓存使命中请求的 TTFT 低于未命中，black-box 攻击者可用候选探测逐 token 重建他人私密提示词；已有的缓存分区、cache salt 与 SafeKV 式选择性共享都靠隔离敏感条目来封闭信道，放弃了跨租户复用。
• 方法：Mirage 挂在未修改的 SGLang 之外：Privacy Odometer 按信任域统计敏感前缀下的拓扑新颖分支（默认 G=1，第二个新颖候选即锁定）；锁定后网关从在线估计的 cache-miss 分布（q=0.97 分位数加边际）采样目标延迟，对整条 token 流加统一偏移，ITL 保持不变，GPU 继续全速复用共享缓存；同批探测再经随机置换屏障关闭顺序信道。
• 安全结果（Table I）：在 DeepSeek-14B、Llama-3-8B、Qwen1.5-1.8B 上，OptiLeak ASR@10k 从 67.6–81.8% 降到 0.0%，EarlyBird 降到 0.0–0.2%，InputSnatch 端到端 ≤ 0.4%，与隔离基线的封闭程度相当。
• 性能结果：公共 Alpaca 流量中位 TTFT 与无防御相差 1.5% 以内（55.2 对 54.4 ms）；Llama-3-8B、24 req/s 下吞吐约为 per-tenant 隔离的 1.6×（Figure 3）；64 租户共享敏感前缀、16 req/s 时 TTFT 611 ms，而隔离防御为 1777–1858 ms（Table VIII）。
• 鲁棒性：白盒自适应对手下，8 特征判别器有效 AUC 0.53 ± 0.01，全 trace 判别器 0.53–0.58（Table IV）；语义缓存变体把三个移植攻击目标压回随机基线（Table III）。
• 作者的结论与边界：作者称 Mirage 在所评估的探测攻击上达到与绝对缓存隔离相当的安全性，残差为小且可测量（δ̂eq ≈ 0.06 bit），代价只落在正被探测的敏感流量上；同时明确其依赖正确的敏感性门控、评测限于 A40 单 GPU 与 14B 以内模型，且不覆盖非计时侧信道。