OptiLeak：在多租户 LLM 服务中用强化学习高效重建提示词

共享 KV 缓存让多租户 LLM 服务出现提示泄露侧信道，作者称现有攻击的请求代价高到不切实际。

• 场景：vLLM、SGLang 等框架跨请求共享 KV cache，并开始把缓存卸到 CPU 或持久化。作者称缓存命中会缩短 TTFT，最长前缀匹配等调度会改变响应顺序，从而暴露其他用户查询；缓存越持久，这一隐私风险越需要评估。
• 现有方法的不足：作者称 Zheng et al. (2024)、Song et al. (2024)、Wu et al. (2025) 主要扩展攻击面，没有按真实对手的优化能力来利用侧信道。引言称 Gu et al. (2025) 与 Luo et al. (2025) 所报告的抽取需要大量请求，因而低估泄露严重程度，也妨碍对策设计。
• 核心观察：攻击者可从应用场景、服务端点或元数据推断查询的大致领域，并用公开领域数据微调本地模型。作者认为加长 SFT 容易过拟合，因为领域问答仍以通用语言为主；PPO、GRPO 的奖励也难设计，语义相似度会拟合表面模式，精确 token 匹配则反馈不足。
• 本文提出：OPTILEAK，两阶段微调框架：先 SFT，再用似然排名自动标出 hard token、构造偏好对并做 DPO，然后以顺序侧信道逐 token 重构提示。作者称这是在形式化缓存提示泄露中的攻击者优化。
• 威胁模型：
  • 目标：重构其他受害客户端发给服务器的提示。
  • 知识：能力等同普通 LLM 客户端，仅有 black-box 访问，不能获知模型结构或参数；知道查询的大致领域，不知道具体模板和原文；可使用公开 tokenizer。服务以流式方式返回。
  • 能力：可发查询（每条受害查询有最大次数限制）并测 TTFT 以检测缓存命中；不能看内部日志、改服务器配置，或直接接入其他用户信道。
  • 受害系统：多租户 LLM 推理服务。作者假设受害查询与攻击查询落在同一 KV cache 池；实验用 SGLang 的 Longest Prefix Match（LPM）。该假设与 Wu et al. (2025)、Zheng et al. (2024)、Song et al. (2024) 一致。

主动缓存侧信道

• 调度与时序：Wu et al. (2025) 利用最长前缀匹配等服务顺序，在探测查询与目标查询匹配时泄露信息；Zheng et al. (2024) 用时序判断探测是否命中缓存；Song et al. (2024) 分析 LLM 服务系统中的时序侧信道。论文称这些工作主要展示攻击面，而不是优化探测查询生成。
• 硬件缓存：Adiletta & Sunar (2025) 与 Gao et al. (2025) 通过监视硬件缓存变化，推断被访问 embedding 的位置，从而推断用户查询。
• 代价：引言称 Gu et al. (2025) 与 Luo et al. (2025) 表明抽取通常需要大量请求。论文用这一点说明未优化的攻击会低估风险。

被动侧信道

• 流量与时序指纹：Weiss et al. (2024) 从加密流量推断响应 token 的字符长度，进而推断用户提示；Zhang et al. (2024a) 用响应生成的时序模式识别查询。附录 C 还写 Wei et al. (2024) 与 Soleimani et al. (2025) 利用推测解码建立查询指纹。论文把本文限定为主动侧信道，被动攻击的细节放在附录 C。

RL 红队

• 越狱：Paulus et al. (2024)、Chen et al. (2024)、Tang et al. (2024) 用 RL 加强越狱，以绕过受害模型的护栏和对齐。
• 有害输出：Perez et al. (2022)、Casper et al. (2023)、Zheng et al. (2025)、Zhao et al. (2025) 用 RL 促使模型生成含有毒内容、敏感术语或事实错误的回答。
• 隐私抽取：Nie et al. (2025) 以词编辑相似度为奖励，做系统提示抽取和训练数据抽取。论文称 OPTILEAK 的场景不同：优化的是经缓存共享恢复用户实时提示的探测策略。

基线与基准

• 对照：Wu et al. (2025) 的基座本地模型直接预测，以及仅 SFT、不经 SFT 的自动标注 DPO。基准为 MedQA、PubMedQA、FinanceBench。

作者把本文与上述主动侧信道工作的区别写成：不扩展攻击场景，而用 RL 优化探测查询生成，以估计真实对手的能力。

OPTILEAK 分两段：先把本地模型微调到攻击者所知的领域，再在 SGLang 的 LPM 调度下逐 token 探测，用响应顺序判断缓存命中。总览见 Figure 2，步骤见附录 Algorithm 1。

问题设定

• 辅助数据：攻击者有领域辅助集 Daux，样本为用户查询与模型响应的拼接。论文假定攻击者只知大致领域，不知受害提示模板和原文。
• 恢复单位：每轮恢复目标提示的一个 token。已恢复前缀记为 q<t。整段攻击在完整重构或达到每 token 最大尝试次数时停止。
• 侧信道：受害查询的 token 写入共享 KV cache。攻击者发送一批哑查询，观察响应顺序和 TTFT。LPM 会优先调度前缀匹配更长的等待请求。

监督微调

• 目标：在 Daux 上最大化拼接序列每个 token 的条件似然，得到 πSFT，使本地模型熟悉该领域的说法。
• 不再加长 SFT 的理由：作者在实验中发现增加 SFT epoch 会降低攻击表现，并归因于过拟合和 mode collapse。第 4.1 节称延长 SFT 会使猜测次数增至基线的 3.70×；具体步数在第 4 问。

hard token 自动标注与 DPO

• 排名：用 πSFT 对每个位置的目标 token 在词表 V 上的似然排名。论文把恢复难度写成该排名，hard token 满足 Rank(s_t)>γ。排名越高越难恢复。
• 偏好对：超过阈值的 token 及其前缀构成偏好响应；同一前缀上用 πSFT 贪心解码，得到高置信但错误的 token，作为非偏好响应。不必手工标注。
• 例子：Figure 2 用一条医学短语说明，其中某 token 的似然排名为第 478，超过阈值后与 SFT 采样 token 组成一对。论文未给出 γ 的数值。
• DPO：在上述偏好集上优化 πSFT。参考模型由 πSFT 初始化并固定，β 控制相对参考模型的 KL 强度。论文未给出 β。作者称这样把对齐集中到难预测、且携带领域信息的 token 上，并避免语义奖励的表面拟合。

基于顺序的缓存探测

• 批构造：猜测位置 t 时，发送 k=2m+|Qgen| 条查询。生成的候选夹在两组各 m 条哑查询之间。哑查询共享本地模型给出的同一低概率 token；候选共享已恢复前缀，只在末 token 上不同。实验将 m 与候选数都设为 20。
• 命中规则：若某个候选的响应位置与其余候选的最小位置差大于 ceil(θ·m)，则判为命中并追加该 token。θ∈(0,1)，论文未给出取值。未命中则继续生成，直到命中或达到每 token 尝试上限。
• 与反馈解耦：作者称查询生成与侧信道验证分开，因此换调度策略时可以更换验证器。第 6 节的兼容性讨论没有另给实现。

实验设置

• 模型：本地骨干为 Qwen-2.5-3B-Instruct、Qwen-2.5-7B-Instruct、Qwen-2.5-14B-Instruct、Llama-3.1-8B-Instruct。全部实验的服务器模型固定为 Qwen-2.5-3B-Instruct，因此 3B 一行的本地模型与服务器是同一模型。服务框架为 SGLang。
• 数据：MedQA 英文子集原始划分为 10178/1272/1273，评测从测试集随机抽 150 条；论文未写明微调是否用满 10178 条。PubMedQA 使用 1000 条专家标注，划分为 800/100/100。FinanceBench 无官方划分，随机分为 400/50/50。
• 对照：Base 为 Wu et al. (2025) 的基座本地预测；另有 SFT，以及不经 SFT、直接用自动标注训练基座的 DPO。OPTILEAK 为 SFT 后再 DPO。
• 指标：ASR 为不同最大请求限制下的提示泄露攻击成功率。正文举例写 ASR10000 表示 1000 次请求上限，与列名 ASR10000 不完全对应；下表按 Table 1 的列名引用。ARPT 为恢复一个 token 的平均有效请求数。w/l 为优化模型比基座请求更少的查询占比。
• 协议：各方法使用同一提示前缀，用于下达重构指令并启动自回归生成。m 与候选数均为 20，与 Wu et al. (2025) 一致。命中由响应位置间隔判定，论文未使用 LLM 评审，也未报告重复次数。

主结果

FinanceBench 上的 ARPT（Table 1；服务器均为 Qwen-2.5-3B-Instruct）：

Swipe horizontally to read the table

• 另两个基准：Table 1 中 OPTILEAK 相对 Base 的 ARPT，MedQA 上 3B/7B/14B/Llama 为 21.60/40.49/30.60/28.31，对应 Base 为 41.99/54.50/44.35/60.00；PubMedQA 上为 208.72/274.91/304.76/241.48，对应 Base 为 628.50/943.05/796.08/801.71。作者称金融领域提升更大，因为领域语言模式更一致；并称更大模型并不稳定地优于更小模型。三个基准上最低的 OPTILEAK ARPT 都来自 Qwen-2.5-3B-Instruct。作者还称该 3B 在两个基准上 ASR 最高；PubMedQA 上 Llama-3.1-8B-Instruct 的 OPTILEAK ASR500/ASR1000 为 14.0%/33.0%，高于 3B 的 11.0%/31.0%。
• SFT 与仅 DPO：作者称 SFT 是关键组成部分。Qwen-2.5-3B、MedQA 上，ASR1000 从 37.3% 到 53.3%，作者称之为提升 16.0%；ARPT 从 41.99 到 26.37，作者称之为降低 37.2%。仅 DPO 的 ARPT 接近 Base。作者称仅 DPO 的 w/l 可以超过 50.0%；Table 1 中 MedQA、Qwen-2.5-3B 的 DPO w/l 为 48.7%，PubMedQA、Qwen-2.5-14B 为 40.0%。
• 相对谁降了 12.48×：作者称 FinanceBench、Qwen-2.5-3B 相对 Base 的 ARPT 降幅为 12.48×，不是相对 SFT。该行 SFT 与 OPTILEAK 的 ASR500/ASR1000/ASR10000 相同，均为 88.0%、90.0%、100.0%。作者称 SFT 后再 DPO，在 MedQA、Qwen-2.5-3B 上把 ARPT 从 26.37 降到 21.60，相对降低 18.1%，其他设置约 10%。

先验知识与分布偏移

• 测了什么：第 5.3 节只用 Qwen-2.5-3B-Instruct，比较无先验、同领域但分布不同、同分布，以及领域判断错误。指标为 ARPT（Table 2）。
• 结果：测 MedQA 时，Base 为 41.99；用 PubMedQA 训练为 30.27（作者写 27.9%↓），用 MedQA 训练为 21.60（48.6%↓），用 FinanceBench 训练为 51.90（23.6%↑）。测 PubMedQA 时，Base 为 628.50；用 MedQA 训练为 484.42（22.9%↓），用 PubMedQA 训练为 208.72（66.8%↓），用 FinanceBench 训练为 966.59（53.8%↑）。
• 作者的解读：领域相近但仍有偏移时，ARPT 仍低于 Base。领域完全不对齐时 ARPT 上升；作者称微调模型会倾向生成训练领域的 token，从而偏离受害查询。

训练步数消融

• 测了什么：Figure 3 给出 MedQA 与 FinanceBench 上 SFT 过程的 ARPT，以及在选定 SFT 检查点之后的 DPO。图注写 DPO 所基于的 SFT 步数：MedQA 为 500，FinanceBench 为 100。正文未逐点列出曲线数值。
• 结果：作者称所有模型在 SFT 早期 ARPT 下降，随后回升；MedQA 更易过拟合，3000 步后 ARPT 升至基座的 3.70×。第 4.1 节把同一倍数用于猜测次数，并归因于过拟合与 mode collapse。作者称 DPO 因只微调 hard token，全程 ARPT 较稳定。
• 作者的解读：SFT 与 DPO 的最优检查点随模型规模变化，需要按验证集调整。

其他消融与分析

• Table 1，PubMedQA、Qwen-2.5-3B：OPTILEAK 的 ASR500 为 11.0%，低于 SFT 的 12.0%；ASR1000 为 31.0%，SFT 为 28.0%。
• Table 1，MedQA、Qwen-2.5-7B：OPTILEAK 的 ASR500/ASR1000 为 22.7%/48.0%，SFT 为 24.0%/49.3%；ASR10000 为 96.0%，SFT 为 94.7%。
• Table 1，PubMedQA、Qwen-2.5-7B：OPTILEAK 的 ASR500 为 6.0%，低于 SFT 的 9.0%。
• Table 1，PubMedQA、Qwen-2.5-14B：仅 DPO 的 w/l 为 40.0%，ASR10000 为 59.0%，Base 为 58.0%。
• 论文未报告 γ、β、θ 的取值扫描，也未报告统计显著性检验。

作者指出的局限与后续方向

• 其他平台的验证器：第 6 节称，为 LPM 以外的调度和推理引擎设计专门验证器是后续的关键方向，以便进一步理解实际的缓存侧信道。论文没有 Limitations 专节；讨论、结论和附录没有把某项实验结果写成方法局限。

实验覆盖范围

• 模型：本地骨干为 Qwen-2.5 的 3B、7B、14B-Instruct 与 Llama-3.1-8B-Instruct；全部实验的服务器都是 Qwen-2.5-3B-Instruct（第 5.1–5.2 节、Table 1）。
• 数据与指标：评测条数为 MedQA 150、PubMedQA 100、FinanceBench 50。指标为 ASR500、ASR1000、ASR10000、ARPT 和 w/l。命中由位置间隔判定，没有 LLM 评审。
• 对照与偏移：Table 1 比较 Base、SFT、仅 DPO 与 OPTILEAK。分布偏移只在 Qwen-2.5-3B-Instruct 上报告（Table 2），训练来源为 MedQA、PubMedQA、FinanceBench 或无先验。
• 消融与攻击通道：训练步数消融覆盖 MedQA 与 FinanceBench（Figure 3），图注中的 SFT 检查点为 500 步和 100 步。实现的通道是 SGLang 上的 LPM，m 与候选数均为 20。
• 论文未报告的实验信息：γ、β、θ 的取值，重复次数，MedQA 微调所用条数，以及统计显著性检验。第 6 节讨论了 FCFS、TTFT 侧信道、vLLM 和语义缓存的兼容，也讨论了用模拟攻击估计泄露所需查询数并在此前驱逐缓存，但这些设置没有 ARPT 或 ASR。

• 定位：OPTILEAK 是针对多租户 LLM 服务中共享 KV cache 的主动提示重构攻击，用强化学习式的偏好优化提高探测效率，而不是再增加一种侧信道。
• 问题：缓存命中会改变 TTFT 或 LPM 下的响应顺序。作者称先前攻击能恢复他人提示，但请求数高，低估了知道查询领域、并能微调本地模型的对手。
• 方法：本地模型先在领域辅助数据上做 SFT，再按 token 似然排名自动找出 hard token，与贪心解码的错误 token 组成偏好对并做 DPO。探测在 SGLang 上逐 token 进行，候选查询夹在哑查询之间，用响应位置间隔判断命中。实验中 m 与候选数均为 20，服务器固定为 Qwen-2.5-3B-Instruct。
• 主结果：Table 1 中，四个本地模型在 MedQA、FinanceBench、PubMedQA 上的 OPTILEAK ARPT 都低于 Base、SFT 和仅 DPO。作者称 FinanceBench、Qwen-2.5-3B 相对 Base 的降幅为 12.48×；该行 SFT 的 ARPT 已是 20.81，OPTILEAK 为 19.29，三项 ASR 与 SFT 相同。作者称 SFT 后再 DPO，在 MedQA、Qwen-2.5-3B 上相对 SFT 再降 18.1%。三个基准上最低 ARPT 都来自 3B，不是 14B。
• 例外：仅 DPO 的 ARPT 接近 Base，且 Table 1 中有 w/l 低于 50.0% 的格子。错领域训练时 ARPT 上升，Table 2 中测 PubMedQA、用 FinanceBench 训练的升幅为 53.8%。MedQA 上把 SFT 训练到 3000 步后，ARPT 升至基座的 3.70×。
• 作者的结论：作者称优化后的攻击者使缓存提示泄露比先前报告更严重，因此生产部署需要可靠的缓存隔离。第 6 节还讨论把同一流程用作服务方的驱逐前风险评估，以及用户级隔离、选择性共享和响应计时噪声等已有缓解；这些用法和缓解没有在实验中给出数字。