跳到正文
原文

当洗牌失效时:从被混淆的 KV 缓存中恢复 token

When Shuffling Fails: Token Recovery from Obfuscated KV Caches

arXiv:其他 AI 安全论文· arXiv:2611.24276· Chengzhi Yi, Xiao Cheng, Wei Song, Haoyu WangHuazhong University of Science and Technology; Macquarie University; Griffith University本站收录· 13 小时前· 原文发表入选 攻击· 扫描记录里的位置 →精选关注度44

论文速读

攻击

据论文 PDF 整理(AI 生成),以原文为准

作者提出 Repeat-to-Reveal 攻击,利用重复输入使 KV-Cloak 的 b! 洗牌坍缩为 b 态,在 3,000 条 WildChat 提示上实现 100% token 多重集恢复。

威胁模型攻击者知道公开模型权重和分词器,可提交自有文本请求并读取对应受保护缓存块,也能观察同一秘密配置(S、M、a)下目标请求的受保护块;攻击者无法获得 S、M、a、受害者明文或防御方融合后的模型权重。

问题
LLM 服务系统存储和共享 KV 缓存块,暴露 token 级表示。一类防御(shuffled obfuscation)用秘密线性变换加随机置换保护缓存,声称 b! 的置换群大小提供安全性,作者认为这一论证存在缺陷。
方法
作者指出输入对称性使 b! 坍缩为 b 个可区分状态,提出 Repeat-to-Reveal 攻击:用重复 token 探针校准出等效解混器(demixer),再经公开模型字典匹配恢复 token 多重集,并用 LM 束搜索排序;另提出 V EIL KV 认证加密防御。
实验与结果
在 KV-Cloak 上,11 个模型 13 种配置、3,000 条 WildChat 提示的 token 多重集恢复 Rbag 达 100%(GPU);LM 排序 Scos 为 0.947;100 个合成敏感值案例的 Acc@1 为 97.5%;机制在另两个同类防御上得到确认。
局限与可以继续做的
作者称攻击要求探针与目标共享同一秘密配置(S、M、a),未测量真实部署满足该条件的频率;目标为英文 WildChat 提示、第一层 Value 块;敏感值实验为闭集设定;V EIL KV 延迟开销非可忽略,生产部署还需硬件密钥隔离与防回滚。
实验设置Qwen2.5-0.5B、Qwen2.5-1.5B 等 · WildChat (allenai/WildChat-4.8M)、100 synthetic sensitive-value cases · Rbag (bag recall)、Apos (position acc.) 等
威胁模型
攻击者知道公开模型权重和分词器,可提交自有文本请求并读取对应受保护缓存块,也能观察同一秘密配置(S、M、a)下目标请求的受保护块;攻击者无法获得 S、M、a、受害者明文或防御方融合后的模型权重。具体实例为对卸载缓存池有读权限的基础设施运营者。
被测模型
Qwen2.5-0.5BQwen2.5-1.5BQwen2.5-3BQwen2.5-7BQwen3-0.6BQwen3-1.7BQwen3-14BQwen3-32BLlama-3.2-1BOLMo-2-1BTinyLlama-1.1BLlama-3.1-8B
基准
WildChat (allenai/WildChat-4.8M)100 synthetic sensitive-value cases
指标
Rbag (bag recall)Apos (position acc.)EM (exact match)Scos (embedding cos.)Acc@k (top-k acc.)candidate F1min column cosinerel. errorsep. ratio
AI 导读和推荐理由华中科技大学等机构研究者在论文中提出 Repeat-to-Reveal 攻击,攻破 KV-Cloak 等以秘密变换加随机置换保护 KV 缓存的混淆防御,在 11 个模型、13 种配置和 3,000 条 WildChat 提示上实现 100% 的 token 多重集恢复,包括运行中 vLLM 引擎产生的缓存。攻击利用输入对称性,重复 token 提示使整块 Value 行相同、随机置换失效,有效状态空间从 b! 坍缩到 b,一次校准即可在同一秘密周期内跨请求被动恢复后续缓存块,并经语言模型排序还原文本,与原文的语义相似度达 0.947。合成测试中,攻击以 97.5% 的期望 top-1 准确率从 100 个候选中识别密码、卡号等敏感值;同样的坍缩机制也在 Thomas 等人的序列置换防御和 PermLLM 上得到验证。

华中科技大学等机构研究者在论文中提出 Repeat-to-Reveal 攻击,攻破 KV-Cloak 等以秘密变换加随机置换保护 KV 缓存的混淆防御,在 11 个模型、13 种配置和 3,000 条 WildChat 提示上实现 100% 的 token 多重集恢复,包括运行中 vLLM 引擎产生的缓存。攻击利用输入对称性,重复 token 提示使整块 Value 行相同、随机置换失效,有效状态空间从 b! 坍缩到 b,一次校准即可在同一秘密周期内跨请求被动恢复后续缓存块,并经语言模型排序还原文本,与原文的语义相似度达 0.947。合成测试中,攻击以 97.5% 的期望 top-1 准确率从 100 个候选中识别密码、卡号等敏感值;同样的坍缩机制也在 Thomas 等人的序列置换防御和 PermLLM 上得到验证。

推荐理由论文指出依赖置换随机性的 KV 缓存混淆防御在攻击者选定输入下有效状态空间会坍缩,部署私有推理防护的团队可据此检验安全论证。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    作者称 shuffled obfuscation 类 KV 缓存防御的 b! 安全论证因输入对称性失效,实际可区分状态可坍缩到 b。

    核心问题:shuffled obfuscation 类 KV 缓存防御把 b! 的置换群大小当作安全屏障,作者认为这一论证在攻击者选择输入下不成立。

    • 场景与重要性:LLM 服务系统为效率会存储、卸载和共享 KV 缓存块,缓存向量编码与用户输入绑定的 token 级表示,基础设施运营者和共租户可读到这些内容承载数据。
    • 现有防御及其论证:KV-Cloak、PermLLM 等设计把秘密线性变换与每块新鲜随机置换结合,作者称这些工作以 b 个元素 b! 种洗牌作为暴力恢复不可行的依据。
    • 核心观察:b! 只度量防御方能采样多少种洗牌,安全性取决于在攻击者选定输入下有多少种产生可区分输出。重复 token 输入使整个缓存块的 Value 行相同,每个行置换都相当于恒等,只有单行恢复标记的位置仍变化,有效状态空间从 b! 坍缩到 b。
    • 论文提出:Repeat-to-Reveal 攻击(从自有探针块恢复等效 demixer 并跨请求迁移,经公开模型字典匹配做 token 多重集恢复),以及 V EIL KV(字节级认证加密防御)。
    • 威胁模型(Section 2.3,Table 1):
      • 目标:恢复每个完整目标块的 token 多重集;次要目标为闭集识别(给定同类型候选值列表,判断哪个出现在块中)。
      • 知识:知道公开模型权重和分词器、公开块大小 b 和头布局。
      • 能力:可提交自有文本请求并读取对应受保护缓存块,可观察同一秘密配置(S、M、a)下目标请求的受保护块;具体实例是对卸载缓存池有读权限的基础设施运营者。
      • 不可获得:S、M、a、受害者明文、防御方融合后的模型权重;不声称通用精确提示重建、更深层恢复或对拥有全部中间计算的不受信加速器的攻击。
  2. 有哪些相关研究?

    相关工作分为输入对称性与秘密复用、缓存保护与授权复用、机密推理、文本恢复与隐私测量四组。

    输入对称性与秘密复用

    • 经典置换密码攻击(Li et al., 2008)——利用选择输入缩减有效密钥空间;GELO(Belikov & Fedotov, 2026)识别新鲜批混合下的重复与 Gram 泄漏;ConjFormer(Yukhimchuk et al., 2026)在正交共轭下做推理。
    • KV-Cloak(Luo et al., NDSS 2026)——论文指出其自身已认识到重复导致的置换坍缩并引入恢复标记支持合法解码;本文的贡献是证明该标记在重复文本下仍把轨道限制在 b 个状态,且状态间秩一差分可代数识别复用变换。
    • Thomas et al.(ICML 2025)——通过前缀条件候选匹配从行、坐标和分解置换的隐藏状态重建 token;论文指出其攻击针对无稠密混合的纯置换防御,缺少 KV-Cloak 的行变换 S、列变换 M 和加性标记,且其候选匹配按前缀逐块进行,本文的代数校准可跨请求复用。

    其他针对推理保护的结构攻击

    • Saini et al.(2026)用零查询和基向量查询识别复用噪声子空间;Collapse(Zhou et al., 2026)对齐混淆权重视图并分离掩码;ArrowRevelio、SpectralLeak/LatticeLeak、BiShield-TEE(2026)研究共享方向或单边权重变换。论文指出这些攻击通常需要访问模型权重或中间激活,本文方法只作用于存储的缓存块。

    缓存保护、授权复用与机密推理

    • EarlyBird(Song et al., 2024)利用共享前缀的计时侧信道;PromptPeek(Wu et al., NDSS 2025)从缓存元数据恢复提示内容;SafeKV、CachePrune、CacheSolidarity 选择性共享或隔离缓存。论文指出这些防御针对访问模式或计时泄漏,不保护存储字节本身,V EIL KV 改为加密并认证缓存字节。
    • CryptoGen(2026)结合同态加密与秘密共享;Cachemir(2026)优化基于 FHE 的 KV 缓存推理;Cascade(Thomas et al.)分发 token 分片。论文称 V EIL KV 处于不同设计点:对存储字节用标准密钥派生和 encrypt-then-MAC,而非计算级加密。

    文本恢复与隐私测量

    • 嵌入反演工作(Morris et al., 2023;Li et al., 2023;Dong et al., 2025;DeepInvert 等)用学习映射或共现对齐从稠密表示重建文本,产生近似重建。论文称本文恢复由精确代数方程支撑,demixer 以 100% 多重集精度给出 token 身份,另用语言模型排序步骤推断块内位置。

    基线与基准:攻击无直接可比基线——论文称 Thomas et al. 针对纯置换防御,直接对比不适用(Appendix B.7);防御性能对比的基线为 unfused/fused KV-Cloak 与无前缀共享的认证加密(Figure 6);排序对比 GPT 模型 Sol 与 Luna(Appendix D.1)。目标提示取自 WildChat-4.8M。作者将本文定位为把对称性观察转化为完整、可跨请求复用的 demixer,并覆盖稠密混合的洗牌缓存这一先前攻击未覆盖的设置。

  3. 论文如何解决这个问题?

    Repeat-to-Reveal 用重复 token 探针收集 b 个可区分状态,代数恢复等效 demixer,再字典匹配恢复多重集并用 LM 束搜索排序。

    整体思路:把输入对称性转化为校准信号——重复 token 探针使新鲜置换失效,暴露 b 个仅标记位置不同的受保护状态,从中代数恢复复用的秘密参数(等效 demixer),再对任意同秘密 epoch 的目标块做字典匹配恢复 token 多重集,最后用公开语言模型推断块内顺序。方法名为 Repeat-to-Reveal,防御为 V EIL KV。

    问题形式化与轨道坍缩

    • 防御抽象为 C = f(P, T(X) + A);KV-Cloak 默认路径为 C = SP(VM + A),其中 S ∈ O(b)、M ∈ O(d) 为秘密行/列变换,P 为每块新鲜置换,A = er aT 为单行加性标记;S、M、a 在一个 cloak 实例内跨请求复用,仅 P 每块新鲜采样。
    • 重复 token 输入产生 V = 1b vT,使任意行置换满足 PV = V;式(4)给出 C(P) = uwT + SPA,仅标记移动。
    • Proposition 1:单行标记下可区分受保护输出数恰为 b(一般为 b!/|Stab(A)|)。

    参数识别(Theorem 2)

    • 状态差分 Ci − Cj = (si − sj)aT 为秩一矩阵,其右奇异方向给出 a/∥a∥(正性定号),非零奇异值 √2∥a∥ 给出幅度。
    • 投影 Cj Qa 给出 u(∥u∥ = √b 定幅度),由式(8)恢复 w 并用范数测试消除符号歧义,式(9)逐列恢复 S(列序未知)。
    • M 具有配对旋转结构(式(3),旋转已知坐标对 Ii = (i, i+d/2)),每个非零对由式(10)确定角度 θi(模 2π)。

    攻击流程(Algorithm 1,三阶段)

    1. 校准(每头一次):构造产生长常量 token 后缀的探针,收集受保护块;用自适应距离阈值 τ 聚成 b 个簇(不足 b 簇则跳过该头);按 Theorem 2 恢复 a、u、w、S 的列与 M 的角度。
    2. 多重集恢复:用公开模型权重按式(1)预计算 token→Value 向量字典;对每个目标块尝试 b 个标记假设,按式(15)解混并对每行做最近字典匹配,选总余弦得分最高的假设;代价为 b 个假设而非 b! 个置换。
    3. 排序重建:用公开自回归语言模型做计数约束束搜索(式(17)打分),束宽 β,上下文上限 c 个已重建 token,保持每块多重集不变推断块内顺序。

    收集成本与精度条件

    • 收集全部 b 态是 coupon-collector 过程:期望需 bHb 块,b = 16 时约 54.1 块;式(12)给出充分提交 token 预算 L ≥ b(⌈p/b⌉ + ⌈b log(bH/δ)⌉)。
    • 浮点噪声下,4ϵ < √2∥a∥ 时存在分离距离阈值;字典解码在 2η < γ(内积裕度)时保持正确最近邻。

    V EIL KV 防御设计

    • 字节级认证加密:AES-128-CTR 加密、encrypt-then-MAC 认证,HKDF 派生加密、认证和 IV 材料(Appendix B.3)。
    • 公共前缀按共享策略存一次;私有尾部绑定所有者(principal)、请求 nonce 和 epoch(密钥版本);可信适配器先验证绑定与认证标签再释放 KV 值;持久 SQLite 账本拒绝 nonce 复用。
  4. 论文做了哪些实验?

    11 模型 13 配置 3,000 提示上 Rbag 达 100%;排序 Scos 0.947;敏感值识别 Acc@1 97.5%;V EIL KV 功能正确但延迟更高。

    实验设置

    • 被测模型:Llama-3.2-1B、OLMo-2-1B、Qwen2.5-0.5B/1.5B/3B/7B、Qwen3-0.6B/1.7B/14B/32B、TinyLlama-1.1B(0.5B–32B,共 11 个);Qwen3-14B 全模型 FP32,Qwen3-32B 只用第一层以装入单卡;防御性能测试用 Llama-3.1-8B(FP32)。
    • 防御实现:官方 KV-Cloak(commit 6b40f36),单张 A100-SXM4-80GB,PyTorch 2.6.0+cu124,Transformers 4.51.3;主套件 FP32,校准在 CPU、目标解码在 GPU。
    • 配置:全部模型用 16-token 块,Qwen2.5-0.5B 另测 8/32-token 块,共 13 种配置。
    • 数据集:WildChat-4.8M 取每段对话首条用户消息,保留 2025 年英文、排除 toxic/redacted,按 Qwen2.5-0.5B 分词长度分 5 组(32–63 至 512–767)各随机取 600 条,共 3,000 条;排序、秘密轮换、缩放、权重融合和 live-vLLM 实验用固定的 602 条内容均衡子集;RQ3 用单独构造的 100 个合成敏感值案例(6 类,每类 16–17 例,每例 100 候选)。
    • 指标与判定:Rbag(式 18,池化 bag recall)、Apos、EM、Scos(all-MiniLM-L6-v2,256 encoder token 上限)、candidate F1 与 Acc@k(式 21–22);RQ1 用 min column cosine、rel. error、sep. ratio;每个目标用两个独立置换种子保护。
    • 重复与基线:秘密配置 5 个独立种子;排序对比随机块内洗牌与 GPT 模型 Sol(medium reasoning)、Luna(high reasoning)(Appendix D.1);论文称无先前攻击可从稠密混合洗牌缓存恢复 token,直接基线对比不适用(Appendix B.7)。

    主结果

    据 Table 3(GPU 第一层 Value 恢复,3,000 提示、全部 KV 头、两个洗牌种子):

    表格较宽,可左右滑动

    模型bHeadsdProbeMatches/totalRbag (%)
    Llama-3.2-1B168643,20112,307,712/12,307,712100.00
    OLMo-2-1B16161283,20024,748,544/24,748,544100.00
    Qwen2.5-0.5B162643,2003,121,856/3,121,856100.00
    Qwen2.5-0.5B3226420,2503,025,920/3,025,920100.00
    Qwen2.5-0.5B82641,2803,167,744/3,167,744100.00
    Qwen2.5-7B1641283,2006,243,712/6,243,712100.00
    TinyLlama-1.1B164642,0337,791,872/7,791,872100.00
    Qwen3-32B1681283,20012,480,000/12,480,000100.00

    (省略 Qwen2.5-1.5B/3B、Qwen3-0.6B/1.7B/14B,均为 100.00;总计 116,571,072/116,571,072,Rbag = 100.000。)

    • 作者称两个独立洗牌副本确认新鲜块置换不能阻止恢复;5 个独立种子配置下 Qwen2.5-0.5B 与 Llama-3.2-1B 均 100% bag recall。
    • 作者称校准绑定当前秘密:602 提示(359,936 token)上更换 S、M、a 后沿用旧估计恢复率降至 0.412%,重新校准恢复 100%(Appendix B.4 给出 1,482/359,936)。

    RQ1:机制验证

    • 状态分离与参数精度:每个被测头恰形成 b 个簇(8/16/32,与块大小一致),sep. ratio 超过 1,324.6;S 的最小匹配列余弦 0.99999988,w 的 rel. error 至多 3.79 × 10−6(5.2)。
    • 校准成本(Figure 3,100 个 Qwen2.5-0.5B 配置,b = 16):512 token 及以下两个成功标准均为 0/100;1,024 token 时 60/100;2,048 token 时 100/100;达到全覆盖的试验全部校准成功。
    • 其他防御的轨道坍缩:Thomas et al. 的序列置换实现重复行下恰剩 b 态(4 种块大小、FP32/bf16);PermLLM 另做行内坐标洗牌,原始输出保持不同(512/512),但行内排序后只暴露 b 种可区分行排列;PermLLM 原生三方 LayerNorm 协议下全部 1,280 项检查稳定(Appendix E.5)。

    RQ2 续:变体、live vLLM 与排序

    • 权重融合:M 融合进 Value 投影权重后,602 条 Qwen2.5-0.5B 目标恢复 359,936/359,936(100%)。
    • 可选缩放:Qwen2.5-0.5B 与 Llama-3.2-1B 上 6 种缩放设置(各 602 提示)适配后 bag recall 均 100%,4 种设置提升、2 种不变(Figure 8)。
    • live vLLM:vLLM 0.8.5.post1 集成下,602 提示两个 KV 头全部 token 恢复(100%)(Appendix E.4)。
    • 排序(Table 4,602 提示,Qwen2.5-0.5B head 0,bf16 Qwen2.5-0.5B 先验,束宽 16、上下文 80 token):恢复 token 带上下文 Apos = 28.638%、EM = 1/602、Scos = 0.94725;真实 token 带上下文结果相同;无上下文 Apos = 11.662%、Scos = 0.92719;随机排序 Apos = 7.732%、Scos = 0.81713。作者称 LM 与跨块上下文各有贡献,但排序歧义仍大(仅 1/602 完全正确)。

    RQ3:敏感值识别

    • 设定:100 个合成案例(密码、信用卡号、SSN、病历号、姓名、地址),每例 100 个同类候选,Qwen2.5-0.5B,按 candidate F1 排名。
    • 结果:95/100 唯一最高分,其余 5 例并列,期望 Acc@1 = 97.5%;top-5/top-10 均 100%;六类均不低于 88.235%(Figure 4)。
    • 对照:无恢复 token 时 Acc@1 = 1%(随机水平);不同秘密保护下沿用旧估计降至 0.991%。作者称识别信号完全来自恢复的私有 token。

    RQ4:V EIL KV 防御评测

    • 正确性:4 类授权操作(重保护、改所有者/密钥版本、生成中保护、公共前缀复用)在 Qwen2.5-0.5B 与 Llama-3.2-1B、FP32/bf16、5 种 padding 布局下全部通过;Appendix E.3 报告每操作 12,040/12,040,共 48,160 通过。
    • 完整性:全部 493,640 次篡改检查(改元数据、密文字节、截断、nonce 重放)在任何恢复状态到达模型前被拒绝。
    • 性能(Figure 6,Llama-3.1-8B、FP32、块 16,每操作每长度组 1,000 次计时):V EIL KV 中位保护时间 103 ms(最短组)至 555 ms(最长组),恢复 37–494 ms;unfused KV-Cloak 保护 32–33 ms、恢复 50–52 ms。作者称差距来自可信 CPU 密码学与 GPU–CPU 传输,延迟开销非可忽略。

    其他消融与分析

    • S、a 刷新(M 不变):旧估计恢复从 100% 降至 6,288/359,936(1.747%)(Appendix B.6)。
    • 数值掩码对照(Appendix B.7):特征值匹配识别 258/602 Qwen、402/602 Llama 目标;排序行范数 30/602、176/602;Procrustes 75/602、13/602。
    • GPT 排序(Appendix D.1):Sol 精确重建 4/602、Luna 0/602;保留全部 token 及计数 47/602、0/602。
    • 校准耗时(Appendix E.1):中位 0.853 s(Qwen)、1.847 s(Llama)每次会话;目标解码 43.4 s(Qwen)/120.0 s(Llama)每 1,000 token。
    • vLLM 参考可复现性(Appendix E.4):bf16 前缀缓存下两次运行一致 555/602(块 16)、539/602(块 32);关闭前缀缓存 602/602。
  5. 有什么可以进一步探索的点?

    作者列出闭集设定、秘密共享前提等有效性约束;实验覆盖 11 个公开模型、英文 WildChat 与第一层 Value 块。

    作者指出的局限与后续方向

    • 闭集识别设定(Section 6.3 Construct validity):敏感值实验使用已知周围文本的闭候选集,识别主张限于该受控设定;Section 2.3 亦说明该目标以候选知识为条件,不构成无约束凭据恢复。
    • 秘密共享前提未测量(Section 2.3):攻击要求探针与目标在同一秘密配置(S、M、a)下处理,作者称未测量真实部署满足该条件的频率;缓存级访问是攻击前提而非贡献。
    • 外部有效性范围(Section 6.3 External validity):目标样本为五个长度组的英文 WildChat 对话;恢复针对第一层 Value 块(字典查找需要位置无关表示,第一层成立);轨道坍缩在另两个防御上确认,但每种构造需要自己的参数恢复方法。
    • V EIL KV 部署前提(Section 6.3):V EIL KV 在所测软件与 vLLM 版本中验证;生产部署还需硬件支持的密钥隔离和 epoch 账本的防回滚保证(Appendix B.3 原型模拟硬件控制的密钥释放并假设可信存储防回滚)。
    • 延迟开销(RQ4 回答,Section 5.5):作者称 V EIL KV 相对 GPU 内混淆基线的延迟开销非可忽略,反映字节级密码学与 CPU–GPU 传输成本。
    • 恢复范围声明(Section 2.3):作者不声称通用精确提示重建、更深层恢复,也不针对可访问全部中间计算的不受信加速器。

    实验覆盖范围

    • 被测模型为 Qwen、Llama、OLMo、TinyLlama 家族的 11 个公开模型(0.5B–32B),13 种配置(块大小 8/16/32);Qwen3-32B 仅使用第一层。
    • 目标数据为 3,000 条英文 WildChat 提示(2025 年对话、排除 toxic/redacted);排序、秘密轮换、缩放、权重融合与 live-vLLM 实验固定在 602 条子集上;RQ3 为 100 个合成案例。
    • 恢复目标为第一层 Value 块;排序仅对 Qwen2.5-0.5B head 0 的 16-token 块评估;敏感值识别仅用 Qwen2.5-0.5B。
    • 机制确认覆盖 Thomas et al. 序列置换实现与 PermLLM(各 120 个固定探针、Llama-3.2-1B 第一层);V EIL KV 性能计时在 Llama-3.1-8B(FP32,块 16/32/64)与 Qwen2.5-0.5B(bf16,块 16)上进行。
    • 论文未报告攻击在真实多租户部署中秘密作用域共享的发生频率,也未报告除 WildChat 外其他数据分布下的恢复率。
  6. 总结一下论文的主要内容

    输入对称性使洗牌混淆的 b! 屏障坍缩为 b 态,Repeat-to-Reveal 在 KV-Cloak 上实现 100% token 多重集恢复。

    一篇针对 KV 缓存混淆防御的攻击论文:作者称 shuffled obfuscation 范式(秘密线性变换加每块新鲜置换)以 b! 置换群大小作为安全论证的做法,在攻击者选择输入下不成立。

    • 问题:KV 缓存的存储、卸载与共享把 token 级表示暴露给基础设施运营者;KV-Cloak 等防御用秘密变换加新鲜洗牌保护,但重复 token 输入使所有 Value 行相同,行置换成为恒等,仅单行恢复标记位置变化,可区分状态从 b! 坍缩到 b。
    • 方法:Repeat-to-Reveal 用重复 token 探针收集 b 个状态,利用状态间秩一差分代数恢复等效 demixer(无需防御方秘密参数),一次校准即可在同一秘密 epoch 内跨请求迁移;再经公开模型字典匹配恢复 token 多重集,并用计数约束 LM 束搜索推断块内顺序。
    • 主结果:在官方 KV-Cloak 实现上,11 个模型(0.5B–32B)、13 种配置、3,000 条 WildChat 提示的 Rbag 为 100%(116,571,072/116,571,072,Table 3),含 live vLLM 缓存;2,048-token 探针在 100 个配置上全部校准成功(Figure 3)。
    • 隐私影响:LM 排序在 602 提示上达 Scos = 0.947(Apos = 28.638%,Table 4);100 个合成敏感值案例的期望 Acc@1 为 97.5%(Figure 4);更换 S、M、a 后旧估计恢复率降至 0.412%,作者称这确认秘密复用作用域是关键漏洞。
    • 泛化与防御:同一轨道坍缩机制在 Thomas et al. 序列置换实现与 PermLLM 上得到确认;作者提出 V EIL KV(字节级认证加密,绑定所有者、请求 nonce 与 epoch),功能与完整性检查全部通过,但作者称其延迟开销相对 GPU 内混淆非可忽略。
    • 作者结论:作者称这些结果构成范式级漏洞,真正的安全度量是对手选择输入下的可观察轨道大小而非群阶,防御应基于认证加密而非代数模糊;作者已通过 KV-Cloak 私有漏洞报告渠道提交详细报告,开发者确认了该漏洞。
阅读原文arxiv.org