PMA 攻击：针对隐私保护 LLM 中嵌入到嵌入混淆的语义流形对齐方法

E2EO 用大规模一对一替换隐藏 embedding，却完整保留原句语义结构，诚实但好奇的服务器能否只凭混淆向量流把明文译回来？

• 场景：用户把敏感查询（金融、医疗、法律等）交给远程 MLaaS。本地部署 LLM 成本高，上传明文会让 honest-but-curious 服务器推断敏感信息（Figure 1）。MPC、FHE、TEE 有强隐私保证，但作者称 FHE 系统生成单个 token 需要数秒，延迟过高。
• 现有不足：作者把一类轻量方法统称为 Embedding-to-Embedding Obfuscation（E2EO）：用户在本地做固定变换再上传。它是确定性一对一映射，微调后接近明文推理效用，能做随机噪声方案做不到的生成任务。作者称它能挡住 token frequency 攻击和 embedding inversion，但安全来自 obscurity，没有可证明的密码学保证。
• 核心观察：即使数值被完全随机化，上传的向量流仍保持原句结构，类似大规模 token 级 Caesar cipher。作者把混淆向量流看成未知 tokenizer-language，符号就是各个向量，从而把恢复写成从该语言到明文的翻译。
• 威胁模型：
  • 目标：用户明文 token 序列 x 经未知一对一混淆得到 Z。攻击者输出 x̂ = F(Z)，成功条件为 Sim(x, x̂) ≥ η，Sim 例如 ROUGE-L，η ∈ [0, 1]（式 (1)，第 3.1 节）。
  • 知识：只看到混淆流，不知 E2EO 机制、密钥、映射规则或明密文对；假设知道目标 LLM 的 tokenization scheme T。作者认为这符合现有 E2EO 多用公开模型、而非闭源 tokenizer 不可得的部署。
  • 两类先验：Task-Aware 知道任务类型但没有用户样本；Task-Agnostic 既无样本也不知任务，只用通用公开语料。作者称任务类型可从 API、应用签名、包长等旁路或 OSINT 推断。
  • 受害系统：在混淆向量上做推理的远程服务器；不需要原始 embedding、配对数据或对具体 E2EO 的先验。
• 提出的方法：作者提出 Proxy Manifold Alignment（PMA），分别对混淆流和公开语料建模共现，对齐两个代理流形，再把混淆向量映回明文。作者称这暴露的是 E2EO 范式本身的结构泄漏，而不依赖某一种实现。

论文在引言和第 2 节把相关工作分成 E2EO、已有攻击和作为方法灵感的无监督对齐。

• 重型隐私计算：MPC（Pang et al., 2024）、FHE（Moon et al., 2025; de Castro et al., 2025; Zhang et al., 2026）、TEE（Wilke et al., 2024）提供强隐私，但计算与通信开销大。随机噪声加到 embedding（Zhou et al., 2023a）会使同一输入对应不同表示，并带来不可逆的效用下降（Du et al., 2023; Zhou et al., 2023b）。
• 现有 E2EO：ObfusLM（Lin et al., 2025）用 embedding 聚类与置换隐藏 token；SentinelLMs（Mishra et al., 2024）用保距几何变换；CodeCipher（Lin et al., 2024）用按行矩阵置换做确定性 token 混淆；STIP（Yuan et al., 2024）重排中间表示；AlienLM（Kim and Kang, 2026）把每个明文 token 双射到替代 token。作者认为这些方法都依赖确定性一对一映射并完整保留原句结构，因而会被 PMA 攻击。
• 针对 E2EO 的已有攻击（Table 1）：数值类依赖局部邻域，空间被打乱后失效，包括 KNN（Qu et al., 2021）、SDA（Kambhatla et al., 2018）、ERA（Lin et al., 2025）；监督方法如 InvBert（Kugler et al., 2024）需要模型权重和大规模平行数据；统计方法 TFA（Nie et al., 2024; Chiu et al., 2025）对齐 token 频率，但现代 LLM 词表大、长尾稀疏，作者认为对齐不可靠。Table 1 中 PMA 不需要模型权重、平行数据或同分布辅助数据，恢复依赖的是语义流形。
• 无监督对齐：攻击灵感来自无监督双语对齐（Ravi and Knight, 2011）以及 Gromov-Wasserstein 词向量对齐（Alvarez-Melis and Jaakkola, 2018）。附录 F 还比较了 MUSE（Lample et al., 2018）和 VecMap（Artetxe et al., 2018）。迭代互近邻细化沿用 Artetxe et al. (2018)。

基线方法与基准/数据集：攻击基线为 KNN、SDA、ERA、TFA、InvBert；被攻击的 E2EO 为 ObfusLM、SentinelLMs、AlienLM、CodeCipher、STIP 以及静态随机混淆。对比实验用 SST-2 与 Alpaca；跨域用 C4、RedPajama、OpenWebText、LMSYS-Chat-1M、CNN News、Hacker News、The Stack V2。

作者把 PMA 定位为不依赖数值相似度、平行数据或稳定 token 频率的语义恢复，并把攻击改写成对保留下来的语义结构做翻译。

PMA 把只看得到的混淆向量流当成一种外语：用同一 tokenizer 在公开语料上建平行的明文代理空间，再按流形的成对距离对齐，得到全局一对一替换。Figure 2 中作者称，尽管语料不同，混淆流形与明文流形几何高度相似。Figure 3 把流程画成三步。

问题设定与形式化

• 输入与输出：明文 token 序列 x = (t1, …, tn)，未知一对一混淆后服务器只见 Z。攻击输出 x̂。成功由语义相似度阈值 η 判定，论文举例 Sim 为 ROUGE-L。
• 符号：同一 tokenization scheme T 的词表为 V，两个代理空间维数为 d。密文代理空间 XC ∈ R^|V|×d，明文代理空间 XP ∈ R^|V|×d。因为两边用同一 tokenizer，作者认为两个 tokenizer-language 的词表本质相同，符号间是严格一对一。
• 与普通跨语言对齐的差别：传统跨语言任务里两种语言符号集不同；这里两边由同一 tokenizer 诱导。对齐误差分析放在附录 C。

构建代理语义空间

• 密文侧：把上传流编译成语料，每个不同的混淆向量抽象成一个离散符号，再用词向量模型按共现学习表示。默认是 CBOW Word2Vec。
• 明文侧：对公开数据用同一个 T 分词，训练配置与密文侧相同，得到对齐用的参考空间。
• 不使用原始 embedding：对齐发生在两个代理空间之间，不依赖被混淆掉的原始数值或模型权重。

初始锚点对齐

• 选锚点：从两边语料各取最高频的 top-K 个符号作为锚点集 AP、AC，把初始对齐限制在这个共享高频子空间。默认 K = 2000。
• 流形距离：在 ℓ2 归一化后的锚点子空间上，用 1 − cos 定义成对语义距离矩阵 MP、MC（式 (3)(4)）。
• GW 最优传输：在均匀边际的耦合集合上最小化两边距离差的加权平方，得到软对齐 Γ(0)（式 (5)）。作者称这样比绝对坐标更稳定。

全局对齐与细化

• 从锚点到全局：用正交 Procrustes 从 Γ(0) 求显式正交映射 Q0，闭式解由 SVD 给出（式 (6)）。
• MNN 迭代：高维 embedding 有 hubness，少数 hub 会成为许多无关 token 的最近邻，破坏一对一恢复。每一轮 r 用 Q_{r−1} 在全词表上算余弦相似度，只保留互为最近邻的 token 对，再解一次正交 Procrustes 更新 Qr（式 (7)–(10)）。重复到收敛或 MNN 对不足。默认 5 轮。
• 最终恢复：收敛后用标准最近邻，把每个混淆向量映回明文 token。

实现与判定

• 默认配置：CBOW Word2Vec、2000 个锚点、5 轮细化；实验在单张 NVIDIA L20 GPU 上跑。其余实现细节在附录 A。附录 B 给出 Top-1、Top-3 与 ROUGE-L 的公式。
• 指标角色：token 级看 ground-truth 是否落在 Top-1 或 Top-3；序列级用 ROUGE-L。另报告各条件下 PMA 的平均总运行时间。

实验设置

• 被测模型：BERT-base、RoBERTa-base、T5-base、LLaMA-2 (7B)、LLaMA-3 (8B)、Gemma-7B。词表约 30k–256k，tokenizer 覆盖 BPE、WordPiece、SentencePiece。与先前工作对比时用 BERT 和 LLaMA-3；其余实验除非另有说明，用 LLaMA-2 及其原生 tokenizer。
• 数据：基线对比把 SST-2 和 Alpaca 各自均匀分成 private 与 public。跨域使用 C4、RedPajama、OpenWebText、LMSYS-Chat-1M，以及新闻 CNN News、金融 Hacker News、代码 The Stack V2。论文未报告各集合的样本条数；只说 SST-2 的语料大约是 Alpaca 的十分之一、token 类型大约是三分之一。
• E2EO：ObfusLM、SentinelLMs、AlienLM、CodeCipher、STIP，以及静态随机混淆（Random）。均用官方实现的默认配置。
• 攻击基线：KNN、SDA、ERA、TFA、InvBert，按官方发布配置。Table 3 的对比对象是 ObfusLM。
• 指标：ROUGE-L、Top-1、Top-3，以及 PMA 平均总时间（分钟）。成功定义里的 η 在实验中未给出具体取值。论文未报告重复次数。
• 默认超参：2000 锚点、5 轮细化；代理空间为 CBOW Word2Vec。

主结果

Table 2 是 PMA 在各模型 × 数据集 × E2EO 上的恢复。每个格子按论文顺序为 ROUGE-L、Top-1/Top-3。随机映射列与其他 E2EO 几乎相同，表中只列 ObfusLM 与 Random，中间四种方案数值落在二者附近。

表格较宽，可左右滑动

模型（词表）	SST-2 ObfusLM	SST-2 Random	Alpaca ObfusLM	Alpaca Random
BERT-base (30k)	98.8；89.6/93.4	98.8；89.7/93.5	93.8；45.3/51.8	94.6；45.5/52.0
Llama-2-7B (32k)	99.5；94.7/96.2	99.5；94.7/96.3	96.8；57.4/63.8	96.5；57.8/64.1
T5-base (32k)	99.3；93.1/95.3	99.4；93.1/95.4	94.7；53.2/59.9	95.0；53.3/60.2
RoBERTa-base (50k)	97.2；80.0/85.7	97.5；80.0/85.3	91.2；34.6/41.2	89.7；34.5/41.3
Llama-3-8B (128k)	97.0；78.0/83.5	97.1；77.8/83.6	89.8；28.5/34.5	89.9；28.5/34.5
Gemma-7B (256k)	95.4；70.4/77.5	95.2；70.4/77.5	89.6；21.6/26.3	89.4；21.6/26.5

据 Table 2。平均时间：SST-2 为 3.38–3.45 分钟，Alpaca 为 4.17–4.92 分钟，随词表变大而变长。

• 作者称所有设置下 ROUGE-L 都超过 80。Random 毁掉全部数值对应后，传统数值攻击会失败，PMA 仍靠语义结构恢复。
• 作者称 SST-2 的 token 级恢复高于 Alpaca，主要因为数据规模：SST-2 语料和 token 类型更少，长尾更弱，Word2Vec 收敛更快。
• Figure 4：作者称在 SST-2、Alpaca、CNN News、Hacker News、The Stack V2 上，观测到的混淆 token 大约到两百万后 ROUGE-L 迅速收敛。图的纵轴是 ROUGE-L（0–100），横轴是 Observed Tokens (Million)，范围 0–6。

与已有攻击的对比

Table 3 只针对 ObfusLM。SST-2 上 KNN 的 ROUGE-L / Top-1 / Top-3 为 24.69 / 19.98 / 42.01，TFA 为 26.30 / 0.49 / 1.1，InvBert 为 35.59 / 28.14 / 35.91，KNN+SDA 为 41.47（Top-k 为 “–”），PMA 为 98.80 / 89.57 / 93.43。Alpaca 上 KNN 为 27.47 / 15.42 / “–”，TFA 为 32.40 / 0.08 / 0.28，ERA 为 35.53（Top-k 为 “–”），PMA 为 89.77 / 28.49 / 34.50。

• 作者称分类与生成任务上 PMA 都高于这些方法。TFA 与 PMA 都利用同一数据集不同子集的统计关系，但 Top-k 和 ROUGE-L 低很多。
• 作者的解读：一维 token 频率不足以对付 E2EO，PMA 用的是更高维的语义结构。Table 3 的 PMA 数字与 Table 2 中 BERT-base（SST-2）和 Llama-3-8B（Alpaca）的 ObfusLM 行接近；论文写明对比时使用 BERT 与 LLaMA-3，但 Table 3 未逐行标明模型。

跨域与跨数据集

• 通用自然语言（Table 4，指标 ROUGE-L）：C4、LMSYS-Chat-1M（LMS）、RedPajama（RPj）、OpenWebText（OWT）两两互攻，作者称所有方向都超过 80。可读到的格子包括 C4→LMS 84.8、C4→RPj 92.7、C4→OWT 98.0；LMS→C4 87.7、LMS→RPj 89.9、LMS→OWT 84.8；RPj→C4 95.9、RPj→LMS 83.6、RPj→OWT 97.7；OWT→C4 96.0、OWT→LMS 80.6、OWT→RPj 95.1。作者认为不需要完全匹配的参考语料。
• 专门领域（Table 5）：CNN News 以 C4 为参考，ROUGE-L 93.0、Top-1 68.1、Top-3 73.4。Hacker News 以 C4 为参考为 86.9 / 36.2 / 45.2；换成 C4 的金融子集后为 94.1 / 54.1 / 59.7。The Stack V2 以 C4 为参考降到 4.9 / 0.02 / 0.03；换成 CodeParrot 后为 99.1 / 51.7 / 56.3。作者解释：代码与自然语言里相同 token 的语义不同，参考语料要抓住目标语义结构。

其他消融与分析

• 锚点与轮数（Figure 5）：在 Llama-2-7B、RoBERTa-base、Llama-3-8B、Gemma-7B 上，K = 1000、2000、3000，横轴 Refine Round 0–20。作者称从 1000 增到 3000 只有小幅变化，通常到第 5 轮接近峰值并收敛。图上未标注具体端点数值。
• 词向量模型（Table 7，附录 E）：同一设置下 Skip-gram ROUGE-L 55.03，CBOW 86.90，GloVe 83.63。作者认为 Skip-gram 可能对稀疏共现更敏感；PMA 不绑定单一词向量方法。该 86.90 与 Table 8 的 C4→Hacker News 一致，论文未另写 Table 7 的数据集。
• 对齐算法（Table 8，附录 F，C4 恢复 Hacker News）：MUSE 的 ROUGE-L 0.03、耗时 7.33 分钟；VecMap 86.70、64.12 分钟；GW 86.90、4.94 分钟。作者称 GW 在恢复质量与效率之间更合适。
• 未知 tokenizer（附录 D）：作者称攻击者不知道确切 tokenization scheme 时，PMA 仍部分保留语义恢复；正文给出一个不相容情形 ROUGE-L 10.09。附录 D 的完整条件在所附文本中不完整，此处不外推。
• 负面结果：代码域用通用 C4 时 ROUGE-L 4.9；TFA 的 Top-1 在 SST-2 上为 0.49、在 Alpaca 上为 0.08。词表从 30k 增到 256k 时，SST-2 的 Top-1 从 BERT 的 89.6–89.8 降到 Gemma 的 70.2–70.5，Alpaca 的 Top-1 降到 21.5–21.6，而 ROUGE-L 仍在 89 以上（Table 2）。

作者指出的局限与后续方向

• 只针对一对一：Limitations 写明攻击主要针对 one-to-one mapping obfuscation；对动态 one-to-many mappings 可能表现不好。作者同时说当前隐私保护 LLM 推理范式里，一对一覆盖面很广。
• 观测与语料：Limitations 第二条写明，通用域有效，但仍需要足够观测，以及与私有文本相关的公开语料，才能建可靠的代理语义空间。观测不足会使共现统计稀疏、不可靠。
• 领域不匹配：同一节写明，专门或小众领域里语料不匹配会引入对齐偏差，进一步降低恢复，尤其是低频 token 和高熵短串。
• 后续机制：Ethical considerations 希望后续研究转向显式考虑结构泄漏、并提供更稳健安全保证的隐私机制。这是方向陈述，不是已完成的防御。
• 结论中的定位：Conclusion 称 PMA 在不需要模型权重或平行数据对的情况下击败现有 E2EO；未再单列其他未来实验。

实验覆盖范围

• 模型：BERT-base、RoBERTa-base、T5-base、Llama-2-7B、Llama-3-8B、Gemma-7B 共 6 个，词表 30k–256k（Table 2，第 5 节）。
• 防御侧对象：五种 E2EO（ObfusLM、SentinelLMs、AlienLM、CodeCipher、STIP）加静态随机混淆，均为官方默认配置（第 5 节、Table 2）。
• 攻击对比：Table 3 在 ObfusLM 上比较 KNN、TFA、InvBert、KNN+SDA（SST-2）以及 KNN、TFA、ERA（Alpaca）。论文未报告各攻击的查询次数。
• 数据划分：SST-2 与 Alpaca 被均匀分成 private / public；跨通用域为 C4、LMSYS-Chat-1M、RedPajama、OpenWebText 的双向 ROUGE-L（Table 4）；专门域为 CNN News、Hacker News、The Stack V2（Table 5）。论文未报告各集合条数、η 的实验取值，以及重复次数。
• 超参与变体：默认 2000 锚点、5 轮；Figure 5 扫描 K ∈ {1000, 2000, 3000} 与 0–20 轮；附录 E 比较 Skip-gram、CBOW、GloVe；附录 F 比较 GW、MUSE、VecMap；Figure 4 扫描观测 token 规模。附录 D 讨论不知道确切 tokenizer 的极端情形。

PMA 是针对隐私推理里 Embedding-to-Embedding Obfuscation 的明文恢复攻击：服务器诚实但好奇，只拿到固定一对一变换后的向量流。

• 问题：E2EO 能挡住词频统计和基于数值邻域的反演，效用也接近明文推理，但映射是大规模一对一替换，句子结构还在，没有密码学保证。
• 做法：把混淆流当作未知 tokenizer-language，用 CBOW Word2Vec 分别学习混淆流和公开语料的代理空间；在 top-K 高频锚点上做 Gromov-Wasserstein 对齐，再用正交 Procrustes 和互近邻迭代得到全局替换。默认 K = 2000、细化 5 轮。不需要模型权重、明密文对或具体混淆规则，但假设知道目标 tokenizer。
• 主结果：Table 2 中六种模型、五种 E2EO 加随机映射上，ROUGE-L 都超过 80。SST-2、BERT-base、ObfusLM 为 98.8（Top-1/Top-3 为 89.6/93.4）；Alpaca、Gemma-7B、ObfusLM 的 ROUGE-L 为 89.6，Top-1 只有 21.6。Table 3 里同一 ObfusLM 设定下，SST-2 的 PMA 为 98.80，KNN+SDA 为 41.47，TFA 为 26.30。
• 跨域：通用语料互攻均超过 80 ROUGE-L（Table 4）。Hacker News 用 C4 为 86.9，用金融子集升至 94.1；The Stack V2 用 C4 只有 4.9，用 CodeParrot 为 99.1（Table 5）。
• 作者的结论：E2EO 的结构泄漏与具体实现无关；PMA 在不使用权重和平行数据的情况下能稳定恢复明文。作者同时指出，方法主要针对一对一映射，观测不足或参考语料不匹配时，尤其是低频 token，恢复会变差。