Skip to content

Translation in progress Some entries still include text in the original language.

Original
arXiv· arXiv:2602.01757· Doohyun Kim, Donghwa Kang, Kyungjae Lee, Hyeongboo Baek, Brent Byunghoon Kang·Indexed by this site · Originally published

Zero2Text：无需训练的跨域文本嵌入反转攻击

Zero2Text: Zero-Training Cross-Domain Inversion Attacks on Textual Embeddings

Quick read

Attacks

Based on 论文 PDF （AI 生成）; refer to the original

Zero2Text无训练反演文本向量；MS MARCO、3-large上ROUGE-L为26.08。

Threat model攻击者只持有未知受害模型ϕ产生的目标向量ev，目标是还原原文，使候选经ϕ编码后与ev的距离最小。

Questions
RAG向量库把文本存成embedding，并常被当作不可逆。现有反演要么要海量泄漏对，要么要同域对齐数据；作者称严格黑盒且跨域时会失效。
Methods
Zero2Text不训练decoder。LLM逐token出候选，岭回归把本地向量在线对齐到目标embedding，只查询部分候选并衰减查询量，再用混合分数和beam search留下序列。
Experiments and results
四个受害embedder、MS MARCO与PubMed上，Table 2中Zero2Text的BLEU、ROUGE和COS高于Vec2Text、TEIA、ALGEN。增加查询时作者称分数上升；噪声与LDP会降低分数。
Limitations and future work
论文未专论自身局限，Conclusion只呼吁更强的embedding防御。实验做到四个受害embedder、两个数据集各200条，以及Random、LapMech、PurMech；未报告重复次数与人工评审。
Experimental setupGTR-Base、Qwen3-Embedding-0.6B et al. · MS MARCO、PubMed et al. · BLEU-1、BLEU-2 et al.
Threat model
攻击者只持有未知受害模型ϕ产生的目标向量ev，目标是还原原文，使候选经ϕ编码后与ev的距离最小。论文称为strict black-box：可经API查询ϕ，但无参数、梯度、训练分布，也无泄漏的embedding–文本对。受害对象是RAG向量库中的文本embedding。
Evaluated models
GTR-BaseQwen3-Embedding-0.6BText-Embedding-3-smallText-Embedding-3-large
Benchmarks
MS MARCOPubMedMultiHPLT
Metrics
BLEU-1BLEU-2ROUGE-LROUGE-1COS
AI summary研究者提出 Zero2Text，一种无需训练的跨域文本嵌入反转攻击框架，可在严格黑盒且无域内训练数据时从嵌入还原文本。该方法基于递归在线对齐，结合 LLM 先验与动态岭回归机制，在生成过程中迭代对齐目标嵌入，不依赖静态数据集。在 MS MARCO 上针对 OpenAI 受害模型的实验中，其 ROUGE-L 比基线高 1.8 倍，BLEU-2 高 6.4 倍，并在没有任何泄露数据对的情况下恢复未知领域的句子。研究还指出，差分隐私等标准防御无法有效缓解这一自适应威胁。

研究者提出 Zero2Text，一种无需训练的跨域文本嵌入反转攻击框架，可在严格黑盒且无域内训练数据时从嵌入还原文本。该方法基于递归在线对齐，结合 LLM 先验与动态岭回归机制，在生成过程中迭代对齐目标嵌入，不依赖静态数据集。在 MS MARCO 上针对 OpenAI 受害模型的实验中，其 ROUGE-L 比基线高 1.8 倍，BLEU-2 高 6.4 倍，并在没有任何泄露数据对的情况下恢复未知领域的句子。研究还指出，差分隐私等标准防御无法有效缓解这一自适应威胁。

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    现有反演要么要海量泄漏对，要么难跨域；Zero2Text用在线对齐、零训练反演。

    在严格黑盒、无泄漏文本–向量对且目标域未知时，从受害embedder的向量还原原文。

    • 场景： 作者称RAG把邮件、商业机密等存入向量库，并默认embedding是不可逆的单向函数。经数据泄露或公开API接触这些向量的人，若能还原原文，会泄露个人身份信息或知识产权。
    • 现有方法： 直接反演（Vec2Text、GEIA）要抽取海量受害文本–向量对来训练decoder，作者举例量级常为数百万，如5M对。对齐方法（ALGEN、TEIA）在通用语料上训练decoder，再用通常1–8K条泄漏对对齐，并假设训练或泄漏数据与目标域一致。
    • 不足与假设： 作者称域偏移会使这两类方法性能下降。作者认为可用预训练LLM的语言先验生成候选，再只针对当前目标向量在推理时优化，从而不必预知目标域。
    • 本文做法： 作者提出Zero2Text：不训练decoder，不用泄漏对做离线对齐，测试时以有限次API查询做递归在线对齐。作者称这是基于在线校验的搜索与还原。
    • 威胁模型：
      • 目标： 只根据目标向量ev还原文本x，使候选经受害模型ϕ编码后与ev的距离D最小。
      • 知识： 论文称为strict black-box。ϕ未知，无参数θ、梯度或训练分布，也无泄漏的embedding–文本对。
      • 能力： 推理时可经API查询ϕ；自备预训练LLM与本地embedder。不假设知道目标域。
      • 受害系统： RAG向量库中由ϕ生成的文本embedding。作者称入口可以是数据泄露或公开API端点。

  2. What related research exists?

    论文把反演分成直接反演与embedder对齐，并讨论噪声与LDP防御。

    按第2节，相关工作分反演与防御；实验对照在第4节。

    嵌入反演

    • 早期与白盒： Fredrikson et al. (2015)从图像和医疗模型输出重构敏感输入。Song and Raghunathan (2020)用梯度恢复输入token；Pan et al. (2020)从通用语言模型抽取用户数据；Zhu et al. (2019)与Gupta et al. (2022)从联邦学习更新恢复私有文本。Carlini et al. (2021)讨论LLM记忆训练数据，并可用定向提示引出。
    • 黑盒句子嵌入： 引言与Table 1把Vec2Text（Morris et al., 2023）和GEIA（Li et al., 2023）归为直接反演。Li et al.报告句子嵌入会泄漏语义；Vec2Text迭代修正输入以匹配目标向量；Dimitrov et al. (2022)的LAMP用离散优化从梯度抽文本。本论文称直接反演依赖大规模泄漏对，并有训练域偏差。
    • 对齐式少样本： Chen et al. (2025b)的ALGEN用跨模型对齐做生成式少样本反演；论文称它相对优化式方法更省查询。Huang et al. (2024a)的TEIA做可迁移嵌入反演。本论文称二者仍要在代理embedder上训练decoder，并用泄漏对做受害–代理对齐，对齐域偏差会限制泛化（Table 1）。

    反演防御

    • 对抗训练： Song and Raghunathan (2020)用对抗训练做防御。本论文称在攻击者模型未知的黑盒场景中无效。
    • 噪声： Morris et al. (2023)注入高斯噪声。Chen et al. (2024)称其效果在多语设置中减弱。
    • 差分隐私： Lyu et al. (2020)在训练时用差分隐私。Du et al. (2023b)在推理时用基于度量的本地差分隐私（LDP）净化嵌入。本论文称面对少样本反演，保护嵌入仍有困难，并在第4.7节用Random、LapMech、PurMech做了评测。

    基线与数据

    • 基线方法： Vec2Text（有/无Corrector）、TEIA、ALGEN。公平比较时，基线用受害模型查询MultiHPLT English的1,000条文本来构造训练或对齐对，该集与评测域不同；查询上限1,000，跟随ALGEN的设定。ALGEN的decoder另在15万条MultiHPLT与开源embedder向量对上训练。
    • 评测数据： MS MARCO（通用检索）与PubMed（生物医学摘要）。各抽200条，跟随Chen et al. (2025b)。

    作者把本文放在零样本、无辅助数据集的位置：不做离线decoder或静态对齐，而在测试时用递归反馈，对单个目标向量做在线对齐，以去掉训练域与目标域必须一致的假设。

  3. How does the paper address this problem?

    Zero2Text用LLM逐token生成，再用岭回归在线把本地向量对齐到目标embedding。

    Zero2Text不训练decoder，也不用泄漏对做离线对齐。开源LLM按上下文逐token提议候选，岭回归把本地embedder的向量投到受害空间；只把一部分候选送给受害API，用返回向量更新投影，再用beam search留下序列（Figure 2）。

    问题设定

    • 受害模型ϕ把文本映成ev。攻击者只能经API查询ϕ，要在文本空间里找距离更小的候选。
    • 目标写为x̂∗=argminx̂∈ XD(ϕ(x̂),ev)，即最小化候选编码与目标向量的距离。D是距离度量，论文未把它写成某一种固定公式。
    • 与Chen et al. (2025b)不同，作者假设没有泄漏对可用于离线训练代理模型或adapter。

    设计原则

    • 语言先验： 不用易过拟合外部数据的域内decoder，而用预训练LLM的概率分布从零生成候选。实验生成器为Qwen3-0.6B；文中也把Llama写成可用的开源LLM例子，但实验未跑Llama。
    • 单向量在线优化： 放弃在开放语料上学到的静态对齐。投影矩阵只为当前ev在推理时更新。作者称这样不需要事先知道目标域。

    迭代生成与多样性筛选

    • 第t步以上下文s(t-1)（起初为[BOS]）让LLM给出下一token的logits。词表限制为ASCII token。
    • 多样性筛选不按概率取top-K，而选KS个候选，使候选embedding的两两余弦相似度低于阈值T_hw，以免塌到单一模式。该段未写明这个相似度用哪个embedder计算。
    • Beam search保留KB条句子，直到[EOS]或达到最大长度T。实验设beam size为10，KS=1000，T_hw=0.9，T=32。第一步对非字母token施加logit惩罚-5。

    在线投影、打分与查询衰减

    • 投影矩阵W_t把本地向量投到受害空间。更新写成岭回归：用截至第t步已查询得到的本地向量与受害向量配对，加正则项λ。实验λ=0.1。未查询的候选再用新的W_t重投影。
    • 每步只把KA×γ的t-1次方条候选句送给受害API。γ<1，查询量随步数下降。实验KA=50，γ=0.8。第一步没有W_0，跳过按置信度分组，例外地发送3×KA次查询。
    • 混合打分为S(ei,t)=Z(yi)+conft× Z(cos(ei,ev))。Z是z-score。作者称logit项维持语法与上下文，余弦项衡量与ev的语义接近程度。
    • conf_t是本步已查询样本上、用上一轮投影后与受害向量余弦相似度的平均。t=1时W_0未定义，论文把conf_1写成同样平均再乘0.7，式中投影用的是W_1。作者称置信度低时少依赖embedding相似度，以降低早期发散风险。
    • 按该分数排序后，beam search选出进入下一步的序列。本地embedder在主实验中为all-mpnet-base-v2。

  4. What experiments did the paper conduct?

    四个受害模型、两个数据集上，Zero2Text的n-gram与ROUGE高于三个基线。

    实验设置

    • 受害模型： GTR-Base、Qwen3-Embedding-0.6B、Text-Embedding-3-small（表中OPENAI(3-small)）、Text-Embedding-3-large（表中OPENAI(3-large)）。
    • 攻击侧： 生成用Qwen3-0.6B，本地embedder默认all-mpnet-base-v2。规模实验另用Qwen3-1.7B；替换实验用mE5-Large-Instruct。
    • 数据： MS MARCO与PubMed各200条。基线离线查询MultiHPLT English的1,000条，域与评测集不同。ALGEN的decoder另用15万对。
    • 基线： Vec2Text的Base与Corrector均为T5-base（235M），还原时50次迭代、beam size 8，报告有/无Corrector。TEIA用DialoGPT-small（117M）训练adapter。ALGEN主实验用Flan-T5-small（80M），规模实验另用Flan-T5-large（0.78B）。
    • 指标： BLEU-1/2看n-gram精确率；ROUGE-1与ROUGE-L看词重叠和最长公共子序列；COS是把还原句再送入受害模型后，与目标向量的余弦相似度。无LLM评审。
    • 运行： 两块NVIDIA RTX 5090、Intel Xeon 6530。论文未报告重复次数或统计检验。

    主结果

    据Table 2，MS MARCO上Zero2Text与ALGEN：

    Swipe horizontally to read the table

    受害模型方法BLEU-2ROUGE-LCOS
    GTR-BaseZero2Text10.9518.730.7514
    GTR-BaseALGEN2.3514.160.5574
    Qwen3-Embedding-0.6BZero2Text13.4522.550.7323
    Qwen3-Embedding-0.6BALGEN2.6315.650.4022
    OPENAI(3-small)Zero2Text17.1425.550.6983
    OPENAI(3-small)ALGEN1.8713.690.2524
    OPENAI(3-large)Zero2Text16.4226.080.6634
    OPENAI(3-large)ALGEN2.3814.790.2483
    • 作者称Vec2Text与TEIA因离线数据少而变差，Corrector收益有限。同表MS MARCO、OPENAI(3-large)上，Vec2Text（无Corrector）的BLEU-2为2.55、ROUGE-L为9.23；TEIA为1.01与6.00。
    • 作者称ALGEN虽用大规模开放数据训练decoder，仍受对齐数据与目标域不一致影响。摘要写MS MARCO、OpenAI受害模型上ROUGE-L为基线的1.8倍、BLEU-2为6.4倍；正文把1.8倍对应ALGEN的ROUGE-L 14.79，把6.4倍对应Vec2Text（无Corrector）的BLEU-2 2.55，模型为OPENAI(3-large)。按正文算法，这里的“倍”是分数之比，不是再高出这么多倍。
    • 作者称Zero2Text在所有指标、受害模型和数据集上都更高。Table 2的PubMed上，Zero2Text对GTR-Base的ROUGE-L为16.81、BLEU-2为8.38；对OPENAI(3-small)为25.64与17.97，BLEU-1为35.42。表中Zero2Text各格均高于同设置的三个基线。

    查询代价

    • Table 3对OPENAI(3-small)：离线token按MultiHPLT计，在线按PubMed计。Vec2Text离线1000句、28.45×10^3 token，在线3144句、82.60×10^3 token。ALGEN离线同为1000句、28.45×10^3 token，在线为0。TEIA离线1000句、30.15×10^3 token，在线为0。Zero2Text离线为0，在线2180句、13.88×10^3 token。正文称3144、2180句以及13.88k、82.60k token为平均。
    • 作者称Zero2Text更省token，是因为早期序列短，且后期用γ减少查询句数。论文未报告墙钟时间。
    • Figure 3横轴为离线加在线的API查询数（刻度至5000），纵轴为ROUGE-L、ROUGE-1、BLEU-1、BLEU-2。图例含Zero2Text的BEAM（5、10、20）、KA（25、50、100）、γ（0.5、0.8、0.9），Vec2Text的迭代（1、10、20、50）与BEAM（1、2、4、8），以及ALGEN离线预算{100, 500, 1000, 2000, 3000, 4000, 5000}。作者称增大beam、KA、γ会单调提高Zero2Text；ALGEN随离线查询上升但增速下降并趋于饱和；Vec2Text查询大增时增益可忽略。纯文本读不到曲线端点。

    防御评测

    • 第4.7节在PubMed上比较ALGEN与Zero2Text。防御为Random噪声，以及LDP的LapMech与PurMech；ε/d取0.25、0.5、1、2、4，越小噪声越强。表题未写受害模型；None行数值与Table 2中PubMed、OPENAI(3-small)一行相同。
    • 无防御时Zero2Text的BLEU-1为35.42、ROUGE-L为25.64、COS为0.6859。Random降到15.57、9.67、0.1463。LapMech在ε/d=0.25时BLEU-1为20.36、ROUGE-L为13.75，ε/d=4时为34.04与25.11。PurMech在ε/d=0.25时为19.93与13.50，ε/d=4时为34.65与25.20（Table 6）。
    • 作者称两者都会下降，但防御下的Zero2Text仍与无防御ALGEN（BLEU-1 19.87、ROUGE-L 14.19）相当，并举PurMech、ε/d=0.25的20.36与13.75。Table 6中20.36与13.75位于LapMech、ε/d=0.25；PurMech同预算为19.93与13.50。Random一行低于无防御ALGEN。

    对齐与模型规模

    • Table 5在PubMed上比较真实文本经对齐后与受害向量的COS。TEIA离线对OPENAI(3-small)/(3-large)为0.0039/0.0056；ALGEN为0.3229/0.2848；Zero2Text在线为0.6063/0.5447。作者称离线对齐在数据少、跨域时映射失败，在线逐实例优化的余弦相似度超过0.5。
    • Figure 4横轴为模型规模（B，刻度0到1.5），纵轴为BLEU-1、BLEU-2、ROUGE-L、ROUGE-1、COS，分MS MARCO与PubMed。生成器为Qwen3-0.6B与Qwen3-1.7B，对照为Flan-T5-small（0.08B）与Flan-T5-large（0.78B）。作者称规模变大时还原一般会提高，但更大的ALGEN仍低于Zero2Text；并称在MS MARCO、OpenAI (3-large)上Zero2Text的ROUGE-L约为ALGEN的1.6倍。图中端点在纯文本中不可读。这与Table 2的1.8倍不是同一设置。

    其他消融与分析

    • 本地embedder换为mE5-Large-Instruct（Table 4）：MS MARCO、GTR-Base的ROUGE-1为35.44、COS为0.8660；OPENAI(3-small)的BLEU-1为40.36、ROUGE-L为29.30。作者称无需额外训练即可更换embedder，并认为可能进一步提高还原。
    • Table 7在MS MARCO、Qwen3-Embedding-0.6B上做定性对比。作者称基线常拼出孤立词，未能还原专有名词或连续词序列，Zero2Text可以。不复述原文。论文称补充材料Section D有更多例子，所附文本未给出这些例子。
    • Table 2中，MS MARCO上Vec2Text加Corrector后，Qwen3-Embedding-0.6B的ROUGE-L从8.40降到8.00，OPENAI(3-large)的BLEU-2从2.55降到2.44。作者只说Corrector收益有限，未单独解释这些下降。

  5. What are some points that can be further explored?

    论文未专论自身局限，Conclusion只呼吁更强的embedding防御。

    作者指出的局限与后续方向

    • 论文没有Limitations、Discussion或Future Work专节，也没有把某一组偏低分数写成Zero2Text自身的局限。
    • Conclusion称这些结果暴露了关键漏洞，因此需要针对此类可泛化攻击的鲁棒防御。贡献点同样称差分隐私与噪声注入不足以缓解该自适应威胁，并强调需要更强的embedding安全。这是对防御的呼吁，不是对攻击方法覆盖范围的自我限定。

    实验覆盖范围

    • 受害embedder为GTR-Base、Qwen3-Embedding-0.6B、Text-Embedding-3-small、Text-Embedding-3-large，共4个。生成模型主实验为Qwen3-0.6B，规模实验增加Qwen3-1.7B（第4.1、4.5节）。
    • 评测集为MS MARCO与PubMed，各200条。基线另用MultiHPLT English的1,000条做离线查询，ALGEN的decoder使用15万对（第4.1节）。
    • 基线为Vec2Text（有/无Corrector）、TEIA、ALGEN。指标为BLEU-1、BLEU-2、ROUGE-1、ROUGE-L、COS。论文未报告重复次数、统计检验或人工评审。
    • 防御包括Random、LapMech、PurMech，ε/d取0.25、0.5、1、2、4，表只给出PubMed（Table 6）。该表未写明受害模型。
    • 另有查询预算曲线（Figure 3）、PubMed上对两个OpenAI模型的对齐COS（Table 5）、本地embedder替换（Table 4），以及MS MARCO上对Qwen3-Embedding-0.6B的定性例子（Table 7）。词表限制为ASCII，最大长度T=32。论文未报告查询的墙钟时间。

  6. Summarize the main content of the paper

    零训练在线对齐可在未知域、无泄漏对时从黑盒embedding还原句子。

    Zero2Text是一种不训练decoder、也不使用泄漏文本–向量对的文本embedding反演，针对RAG向量库在严格黑盒、目标域未知时的还原。

    • 问题： 直接反演要大量同域泄漏对；对齐方法还依赖少量泄漏对，并假设域一致。作者认为域偏移会使这两类方法失效。
    • 方法： 预训练LLM逐token生成候选，本地向量用岭回归在线投到受害空间。打分结合logit与余弦相似度，查询量随γ下降，beam search留下序列。测试时可以查询受害API，但不需要离线对齐数据。
    • 主结果： Table 2中，MS MARCO、OPENAI(3-large)上Zero2Text的ROUGE-L为26.08、BLEU-2为16.42。作者称前者约为ALGEN（14.79）的1.8倍，后者约为Vec2Text无Corrector（2.55）的6.4倍；摘要把这两个倍数写成相对基线，结论写成相对SOTA方法。PubMed、OPENAI(3-small)上BLEU-1为35.42、ROUGE-L为25.64。
    • 查询与防御： 对OPENAI(3-small)，Zero2Text无离线查询，在线平均2180句、13.88k token（Table 3，在线token按PubMed计）。Table 6中加噪声或LDP后分数下降。作者称现有防御仍不足；Random下Zero2Text的ROUGE-L为9.67，低于无防御ALGEN的14.19。
    • 作者结论： 作者认为不依赖域内预训练也能还原未知域句子，并称这暴露了把embedding当作单向函数的风险，因此需要能对付可泛化攻击的防御。
Read originalarxiv.org