跳到正文
原文
论文追踪· arXiv:2610.01871· Jica, Maria Carmen, Satvaty, Ali, Verberne, Suzan, Turkmen, Fatih·本站收录· 原文发表

研究者提出 IMMRAG 攻击,可从多模态 RAG 数据存储中提取医学与文档图像

Walking the Embedding Space: Datastore Extraction from Multimodal RAG

论文速读

攻击

据论文 PDF 整理(AI 生成),以原文为准

imMRAG从image-returning MRAG提取:Lumina/ROCOv2、2500次SIFT唯一611。

威胁模型黑盒攻击 image-returning MRAG:检索到的图像即响应。

问题
image-returning MRAG把检索图像本身当作响应,文本通道又可能被注入过滤检查。问题是:黑盒对手若只能把指令嵌进图像,能从私有视觉库重建多少内容。
方法
imMRAG把影子图像与已回收图像做像素混合,按相关性重采样,使查询走向仍能带回新检索的嵌入区域,并把对抗指令以低不透明度文字嵌进图像,文本请求保持无害。
实验与结果
在ROCOv2、DocVQA、CC上,Lumina与Gemini各2500次查询,SIFT唯一重建至多611、566、416。作者称相对非自适应基线最多5.6倍;500次图内放置保留提示词放置96.4%的合计唯一数。
局限与可以继续做的
作者指出阈值属启发式、SIFT计数为上界,每配置只跑一次,且评测的是自建、无生产护栏的系统,检测器未跑。第10节的缓解只作讨论、未评测。实验使用两个生成器、三种检索器、三个公开语料,k=1。
实验设置Lumina-mGPT、Gemini 2.5 Flash Image Preview 等 · ROCOv2、DocVQA 等 · URC、SIFT (>0.1) 等
威胁模型
黑盒攻击 image-returning MRAG:检索到的图像即响应。攻击者不知权重、检索器、系统提示词和私有库内容,只知部署领域,持有不相交影子集。预算内可提交图像加无害文本并看返回图像;对抗指令只能嵌在图像里,不能写入会被过滤的文本。不改系统、不见内部检索。目标是尽量多且忠实地重建私有库。
被测模型
Lumina-mGPTGemini 2.5 Flash Image PreviewCLIP ViT-B/16OpenCLIP ViT-L/14SigLIP SO400M/14
基准
ROCOv2DocVQACC (Conceptual Captions subset)MedpixInfographicVQAFlickr30k
指标
URCSIFT (>0.1)PMR (>0.8)pHash (≤10)
AI 导读研究者提出 IMMRAG,一种在黑盒设置下针对图像返回式多模态 RAG 的自动化数据提取攻击。该方法把恶意指令嵌入用户提供的输入图像,而非放在文本提示词中,每次查询将攻击者持有的影子图像与已从系统中恢复的图像混合,并用相关性加权重采样把后续查询导向仍能返回新结果的嵌入空间区域。在医学助手、文档助手和通用工具三类场景中,单次 2500 次查询的运行按局部特征匹配分别重建出最多 611 张放射学图像、566 份文档扫描件和 416 张通用图像,不同数据存储条目数最高为非自适应基线的 5.6 倍。实验覆盖多个 CLIP 系列检索器和多种生成器,作者据此指出需要针对多模态数据设计专门防护。

研究者提出 IMMRAG,一种在黑盒设置下针对图像返回式多模态 RAG 的自动化数据提取攻击。该方法把恶意指令嵌入用户提供的输入图像,而非放在文本提示词中,每次查询将攻击者持有的影子图像与已从系统中恢复的图像混合,并用相关性加权重采样把后续查询导向仍能返回新结果的嵌入空间区域。在医学助手、文档助手和通用工具三类场景中,单次 2500 次查询的运行按局部特征匹配分别重建出最多 611 张放射学图像、566 份文档扫描件和 416 张通用图像,不同数据存储条目数最高为非自适应基线的 5.6 倍。实验覆盖多个 CLIP 系列检索器和多种生成器,作者据此指出需要针对多模态数据设计专门防护。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    黑盒下只能把指令嵌进图像时,能从image-returning MRAG私有库提取多少。

    黑盒下只能把指令嵌进图像时,能从 image-returning MRAG 的私有图像库提取多少内容。

    • 场景:作者称 MRAG 用外部、可能专有或训练语料未覆盖的知识来减少幻觉。作者认为私有库因此成为攻击目标,而多模态特性带来的攻击面仍有研究缺口。
    • 现有方法:文本提取攻击通常把恶意查询放在提示词中。论文指出 Qi et al. 依赖预设查询,不能自适应探索。作者还指出,已部署的指令检测和困惑度过滤写在文本上,伴随图像仍被当作数据。
    • 本文要测的量:视觉模型会执行图像中的文字已有记录。作者考察的是,当这是唯一通道时,对手能从私有检索语料中重建什么。
    • 提出的攻击:提出 imMRAG。它把影子图像与已回收图像混合成查询,并用相关性加权重采样,使后续查询走向仍能带回新检索的嵌入区域;对抗指令嵌在图像里,文本请求保持无害。
    • 威胁模型:
      • 目标:在查询预算 T 内尽量扩大唯一检索覆盖,并提高重建与库项的感知对齐。
      • 知识:black-box。无权重、检索器族、嵌入维度、系统提示词和 D 的内容。唯一先验是提供方通常会披露的部署领域;对手据此建立与 D 不相交的影子集。
      • 能力:可提交图像与文本并观察返回图像。不能把对抗指令写入文本通道,否则会被输入过滤器标记;每条查询配无害文本,指令放在图像内。不修改数据存储或模型,不观察内部检索。
      • 受害系统:image-returning MRAG,检索到的视觉产物本身就是响应。第三方投递会失去自适应反馈,潜力对应附录 D 的 Baseline;正文评测直接查询。
  2. 有哪些相关研究?

    相关工作分文本RAG提取、MRAG攻击和视觉指令注入三类。

    文本 RAG 及其隐私攻击

    • RAG 与后续应用:Lewis et al.(2020)用外部信息缓解生成模型的知识瓶颈。论文还提到医疗、金融、法律等应用,以及记忆化和训练数据泄露等既有漏洞。
    • 预设查询的提取:Qi et al.(2025)用随机长问题促使开源和生产模型输出数据。论文指出该做法依赖预设查询,不能自适应地更充分探索隐藏内容。
    • 自适应文本提取:Jiang et al.(2024)、Maio et al.(2024)和 Wang et al.(2026)根据已返回内容构造后续查询,或按相关性、自然语言形式探测。Zeng et al.(2024)针对个人可识别信息;论文引用其观点:不必暴露整个私有集,攻击仍可构成关键安全威胁。

    MRAG 上的隐私攻击

    • 知识投毒:论文称这是近期文献里最常见的一类,并列举多篇工作。本文做的是提取,不是投毒。
    • 跨模态提取:Zhang et al.(2025)。论文称这是首个 MRAG 提取攻击,取出逐字文本、语音和高保真图像副本,并称文本、图像、音频都可泄露。
    • 成员推断:论文正文中的 Allawati et al. [1](参考文献为 Al-Lawati and Wang, 2026)。论文称这是 MRAG 中的首个成员推断攻击,提示工程即可判断某图像是否在私有集中,并可能泄露相关元数据。

    视觉通道中的指令注入

    • 间接与多模态注入:Greshake et al.(2023)让指令经由检索或给定内容到达模型。Bagdasaryan et al.(2023)扰动图像和音频,使多模态模型执行其中的指令。
    • 运行时劫持与印刷文字:Bailey et al.(2024)将其形式化为 image hijacks。Qi et al.(2024)和 Shayegani et al.(2024)用视觉输入破坏安全对齐。Gong et al.(2025)把指令以印刷文字放入图像;Goh et al.(2021)较早讨论视觉-语言编码器中的相关现象。
    • 文本侧防御:Jain et al.(2023)和 Liu et al.(2024)的分类器与输入过滤针对文本。论文称不把视觉注入通道本身算作贡献;上述工作改变的是模型行为,本文用该通道披露对手和通道都未曾接触的检索语料。

    基线与语料

    • 基线方法:论文称没有先前工作采用本文威胁模型,故把 Zhang et al. 改编为非自适应单图像影子基线:查询独立取自影子集,不混合、不用历史反馈。
    • 基准:私有库为 ROCOv2、DocVQA、CC;影子集为 Medpix、InfographicVQA、Flickr30k。

    作者把本文定位为更受约束的对手:不能在文本通道写任意指令,必须把指令放进所提交图像,并测量这一约束的代价;同时考察检索产物本身即答案的配置。第 9 节说明与 Zhang et al. 的比较在威胁模型、模态和指标上都不相同。

  3. 论文如何解决这个问题?

    imMRAG混合影子图与已回收图,并把指令嵌进图像以探索嵌入空间。

    imMRAG 同时做两件事:让生成器复现内部检索到的图像,并让检索器走向尚未到达的库区域。对手只看见返回图像,对抗指令只能走图像通道。流程见 Figure 1 与 Algorithm 1。

    系统、检索与目标

    • 组件:私有库 D 由图像及元数据组成。视觉编码器 φ(论文举例 CLIP)映射到 d 维;检索器按余弦相似度取 top-k,主实验 k=1。生成器是 MLLM,消费查询图像、无害文本和检索结果,输出图像。
    • 覆盖:T 次查询所触达的不同库项之并集。对手观察的是生成图,不是内部检索结果。
    • 张力:稳定复现已到达项不增加覆盖,推向未探索区域则重建更不忠实。查询时两者都算不了,因为覆盖要知道检索器取了什么,保真要有检索图像本身。论文不把它写成显式优化,而用相关性分数隐式导航。

    初始化与查询构造

    • 播种:从影子集随机抽一张,嵌入对抗文字后查询,直到已回收池有 n_0 张非重复图像。主实验 n_0=50,初始分 β=10。作者称 n_0 应高到足以避开开头不幸抽样导致提前结束。
    • 混合:每步从影子集随机抽一张,从已回收池按权重抽一张。混合式为 I′(t)=α I1(t)+(1−α)I2(t),即按不透明度做像素线性组合。主实验 α=0.5,影子集 500 张。
    • 为何用这种混合:作者在理想生成器(完美复现检索图)下比较了六种替代,见附录 D:单图基线、水平拼接、半幅拼接、三图组合和两种扩散再生。不透明度混合在三个语料上唯一检索覆盖最高。作者称其增长接近线性、饱和较小,并将其归因于空间连续:CLIP 族编码器近似线性,像素插值落在两源嵌入中点附近;拼接会引入编码器未见过的竖直间断。
    • 图内指令:混合后再以低不透明度印刷方式嵌入对抗文字。位置、着色强度和模糊列在附录 B 的 Table 8。附录 E 比较十个候选并选用合计得分最高者;作者称简单、无歧义的祈使优于生硬要求和明显对抗的表述,附录 E 给出全文。Lumina 的伴随文本是一条与输入相关的无害请求,Gemini 为空。

    去重与分数更新

    • 去重:新图与已有池的归一化嵌入做余弦相似度,最大值低于 τ_dup=0.93 才加入。作者称重复项不提供新信息。
    • 分数:新图 +1,重复 −1,裁剪到 [0, 20]。持续带来新图的候选可升到初始权重以上;重复者降权并最终移出,采样因此转向仍有产出的区域。
    • 停止:全部分数为 0,或达到预算。主实验 T=2500。黑盒对手能用的适应信号,只有新图是否与已收集图像重复。

    泄漏判定

    • 定义:泄漏写作 Leak(Ît,R(It,k))=∃ Ii∈ R(It,k):sim(Ît,Ii)>τleak,即生成图与某个被检索图像的相似度超过该指标阈值。URC 衡量探索范围;SIFT、PMR、pHash 分别看局部结构、像素和感知指纹。阈值与对齐见第 5.3 节和附录 A。
    • 对齐与失败:生成器输出尺寸固定,指标前先做空间对齐:默认特征单应性加 RANSAC,可靠匹配少于四个时退回模板匹配。生成失败可再试最多三次,仍失败的迭代不计入第 6 节。
  4. 论文做了哪些实验?

    2500次查询下SIFT唯一重建至多611、566、416,URC最高约基线5.6倍。

    实验设置

    • 生成器:Lumina-MultiImage(附录 B 写作 Lumina-mGPT,本地开源权重)和 Gemini 2.5 Flash Image Preview(商业 API、预览版)。二者接受多图像加文本并输出图像。失败后再试最多三次。
    • 检索器:主实验为 CLIP ViT-B/16;第 7.1 节另用 OpenCLIP ViT-L/14 和 SigLIP SO400M/14。k=1。
    • 数据:ROCOv2 79793 对,影子集 Medpix;DocVQA 10537 条,影子集 InfographicVQA;CC 为 Conceptual Captions 子集 14154 条,影子集 Flickr30k。主运行影子集规模 500。作者称配对在可核查范围内不重叠;语料是公开结构替代,放射图像来自开放文献而非病历。
    • 基线:Zhang et al. 的非自适应单图像改编。其 SIFT、PMR、pHash 在投稿时未完成,Table 2 留空,论文未估计。
    • 指标:URC 计不同库项;SIFT>0.1;PMR>0.8(ε=10);pHash≤10。括号外为标记总数,括号内为唯一数。计算前做空间对齐。
    • 预算:主结果每配置 2500 次、各一次。论文未报告多种子方差。附录 B:Gemini 在 CC 上失败 341/2500(13.6%),有效查询 2159;DocVQA 上 153/2500(6.1%)。作者称用 2500 作分母会低估这些配置的按查询效率。

    主结果

    表格较宽,可左右滑动

    生成器 / 语料imMRAG URC基线 URCSIFT唯一PMR唯一pHash唯一
    Lumina / ROCOv2999263611103332
    Gemini / ROCOv2909263593264404
    Lumina / DocVQA923187208141603
    Gemini / DocVQA1043187566318335
    Lumina / CC74835425723154
    Gemini / CC63135441698362

    据 Table 2。Gemini 指 Gemini 2.5 Flash Image Preview。表内为唯一泄漏标记;基线重建未完成,未列入。

    • 探索范围:作者称两种生成器的探索潜力相近;CC 最低,作者认为这与该库视觉主题最杂、需要更多迭代才能探到各簇相符。作者称相对非自适应基线,同一预算下不同库项最多为 5.6 倍;结论写为 1.8 到 5.6 倍。
    • 两种归一化:Table 3 给出库占比和条件重建率。作者报告 2500 次后只占 ROCOv2 的 1.14%–1.25%、CC 的 4.46%–5.28%、DocVQA 的 8.76%–9.90%。作者称一旦检索到,最强适用指标上没有任何配置低于 22.5%;SIFT 条件率在 CC/Gemini 为 65.9%,在 ROCOv2/Gemini 为 65.2%。作者认为条件率更有意义,因为绝对覆盖同时反映预算和库规模,且覆盖相对预算是次线性的。
    • 指标分歧:作者称 PMR 最低,与生成器非确定、难以逐像素复制的预期相符;Table 3 中 Lumina 在 CC 上的条件 PMR 为 3.1%。作者不把表中 DocVQA 上 Lumina 更高的 pHash 当作文档重建更好的证据,认为更可能是指标性质,并称附录 F 中 Lumina 保留版式但文字不可读,故该格 pHash 无信息。作者推测 Gemini 更擅长图像条件生成,但认为没有哪个模型严格更好。作者还称,即使用户无凭证,数百张放射图像或文档扫描也构成实质性披露,不论占库比例。

    错误复制目标

    • 测了什么:Table 4 把同一输出相对检索图像和相对用户输入图像分别计泄漏。作者报告模型有时复制错误目标,尤其是用户图像;所举接近持平的例子包括 ROCOv2 上 Gemini 的唯一 SIFT 593 对 546、唯一 PMR 264 对 245。DocVQA 的 PMR 上,Gemini 用户图像唯一副本 379 多于检索图像 318。
    • Lumina 的偏向:作者称用户图像副本超过检索图像只出现一次,即 DocVQA/SIFT 的 208 对 264;并称八个可采纳格子中有七个偏向检索图像,PMR 下最高到 ROCOv2 的 17.2 倍、DocVQA 的 7.0 倍。检索图像从未作为用户输入给出。
    • 作者的解读:作者认为嵌入指令在引导重建,而不只是复制眼前的图像;Gemini 的趋势更弱、更混杂。作者认为 DocVQA 图像结构相似,可能部分解释错误目标。附录 C.2 要求生成图更接近检索项而非提交图后,标记仍保留 85%–100%,PMR 下任一配置最多去掉 1 项。作者认为这不改变第 6 节结论。

    检索器、影子集与指令位置

    • 检索器:Table 5 比较三种编码器,500 次,论文未写明生成器。ROCOv2、DocVQA、CC 的 URC:ViT-B/16 为 346、335、273;ViT-L/14 为 223、299、265;SO400M/14 为 218、332、239。作者称后两个库跨编码器相差至多 13%,ROCOv2 从 346 降到 223 和 218,约三分之一。单次运行,作者只记录、不解释。
    • 影子集规模:Table 6 与 Figure 3 改变影子集大小,最多 5000 次,论文未写明生成器。从 0 到 1000,ROCOv2 的 URC 为 264 到 1534,DocVQA 为 623 到 1638,CC 为 398 到 989;500 张时为 1401、1631、984。作者报告 0 到 50 的增幅为 78.64%–200.37%,其后变缓,约在 200 或 500 张进入平台。空集时两张查询图都从已重建集抽取。作者认为小而多样的集合即足够。
    • 指令位置:Table 7 在 500 次、其余设置相同下比较图内与提示词内放置,论文未写明生成器。三库合计唯一重建 585 对 607,即 96.4%;分库为 228 对 239、235 对 255、122 对 113。作者称图内在九个组合中的六个上更好,PMR 上从未更弱。作者认为单次运行下小差异的方向无意义,结论是两者相当。作者写明未运行注入分类器、OCR 扫描器或其他检测器。

    覆盖增长与阈值校准

    • 边际覆盖:附录 C.1、Table 10 和 Figure 4 给出六个主运行的分块 URC。前 500 次新增 273–356 项,最后 500 次为 50–131 项,约为初期的五分之一到三分之一;CC/Gemini 为 50 对 278。作者将其归因于相关性评分把已耗尽区域降权,并称更长运行买到的新增越来越少。
    • 非匹配对:附录 C.3、Table 12 用每运行 1000 个非匹配对校准。SIFT 假阳性 5.2%–12.7%,CC 上最大;pHash 在 6000 对中仅 1 对落入阈值;PMR 为 0.0%–2.9%。作者把 SIFT 计数视为上界,另外两个指标基本按面值读。零分布来自影子语料而非私有库。
    • 阈值与一致性:作者称 Figure 5 中 Gemini 在三个语料上呈双峰、阈值附近有低谷,Lumina 没有这种分开。SIFT 阈值从 0.1 收到 0.15 时,Gemini 损失标记项 7%–12%,Lumina 在三库损失 40%、44%、40%。三指标同时命中:Gemini 在 ROCOv2 为 238/598,Lumina 为 65/722,其中 463 项只被一个指标标记。作者认为 Gemini 的计数立足更稳。

    其他消融与分析

    • 附录 D、理想生成器:不透明度混合在 2500 次的 URC 为 ROCOv2 1005、DocVQA 1104、CC 665;半拼接在 ROCOv2 于第 1696 次停止,URC 673。
    • 附录 E:十个指令各 100 次、一次运行,论文未按生成器拆分;三库合计唯一重建 138–157。作者称排序是弱偏好,解释是事后推测。
    • 附录 G、Figure 7 与 Figure 8:作者给出被至少一指标判为未成功、但称人眼仍相似的例子,并列出各区间的 SIFT、PMR、pHash。作者称不能单靠 PMR 判断生成图是否相似。
    • 基线的重建指标在投稿时为空;作者未估计这些格子。
  5. 有什么可以进一步探索的点?

    作者指出阈值、单次运行和自建无防御系统等限制,缓解措施未评测。

    作者指出的局限与后续方向

    • 阈值与零分布(第 9 节):阈值是启发式设定,事后才校准。SIFT 假阳性为 5.2%–12.7%,其计数仍是上界;pHash 与 PMR 基本不打折。零分布来自影子语料而非私有库。作者称库内零分布是该评测最有价值的补充。
    • 对齐、错误目标与可观察性(第 9 节):对齐会先选取使对应最大的变换;第 6.2 节的错误目标未在 Table 2 校正。URC 是神谕量,衡量的是攻击本身,不是对手能观察到的自身进度。
    • 实验范围(第 9 节):每配置只跑一次、一个种子,无方差,故只从条件间的广泛一致下结论。k 固定为 1。只评两个生成器,Gemini 为预览版,行为可能变化。混合系数、指令和编码参数在附录 D、E 之后固定,未联合扫描。只处理图像模态。只与一个先前提取攻击比较,且威胁模型、模态和指标都不同。
    • 设置是否像部署(第 9 节):攻击的是作者自建的系统,生产护栏不在,报告的是无防御系统的比率。作者称确立的是图像通道有效,不是未被发现;两种放置都未跑检测器。编码“对人眼淡、对生成器可读”的两半都未测量,参数为遵从而非隐蔽而调。
    • 领域知识与数据不相交(第 9 节):影子集消融只变数量、不变相关性,作者称因此无法判断领域判断错误时攻击如何下降。不相交性依赖未能穷尽核查的来源信息,残留重叠会抬高覆盖。作者称在有防御的系统上评测,以及指令在仍可读时能混淆到什么程度,是留下的最要紧方向。
    • 缓解未评测(第 10 节):作者讨论了图像通道筛查、输出相对检索集的门控、查询流监控,以及训练生成器分开指令与数据。这些都未实现或评测,讨论意在告知防御设计,而不是报告效果。

    实验覆盖范围

    • 被测生成器为 Lumina-mGPT 与 Gemini 2.5 Flash Image Preview;检索器主实验为 ViT-B/16,另报告 ViT-L/14 与 SigLIP SO400M/14,k=1(第 5、7.1 节,Table 5)。
    • 私有库为 ROCOv2(79793)、DocVQA(10537)、CC(14154),影子集为 Medpix、InfographicVQA、Flickr30k;主预算 2500 次,影子集规模实验最多 5000 次(第 5.1、6、7.2 节)。
    • 指标为 URC、SIFT>0.1、PMR>0.8、pHash≤10,计算前做空间对齐;基线为改编后的 Zhang et al.,重建格子在投稿时为空(第 5.3 节,Table 2)。
    • 指令位置在 500 次上比较了图内与提示词内;论文写明未运行提示注入分类器、OCR 扫描器或其他检测器(第 7.3 节)。
    • 论文未报告多种子重复下的方差;生成失败次数写在附录 B,论文未解释失败率为何随语料变化。
  6. 总结一下论文的主要内容

    imMRAG在黑盒image-returning MRAG上自适应提取私有图像,2500次可重建数百张。

    imMRAG 是对 image-returning MRAG 的黑盒自适应提取:检索到的图像就是响应,对手不能把指令写进会被检查的文本。

    • 要测的量:在查询预算内,只用图像通道时,能覆盖并重建多少私有视觉库内容。对手只知部署领域,持有不相交影子集,不见内部检索。
    • 做法:影子图像与已回收图像按像素混合,是否带来新图决定采样权重升降,从而继续走向仍有新检索的嵌入区域。对抗文字以低不透明度嵌进查询图像,伴随文本保持无害。主实验 k=1、预算 2500、去重阈值 0.93。
    • 主结果:Table 2 中,Lumina 在 ROCOv2 的 SIFT 唯一泄漏为 611,Gemini 在 DocVQA 与 CC 上为 566 和 416。作者称相对非自适应基线,同一预算触达的不同库项最多为 5.6 倍,结论区间为 1.8 到 5.6 倍。Table 3 中,2500 次后库占比为 ROCOv2 的 1.14%–1.25%;已检索项的 SIFT 条件率在 CC/Gemini 为 65.9%。作者认为条件率比库占比更有意义,并称覆盖会减速。
    • 指令放在哪里:500 次、论文未写明生成器的比较中,图内放置的三库合计唯一重建为提示词放置的 96.4%。作者称这一搬移的代价接近于零,但这不是对某一检测器的逃避结果。
    • 读数时的保留:作者把 SIFT 计数视为上界,并把 DocVQA 上 Lumina 的高 pHash 视为无信息。模型有时复制用户图像而不是检索图像。基线的重建格子在投稿时为空。
    • 作者的结论:作者称需要专门面向多模态数据的防护。作者认为应优先看生成输出一侧的措施,因为它们不随指令从哪个通道到来、也不随指令是否可读而改变。第 10 节的措施均未实现或评测。
阅读原文arxiv.org