研究者提出 Privacy-Leaking Watermarks，可在本地多模态模型中泄露对话隐私

统一多模态模型能否把先前对话里的敏感披露，不可见地编码进后来无关的生成图像。

• 场景：作者认为用户会在同一连续对话里切换写作、识图、建议和生图，较早上下文仍留在窗口中。若用户因本地部署而假设敏感交互只留在设备上，这一边界就很关键。
• 现有情况：作者称不加对抗干预时，先前上下文渗入后续生图通常有限；能检出时要么弱，要么伴随可见变化。水印文献主要服务于溯源、著作权和模型完整性。
• 作者的做法：把选定文本线索绑定到潜空间水印，使看似正常的生图携带可提取信号。作者在引言中称，这样的模型仍可保持正常基准表现；正文给出的效用指标是 FID、CLIP 和 POPE。
• 提出的攻击：Privacy-Leaking Watermarks（PLW）。触发在文本中，水印使固定比特消息能从图像恢复；该消息只标记触发是否出现，不编码任意对话内容。
• 威胁模型：
  • 目标：判断先前对话是否表达了与预选消息绑定的敏感属性，并在事后取得的图像上离线检出。
  • 知识：引言称为 white-box attack；伦理声明写明需要足以修改并再分发权重的 white-box access。没有编码方案时，嵌入信号不能被识别。
  • 能力：提供方可部署，或第三方经微调植入后通过开源仓库或模型中心再分发。植入后不需实时干预，也不需读取原对话，只需视觉输出，例如用户公开分享或攻击者刮取网页图像。
  • 受害设定：对话不能被提供方或外部对手直接读取的统一多模态模型，例如端到端加密、第三方执行或受限日志。

论文第 2 节把相关工作分成三组，并据此定位 PLW。

统一多模态模型

• 从模块到原生统一：Radford 等（2021）、Alayrac 等（2022）、Li 等（2023a）用适配器连接独立编码器。早期统一模型把图像量化成离散单元，使感知、推理和生成共享解码空间（Team, 2024; Wang 等, 2026），并扩展到 Liquid、Show-o 和 Emu3.5。
• 架构变体：BAGEL 用 Mixture-of-Transformer-Experts，Janus-Pro 解耦视觉编码，Tuna-2 探索无编码器像素建模；离散扩散把多模态生成写成联合去噪（Li 等, 2026; Swerdlow 等, 2025）。
• 论文的连接：作者认为这些进展让交互更连贯，也形成共享通路，使较早对话中的敏感细节可能影响其他模态的后续生成。

生成模型水印

• 防护性水印：Tree-Ring（Wen 等, 2023）在扩散采样中印指纹；SEAL（Arabi 等, 2025）让水印感知内容，以改进验证并抵抗伪造；SleeperMark（Wang 等, 2025）嵌入可在下游微调后保留的模型级水印。
• 与本文的差别：作者称该文献主要把水印当作防护设施。本文研究其恶意反转：水印可以条件于私人对话线索，而不只回答谁生成了这张图。

后门与隐私攻击

• 完整性后门：BadNets（Gu 等, 2019）和 Trojaning（Liu 等, 2018）在训练中或训练后植入触发行为；Hong 等（2022）用权重编辑注入后门。作者称这些攻击主要针对完整性，触发后出现可见错误或任务失败。
• 泄漏通道：Braun 等（2026）研究统一模型上的多模态后门。Feng 与 Tramèr（2024）、Wen 等（2024）的 privacy backdoors 使被篡改模型泄漏训练数据。Zhang 等（2024）、Hui 等（2024）、Yang 等（2025）通过对抗查询恢复系统提示等上下文。
• 本文的延伸：作者称本文把两类方向结合起来：后门不造成可见异常，也不靠查询抽取，而是把实时对话上下文跨模态编码进生成结果。

实验对照与数据

• 基线：实验节未把上述攻击方法列为对照。对照是未修改的 OmniGen2 与 BAGEL-7B，包括干净模型上的上下文泄漏探针，以及 FID 相对未修改骨干的 ΔFID。图像提示用 MS-COCO 与 MJHQ，理解路径用 POPE。

作者将 PLW 定位为统一模型上、以先前对话为条件的隐蔽水印，而不是溯源标记、可见误行为，或对训练数据与系统提示的提取。

Privacy-Leaking Watermarks（PLW）分两阶段：先在目标模型冻结的 VAE 潜空间学习可恢复水印，再用 LoRA 把文本触发绑定到指定消息。概览见 Figure 2。

问题设定与术语

• 对话结构：chat 是生图前交给统一模型的全部文本，含 context-prefix 和生图请求。turn 是一条用户消息加对应模型回复。
• 触发与消息：trigger 是 context prefix 中指向敏感概念的文本线索，释义视为同一触发的变体。含任一变体为 sensitive，否则为 neutral。message 是与触发关联的比特串，只标记该触发是否出现，不编码任意对话内容。
• 水印与判定：watermark 是生成图像潜表示中承载该消息的不可感知标记。攻击者比较提取消息与预选目标消息；多个目标消息可对应不同属性。

Stage 1：潜空间水印

• 编码：冻结 VAE 的编码器–解码器。消息编码器把比特消息映成潜空间加性扰动，水印潜变量为干净潜变量加该扰动。解码后再编码，交给提取器得到估计消息。构造沿用 Bui 等（2023）、Wang 等（2025）和 Feng 等（2024）。
• 目标：各位独立按 Bernoulli(0.5) 采样。损失是消息恢复的二元交叉熵，加上水印图像与干净重建之间的图像空间惩罚：

L_stage1=BCE(m̂,m)+λ_img|x_wm−x_rec|₂² 前一项要求提取准确，后一项约束视觉差异。

• 实现选择：主实验取 λ_img=50。附录 B 给出卷积编码器与提取器结构，参数量分别为 1.1M 和 30.0M。Stage 1 训练 10,000 步，图像为 512×512、bfloat16，只更新这两个模块。

Stage 2：把水印绑到触发

• 配对微调：LoRA 把触发关联到指定消息。配对合成对话共享生图请求和参考图像，只在 context prefix 是否含该触发的变体上不同。目标潜变量为干净潜变量加逐渐增大的水印扰动；附录 I 使用线性热身，前 500 步。
• 速度场损失：按模型原生 flow-matching 采样共享噪声和时间步。水印损失让触发对话生成目标水印潜变量，并用时间步门控强调低噪声步；干净保持损失让中性对话在全部时间步匹配冻结教师，以保持生成质量并避免中性输出带上消息。
• 对比与残差：对比损失使目标消息在触发预测潜变量上比中性输出更可恢复；残差损失把触发引起的潜变量之差约束到预期水印扰动。论文写明后者用于减少对图像内容的非预期改动。总目标为

L_stage2=L_wm+λ_cleanL_clean+λ_conL_con+λ_ΔL_Δ

• 分工：消息编码器与提取器在本阶段冻结，因此 Stage 2 学的是何时插入水印，而不是如何编码或恢复。附录 I 写明两模型的干净保持权重相同，对比项权重不同；作者称这是因为对比项负责压住干净路径，而干净路径带上消息的情况出现在 BAGEL 上。

适配器、数据与检出

• 改哪些权重：两模型均用 LoRA。OmniGen2 的适配器加在扩散 Transformer 上，文本生成骨干不更新；BAGEL 只改 generation-expert，understanding-expert 不更新。附录 A.2 列出模块名。
• 对话如何构成：轮次由 Gemma-3 生成，Figure 3 图注写 Gemma-3 12B。每个触发有精确短语和手写释义；一次运行训练精确短语加其中五个，留出五个。训练上下文固定为两轮，共 5,000 对；中性间隔轮数只在评测时从 0 变到 3，见 Figure 3。
• 检出：主实验消息长为 48 位。检测分数是逐位准确率，不是另一个 LLM 的评审。触发图像为正、干净图像为负，报告 AUC，以及 FPR 为 1% 和 5% 时的 TPR。

实验设置

• 模型：被攻击模型为 OmniGen2 与 BAGEL-7B。作者按 OneIG-Bench 上公开模型的表现选取二者，但未报告中毒模型的 OneIG 分数。Show-o2 与 Emu3.5 在初步分析后排除（附录 C）。Gemma-3 12B 只用于生成对话轮次。
• 触发与提示：13 个敏感属性触发，涵盖健康、宗教及其他敏感属性。训练用精确短语加五个释义，评测用五个留出释义。图像提示来自与训练不相交的 MS-COCO，域外为 MJHQ。
• 规模与间隔：每个评测设置 500 条 clean 与 500 条 triggered。触发与生图请求之间插入 0–3 个中性轮。训练为 512×512、5,000 对。
• 优化预算：Stage 1 为 10,000 步 AdamW。Stage 2 批大小 1、学习率 5×10^-4。OmniGen2 至多 2,000 步，带 margin-based early stopping；BAGEL 为 1,750 步。每 250 步在 32 条留出对话上验证。seed 为 0。一块 A100-SXM4-80GB 上每阶段约三小时。论文未给出 early stopping 的 margin 数值。
• 指标：提取 48 位消息，以逐位准确率作为检测分数。Table 1 的 TPR@1% FPR 使用随条件变化的工作点。效用指标为 CLIP-I、CLIP-T，以及 1000 条 MJHQ 提示上的 FID；理解路径用 POPE。
• 干净模型探针：每条件 500 张图，CLIP ViT-L/14 嵌入，90:10 划分后训练线性探针。正文未给出探针的 Accuracy 或 AUC 读数。

主结果

下表为域内 MS-COCO 的 TPR@1% / TPR@5% FPR，据 Table 1。AUC 为各间隔平均，ΔFID 相对未修改骨干。表中省略 I am Hindu 行和 2 个中性轮一列。

表格较宽，可左右滑动

• 作者称三个点名触发在 5% FPR 下，OmniGen2 为 80.6–100.0%，BAGEL 为 94.4–99.8%；其余十个的该指标均值分别为 88.9–93.2% 与 85.2–96.6%。摘要称 13 个触发、两个模型族最高达到 100.0% TPR@1% FPR；贡献条目称平均为 70.0%。Table 1 的其余十个均值在 1% FPR 下低于 5% FPR。
• 作者称随中性轮增加，BAGEL 恢复适度下降，OmniGen2 保持稳健。抑郁触发在 OmniGen2 的四个间隔上 TPR@1% FPR 均为 100.0%；同一触发在 BAGEL 上为 94.2–99.8%。I am Hindu 的域内四格 TPR@1% FPR：OmniGen2 为 98.6%、99.0%、99.6%、99.2%，BAGEL 为 93.4%、98.2%、96.0%、91.4%。
• 作者称效用大体保持，若干适配器 FID 低于未修改骨干，并称这与先前统一模型投毒微调相对未调基线改善生成的结果一致。主要例外是 OmniGen2 怀孕适配器，ΔFID 为 +3.11。作者认为这与干净 OmniGen2 上怀孕已有可见上下文信号、而残差损失要求潜变量只差水印残差有关。

未修改模型与多触发

• 干净模型：Figure 4 左侧，作者称多数输出仍忠实于图像提示，OmniGen2 第二列的怀孕场景出现可见上下文泄漏。右侧探针上，作者称未修改 BAGEL 几乎无泄漏、分数接近随机；OmniGen2 渗出更强，怀孕伴随可检出信号。正文未给出这些探针的具体分数。
• 一个适配器三个触发：Table 2 中每个对话只有一个触发，各有自己的消息。OmniGen2 上自身消息比特准确率为 96.0%、97.0%、96.6%，竞争消息为 51.9%、51.1%、52.0%，1500 张触发图中目标消息均为三者里最可读，AUC 均为 1.000；FID 为 74.81，未修改骨干为 78.37。
• BAGEL 的三触发：自身比特准确率为 72.5%、65.1%、64.7%，AUC 为 0.993、0.960、0.892。作者称 BAGEL 也能把消息路由到对应触发，但没那么分明。

域外提示、变换与防御

• MJHQ：作者称性能大体迁移。OmniGen2 抑郁触发在各间隔的 TPR@5% FPR 至少为 99.8%。BAGEL 其余十个触发的均值，在 0 个中性轮为 36.7/62.7（TPR@1%/5%），其后 TPR@5% FPR 为 71.7%、72.8%、70.5%。作者称域移主要影响 BAGEL 上绑定较弱的触发，而不是绑得较强的三个点名触发（该三项 TPR@5% FPR 为 91.4–99.8%）。
• 像素变换：Table 4 在解码后、提取前做变换，每类 200 张。作者称七种变换平均的 TPR@5% FPR 为 OmniGen2 95.3%、BAGEL 96.7%，无变换时为 95.6% 与 97.5%。JPEG 质量 50 对 5% FPR 影响较小，但把 OmniGen2 的 antifa 检查点在 1% FPR 下的 TPR 降到 67.0%。
• 两类防御：Table 5 的黑盒防御只看图像，没有触发词表和 PLW 提取器；每类 500 张、5 折。多数 AUC 在 0.626–0.786 之间，OmniGen2 的 jackpot 上 LReg 为 0.557、MLP 为 0.461。作者将其视为可检出性基线，而不是可靠防御。附录 H 中，Prompt Guard 2 与 LLM Guard 在默认 0.5 阈值下标记数为 0；乱码检测器在生硬插入格式上 AUC 为 0.735，改成合乎语法的句子后为 0.556。作者认为通用扫描难以识别自然语言中的自我披露。

其他消融与分析

• Stage-2 留一（Table 3，两骨干、三触发平均）：去掉干净保持项后 FID 从 73.66 到 177.94；去掉对比项后干净图比特准确率从 0.317 到 0.515；去掉残差项后 CLIP 从 0.878 到 0.706。作者称此时触发会重画图像，而不是做标记。
• 分骨干（Table 10）：去掉对比项后，BAGEL 干净图比特准确率从 0.254 到 0.653；OmniGen2 去掉水印项后，触发比特准确率仍为 0.999。作者认为对比项本身也在教水印，因此该行不能直接当成无水印基线。
• 消息长度（Table 11，OmniGen2、一个触发、域内精确触发）：16、32、48、64 位的 AUC 为 0.997–0.999，TPR@5% FPR 为 99.6–100.0。作者认为 48 位是保守选择，而不是调出来的容量上限。
• 释义训练（Table 9，TPR@5% 为比例，十对；论文未写明这十对就是 Table 1 的其余十个）：BAGEL 均值从 0.530 到 0.886，十对都更高；OmniGen2 从 0.855 到 0.918，但 I am autistic 从 0.850 降到 0.572。作者认为释义训练主要改善较弱触发，而不是一律变好。
• 冻结阈值（附录 J）：每适配器只用 0 间隔、250 张干净域内图的第 99 百分位，再固定用于各间隔。147 个留出条件的实际 FPR 中位数 0.40%、均值 0.84%、最大 4.00%，103 个不超过 1%；中位 TPR 为 81.6%。Figure 9 中，校准图从 25 增到 250 时，中位实际 FPR 从 2.40% 到 0.60%。
• POPE（附录 E）：3000 道是/否题。13 个触发的每个适配器都复现骨干，OmniGen2 总准确率 0.8797、yes-rate 0.4083，BAGEL 为 0.8643 与 0.3857。作者称这是因为 LoRA 没改理解路径。Stage-1 在 λ_img=50 时比特准确率 99.86%、PSNR 40.37 dB；去掉消息损失后准确率 50.17%（Table 6）。

作者指出的局限与后续方向

• 部署范围：附录 K 写明，white-box 威胁模型覆盖被入侵的开源检查点和恶意提供方，但不是全部部署设定。
• 更弱访问：附录 K 认为，类似行为也可能来自把触发对话与带水印图像配对的数据投毒，并称在这一更弱访问模型下测试 PLW 仍是后续工作。
• 触发差异：附录 K 写明，作者并未完全解释为何有的触发更有效；语言显著性、上下文嵌入和预训练频率可能有关。
• 双重用途：附录 K 写明，触发与水印的关联或可支持已经披露的安全干预，但同一机制也能做隐蔽画像，因此透明与防护是必要的。

实验覆盖范围

• 主实验的生图模型为 OmniGen2 与 BAGEL-7B，论文写明图像生成为 diffusion-based。Section 4 按 OneIG-Bench 上的公开表现选取二者，论文未报告中毒模型在 OneIG-Bench 上的分数。
• Show-o2 与 Emu3.5 出现在模型选择和附录 C：初步分析中它们常把无关的先前概念画进图像，因而未被用于主实验；论文写明自回归生成超出本文范围。
• 评测包含 13 个敏感属性触发，每设置 500 条 clean 与 500 条 triggered，中性轮为 0–3；训练用精确短语加五个释义，评测用五个留出释义（Section 4）。
• 已报告的效用数字来自 CLIP-I、CLIP-T、1000 条 MJHQ 提示上的 FID，以及 POPE 的 3000 道是/否题（Section 4、附录 E）。
• 变换与防御包括 Table 4 的七种像素变换（每类 200 张）、Table 5 的逻辑回归和小 MLP（每类 500 张、5 折），以及附录 H 的文本扫描器。Appendix A 写明 seed 为 0，以及两阶段步数和每 250 步用 32 条对话验证。

• 定位：PLW 是针对统一多模态模型的 white-box 攻击。恶意修改后的模型把先前对话中的敏感线索，写成后来无关图像里的不可见水印；取得图像的人可用配套提取器判断该线索是否出现。
• 问题：同一对话会被跨任务复用，较早披露仍留在上下文中。作者关心的是，本地部署并不能阻止被植入的模型把这些线索带到生图。消息只标记触发是否出现，不承载任意对话原文。
• 方法：第一阶段在冻结 VAE 上学加性潜残差和提取器。第二阶段用 LoRA，让含触发的对话走向水印轨迹，让中性对话贴近冻结教师，并用对比项和残差项分别提高可区分性、约束图像改动。理解路径权重不更新。
• 主结果：MS-COCO 上，OmniGen2 的抑郁触发在 0–3 个中性轮的 TPR@1% FPR 均为 100.0%（Table 1）。作者称 13 个触发、两个模型族平均为 70.0% TPR@1% FPR。同一表里，OmniGen2 其余十个触发在 1 个中性轮的均值为 41.7%；BAGEL 在 MJHQ、0 个中性轮上该均值为 36.7%。
• 其他结果：单个 OmniGen2 适配器可同时绑定三个触发，Table 2 中 1500 张触发图的目标消息均为最可读。作者称七种像素变换后的平均 TPR@5% FPR 为 95.3% 与 96.7%。只看图像时，OmniGen2 的 jackpot 上两个分类器 AUC 为 0.557 与 0.461。OmniGen2 怀孕适配器的 ΔFID 为 +3.11。
• 作者的结论：作者认为，模型可以保持有用且视觉忠实，同时把私人上下文变成可提取信号；并建议敏感披露之后不要把同一对话继续用于无关生图。附录 K 将数据投毒这一更弱访问模型，以及触发效果为何不同，留作后续。