VENOMREC：针对多模态 LLM 推荐系统定向推广的跨模态交互投毒

跨模态融合既能挡住传统投毒，也会在图文被同步扰动时，把目标物品推向高曝光语义方向。

• 场景：作者称 MLLM 把推荐从 ID 匹配变成基于内容的跨模态推理；物品文本与图像融合后，按语义兼容性而非共现排序。作者认为架构变化未必更安全，而是把攻击面移到融合处。
• 现有不足：作者称只改点击或评分不能精确拉动融合表示；只改文本或图像时，另一模态常充当 semantic anchor 把预测拉回。因而既有攻击在隐蔽约束下的定向影响有限。
• 核心观察：作者认为瓶颈在融合时的共识，不在单模态是否易被扰动。两侧同步后，融合可能不再过滤，而把协同信号放大成稳定语义方向。作者称这是一种悖论。
• 提出内容：作者形式化跨模态交互投毒，并提出 VenomRec。Exposure Alignment 在联合嵌入中找高曝光区域，Cross-modal Interactive Perturbation 按跨模态注意力做 token–patch 协同编辑。作者称据其所知，这是首次专门形式化并研究针对 MLLM-RecSys 的此类威胁。
• 威胁模型：
  • 目标：全局推广目标物品集 I†，最大化良性用户上的曝光。
  • 知识：grey-box。无受害私有参数 Θ 与梯度；知道公开骨干（如 CLIP、T5），用作估计融合与 token–patch 对应的代理。
  • 能力：妥协用户 Umal 满足 |Umal|≤ρ|U|。可改其交互历史与用户生成内容（评论、图像）。变换 T 须落在隐蔽流形 B：单模态各自自然，融合后图文仍一致。
  • 受害系统：以 VIP5 为例的 MLLM-RecSys。物品含文本与图像，经冻结视觉编码器与可训练投影进入序列生成；注意力层充当融合。投毒在微调数据上生效。

论文的相关讨论分三组，实验另用十个基线。

MLLM 推荐系统

• VIP5（Geng et al., 2023）：parameter-efficient 框架，统一视觉、语言与个性化，把推荐做成序列到序列生成。本文受害模型以此为例。
• PMMRec（Li et al., 2024）：只靠多模态物品内容做可迁移推荐。
• MISSRec 与 NoteLLM-2：MISSRec（Wang et al., 2023）预训练多模态、兴趣感知的序列表示。NoteLLM-2（Zhang et al., 2025b）把视觉编码器与大语言模型用于已部署平台的物品到物品推荐。作者称这类系统的跨模态融合安全性仍被忽视。

投毒攻击

• 推荐交互投毒：Li et al.（2016）、Zhang et al.（2020）、Huang et al.（2021）及 Wang et al.（2024）的综述，主要向协同过滤或序列推荐注入伪造交互。作者称这些工作多在单模态设定；迁到 MLLM 时，未扰动模态会当 semantic anchor，影响往往有限。
• 其他载体：论文列举图像分类（Shafahi et al., 2018）、视觉语言学习（Carlini and Terzis, 2021；Yang et al., 2023；Liang et al., 2024; 2025）、生成模型（Shan et al., 2024；Wu et al., 2025）和 LLM（Shu et al., 2023；Ning et al., 2025; 2024），未逐篇与本文对比。
• Shadowcast（Xu et al., 2024）：同时用视觉与文本构造 shadow 样本。作者称它主要改输入级特征以诱发潜在错位，没有利用深层跨模态融合，这一限制在 MLLM-RecSys 上尤其明显。

基线与数据

• 基线方法：交互级 DirectBoost、RandomAttack、PopularAttack；文本 TextFooler、DeepwordBug、PuncAttack、BERTAttack；图像 INSA、EXPA；多模态 Shadowcast。数据为 Amazon 的 Clothing、Sports、Toys，以及短视频 MicroLens。
• 本文定位：作者称与先前工作不同，他们把跨模态共识从防御屏障转成攻击放大器，使融合达成恶意共识。

VenomRec 不直接解未知干净集与私有参数下的双层优化，而用公开骨干作代理：先定高曝光方向，再按融合注意力同步改图文。

受害系统与攻击形式化

• 生成式框架：以 VIP5 为例。历史物品编成文本 token 与视觉特征的拼接；视觉编码器（如 CLIP-ViT）冻结，投影器可训练。指令、用户与历史组成提示。注意力层即融合算子 ΦΘ。
• 训练对象：可训练参数 Θ（如适配器与投影器）最小化自回归负对数似然。攻击改的是微调数据，不是推理时的提示。
• 定义：Definition 3.1 将攻击写成 (Umal, I†, T)。T 把干净用户生成内容映到投毒图文对，两侧扰动相对 ΦΘ 联合决定。外层最大化良性用户上的目标曝光，内层是受害模型在干净集并投毒集上最小化推荐损失。
• 隐蔽与知识：B 要求单模态自然，且融合后图文仍一致。grey-box 下无 Θ 与梯度，用公开 CLIP、T5 估计融合和 token–patch 对应。

Exposure Alignment

• 锚点：作者假设高曝光物品的语义相对模型实例较稳定，因为公开热度反映持续偏好与平台流量。从公开热门列表（论文举例 Best Sellers）取锚点，并只保留与目标同一类别的物品。
• 质心：代理融合表示取平均后再做 ℓ2 归一化，得到目的地 z⋆。对齐损失为 L_adv=1−cos(ϕ(t̃,ṽ),z^⋆)，即代理融合向量与质心的余弦偏离。EA 不进入受害训练循环。

Cross-modal Interactive Perturbation

• 显著性：用代理跨模态注意力（多头、多层经 attention rollout 聚合）给文本位置和视觉 patch 打分，取 top-k 做掩码。每轮更新后重算掩码。
• 视觉：在掩码维上做无梯度探测，选使与 z⋆ 的余弦增幅最大的方向，再按符号步更新，并投影回相对原表示的 ℓ∞ 邻域。论文把更新对象写成当前视觉表示，举例为投影后的 patch 特征。
• 文本：在掩码位置采样替换并贪心挑选，要求提高对 z⋆ 的对齐并保持流畅；若与当前图像的代理图文一致性下降过多则拒绝。论文未给出替换词表或句式。
• 停止：视觉与文本交替至多 R 轮，余弦超过阈值或预算用尽即停。论文未给出 R、k、阈值、步长与 ε。附录 Algorithm 1 汇总流程。

投毒集如何进入训练

• 优化后的图文对组成恶意子集，并写入妥协用户的交互历史。投毒只发生在 Umal；曝光目标写的是在良性用户上计算。

实验设置

• 受害模型：主结果为 VIP5，冻结 T5-small 骨干，PEFT 适配器微调。附录 Table 6 为 T5-base。迁移对象为 DiffMM（附录 Table 8）。
• 数据：Clothing、Sports、Toys 与 MicroLens（Table 1）。用户/物品/交互依次为 39387/23033/278677、35598/18357/296337、19412/11924/167597、100000/19738/719405。密度 0.0307%、0.0453%、0.0724%、0.0364%。官方 8:1:1 划分。视觉用预提取 CLIP（ViT-B/32）嵌入。
• 基线：DirectBoost、RandomAttack、PopularAttack、TextFooler、DeepwordBug、PuncAttack、BERTAttack、INSA、EXPA、Shadowcast，以及 NoAttack。
• 指标：ER@K 是测试用户中目标进入 Top-K 的比例。效用是 HR@K、NDCG@K，论文称在良性用户上计算。隐蔽性为 ROUGE、FID，以及 Semantic Alignment、Latent Direction Alignment。
• 协议：AdamW，学习率 1×10^{-3}，batch size 128，默认 ρ=0.1%。目标从交互频次后 20% 随机抽取，作者称以此模拟冷启动推广。设置名为 Few-Shot 与 Zero-Shot（Brown et al., 2020）。论文未报告重复次数，也未写明两种设置的提示差异。硬件为 NVIDIA L20。
• 判定：ER 由排序名次计算。论文未使用 LLM 评审。

主结果

下表为 VIP5（T5-small）、VenomRec 的 ER（Table 2）。

表格较宽，可左右滑动

设置	ER@5	ER@10	ER@20
Clothing Few-Shot	0.1158	0.2596	0.7170
Clothing Zero-Shot	0.1337	0.2820	0.7317
Sports Few-Shot	0.0846	0.1746	0.5837
Sports Zero-Shot	0.0838	0.1731	0.5825
Toys Few-Shot	0.4065	0.6229	0.8674
Toys Zero-Shot	0.4316	0.6442	0.8781

• 作者称三份 Amazon 数据上均高于表中基线。摘要另给平均 ER@20 0.73、相对最强基线 +0.52，未写明平均所含设置。同表 Few-Shot 基线 ER@20 最高为 Clothing 上 RandomAttack 0.1331、Sports 上 INSA 0.1653、Toys 上 EXPA 0.3200。
• 作者称 Zero-Shot 仍有效，且 Clothing 上高于 Few-Shot；并称单模态会被未扰动模态拉回。Clothing Few-Shot 的 EXPA、TextFooler 的 ER@20 为 0.1252、0.0211。
• 作者称 HR、NDCG 与 NoAttack 相当。Table 2 中 Toys Few-Shot 的 HR@20 为 0.3197，NoAttack 为 0.3462；Sports Few-Shot 为 0.3569，NoAttack 为 0.3771。

隐蔽性

• 测了什么：Table 3 给出三份 Amazon 数据的 ROUGE、FID 与跨模态列。
• 结果：VenomRec 的 ROUGE-L 为 Clothing 92.09、Sports 89.09、Toys 92.09；FID 为 42.89、36.79、43.20。Semantic 列为 0.0033、0.0046、0.0061，NoAttack 为 0.0306、0.0178、0.0282。Direction 为 0.0459、0.0841、0.0003。
• 作者解读：作者称文本流畅、图像仍可接受，图文沿一致方向变化，因而能穿过融合共识。作者称 ROUGE-L 约在 90.0 及以上；表中 Sports 为 89.09。Toys 的 Direction 为 0.0003。

对三种防御的评测

• 测了什么：Clothing 上的 AE Filter、LexNorm、Freq-Rarity（附录 A.3）。前者按用户历史统计的重构误差去掉注入画像；后两者做文本规范化或删低频词。
• 结果：Table 5 无防御时 Few/Zero 的 ER@20 为 0.7170/0.7317。AE Filter 为 0.7174/0.7280，LexNorm 为 0.7100/0.6743，Freq-Rarity 为 0.6820/0.6357。作者称防御后 ER@20 仍至少 0.6357，HR 与 NDCG 接近无防御。
• 作者解读：作者称 AE Filter 只处理历史特征，不直接清洗物品内容。LexNorm 的 Few-Shot ER@5 为 0.1482，高于无防御的 0.1158；作者未解释该格，只讨论 ER@20。

换架构与换领域

• DiffMM：Table 8 未标 Few/Zero。Sports 上 VenomRec 的 ER@10 为 0.6667，Shadowcast 为 0.1597；作者称绝对差 0.507。ER@20 为 Clothing 0.6341 对 0.5546，Toys 0.8963 对 0.1555，Sports 上 VenomRec 为 0.8870。Sports 的 NDCG@10 为 0.1639，NoAttack 为 0.1635。
• MicroLens：附录 A.7 未重写受害骨干。Table 9 中 Zero-Shot 的 ER@10 从 Shadowcast 0.0005 到 VenomRec 0.7909，ER@20 为 0.9864；Few-Shot 的 ER@10 从 0.0007 到 0.8066，ER@20 为 0.9885。HR@10 为 0.2161/0.2173，干净模型为 0.2164/0.2163。
• 作者解读：作者称所利用的漏洞不限于 VIP5/T5 一族，而与多模态融合及协同转向有关；也不限于 Amazon 商品数据。

其他消融与分析

• ρ（Figure 3，Clothing，ER@5）：Few-Shot 在 0.05% 至 0.7% 为 0.0309、0.1158、0.3059、0.4830、0.8543；Zero-Shot 为 0.0233、0.1337、0.2909、0.5155、0.9014。同期 Few-Shot HR@5 从 0.1435 到 0.0855。作者称 0.7% 时 Zero-Shot 比 Few-Shot 大约高 5 个百分点。
• 组件（Table 4，Clothing，ER@20）：仅交互注入为 0.2669/0.2904（Few/Zero）；加图像为 0.4173/0.4220；再加独立文本为 0.5617/0.5881；完整 CIP 为 0.7170/0.7317。仅注入时 Few-Shot ER@5 为 0.0142。作者称相对无交互变体大约高 0.15。
• 目标数（Table 7，Clothing，Few-Shot ER@20）：κ=1 为 0.7170，κ=3 为 0.2904，κ=5 为 0.1303；Shadowcast 在 κ=5 为 0.0349。VenomRec 的 HR@20 从 0.3377 到 0.3338。作者称多目标有竞争，固定预算被稀释。
• T5-base（Table 6，ER@20）：Clothing Few/Zero 为 0.4850/0.4676；同表 BERTAttack 的 Few-Shot 为 0.2858，Shadowcast 为 0.1760。Sports 为 0.5580/0.5398。Toys 为 0.9646/0.9639，RandomAttack 的 Few-Shot 为 0.9543。

作者指出的局限与后续方向

• 论文未专门讨论局限，没有 Limitations 或 Future Work 专节。Conclusion 希望此项工作成为重新检查 MLLM-RecSys 在现实投毒威胁下的安全图景的基础，并推动发展考虑跨模态对抗对齐的下一代防御。

实验覆盖范围

• 受害系统为 VIP5（T5-small 主结果，T5-base 见 Table 6）与 DiffMM（Table 8）。数据集为 Clothing、Sports、Toys、MicroLens（Table 1、附录 A.7）。附录 A.7 未重写 MicroLens 的受害骨干名称。
• 主表含 Few-Shot 与 Zero-Shot，默认 ρ=0.1%，目标取交互频次最低的 20%（Section 5.1）。威胁模型为 grey-box，代理为公开 CLIP 与 T5。ER 由 Top-K 命中计算，论文未使用单独评审模型。
• 防御为 AE Filter、LexNorm、Freq-Rarity，数字只在 Clothing（Table 5）。ρ 扫描与 κ∈{1, 3, 5} 也只在 Clothing（Figure 3、附录 A.5）。
• 摘要给出平均 ER@20 0.73 与相对最强基线 +0.52，未写明纳入平均的模型与设置。论文未报告 CIP 的 R、top-k、停止阈值、步长 η 与 ℓ∞ 半径 ε，也未报告重复次数。
• 视觉输入在主协议中是预提取的 CLIP（ViT-B/32）嵌入；VIP5 的可训练部分为适配器与投影器，T5 骨干冻结（Section 5.1、Section 3.1）。

VenomRec 是针对多模态大模型推荐的训练期数据投毒框架，在 grey-box 下提高指定物品的曝光。

• 问题：作者认为跨模态共识会抑制只改交互日志或只改一种模态的投毒；图文一旦同步，融合就可能从过滤器变成放大器。
• 做法：公开 CLIP 与 T5 充当融合代理。Exposure Alignment 用同类热门物品的融合向量做质心，作为要靠近的方向。CIP 用跨模态注意力选择 token 与 patch，在 ℓ∞、文本流畅和图文一致约束下交替修改，再把投毒物品写入不超过 ρ 比例的妥协用户历史，供适配器微调。
• 主结果：VIP5（T5-small）上，Clothing、Sports、Toys 的 Few-Shot ER@20 为 0.7170、0.5837、0.8674（Table 2）。作者称平均 ER@20 为 0.73，比最强基线高 0.52 个点，但未给出平均口径。
• 其他结果：MicroLens 上 Few-Shot ER@20 为 0.9885（Table 9，该节未重写骨干）。Clothing 上 Freq-Rarity 之后，Zero-Shot ER@20 仍为 0.6357（Table 5）。DiffMM 的 Sports ER@10 为 0.6667（Table 8）。
• 作者结论：作者称用于增强稳健性的融合机制可被改用来放大恶意共识，且总体推荐效用大体维持；并希望后续防御按跨模态对抗对齐来设计。