Skip to content

Translation in progress Some entries still include text in the original language.

Original
arXiv· arXiv:2602.06409· Guowei Guan, Yurong Hao, Jiaming Zhang, Tiantong Wu, Fuyao Zhang, Tianxiang Chen, Longtao Huang, Cyril Leung, Wei Yang Bryan Lim·Indexed by this site · Originally published

VENOMREC: Cross-modal Interactive Poisoning for Targeted Promotion in Multimodal LLM Recommendation Systems

VENOMREC: Cross-Modal Interactive Poisoning for Targeted Promotion in Multimodal LLM Recommender Systems

Quick read

Attacks

Based on 论文 PDF （AI 生成）; refer to the original

VenomRec对MLLM推荐做跨模态投毒，摘要称四数据集平均ER@20为0.73、较最强基线高0.52。

Threat modelgrey-box：攻击者无Θ与梯度，知道公开CLIP、T5可作代理。

Questions
MLLM推荐靠图文融合做语义排序。作者认为跨模态共识能挡住只改交互或单模态的投毒，但图文同步扰动会把融合变成定向推广的攻击面。
Methods
VenomRec用公开CLIP与T5作代理：先把同类热门物品收成高曝光质心，再按跨模态注意力同步改token与patch，并受自然性与一致性约束，最后写入不超过ρ比例的妥协用户历史供微调。
Experiments and results
VIP5（T5-small）上，Clothing/Sports/Toys的Few-Shot ER@20为0.7170、0.5837、0.8674。摘要称平均0.73。防御后Clothing的Zero-Shot ER@20仍达0.6357。
Limitations and future work
论文未单列局限；Conclusion希望推动考虑跨模态对抗对齐的防御。实验含VIP5两种T5规模、DiffMM和四个数据集；防御与ρ、κ扫描在Clothing。未报告R、top-k、阈值、η、ε、重复次数，也未说明0.73的平均口径。
Experimental setupVIP5 (T5-small)、VIP5 (T5-base) et al. · Clothing、Sports et al. · ER@K、HR@K et al.
Threat model
grey-box：攻击者无Θ与梯度，知道公开CLIP、T5可作代理。能改比例不超过ρ的妥协用户交互与UGC（评论和图像），受约束B（单模态自然、跨模态一致）。目标是在良性用户上推广I†并提高Top-K曝光。
Evaluated models
VIP5 (T5-small)VIP5 (T5-base)DiffMM
Benchmarks
ClothingSportsToysMicroLens
Metrics
ER@KHR@KNDCG@KROUGEFIDSemantic AlignmentLatent Direction Alignment
AI summaryThe researchers propose VENOMREC, a cross-modal interactive poisoning attack against multimodal LLM recommendation systems, which promotes target content by simultaneously perturbing text tokens and image patches. The paper notes that cross-modal consistency can usually mitigate traditional poisoning that only manipulates interaction logs or a single modality, but it also introduces a new attack surface: synchronized multimodal poisoning can stably push the fused representation toward a specific semantic direction during fine-tuning. The method includes Exposure Alignment, used to locate high-exposure regions in the joint embedding space, and Cross-modal Interactive Perturbation, used to generate attention-guided coupled token-patch edits. On four real multimodal datasets, the paper reports that VENOMREC achieves an average ER@20 of 0.73, outperforming the strongest baseline by an average of 0.52 absolute ER points, while maintaining comparable recommendation utility. The code is publicly available on GitHub.

The researchers propose VENOMREC, a cross-modal interactive poisoning attack against multimodal LLM recommendation systems, which promotes target content by simultaneously perturbing text tokens and image patches. The paper notes that cross-modal consistency can usually mitigate traditional poisoning that only manipulates interaction logs or a single modality, but it also introduces a new attack surface: synchronized multimodal poisoning can stably push the fused representation toward a specific semantic direction during fine-tuning. The method includes Exposure Alignment, used to locate high-exposure regions in the joint embedding space, and Cross-modal Interactive Perturbation, used to generate attention-guided coupled token-patch edits. On four real multimodal datasets, the paper reports that VENOMREC achieves an average ER@20 of 0.73, outperforming the strongest baseline by an average of 0.52 absolute ER points, while maintaining comparable recommendation utility. The code is publicly available on GitHub.

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    跨模态共识能压住单通道投毒，同步改图文则可把融合变成定向推广面。

    跨模态融合既能挡住传统投毒，也会在图文被同步扰动时，把目标物品推向高曝光语义方向。

    • 场景：作者称 MLLM 把推荐从 ID 匹配变成基于内容的跨模态推理；物品文本与图像融合后，按语义兼容性而非共现排序。作者认为架构变化未必更安全，而是把攻击面移到融合处。
    • 现有不足：作者称只改点击或评分不能精确拉动融合表示；只改文本或图像时，另一模态常充当 semantic anchor 把预测拉回。因而既有攻击在隐蔽约束下的定向影响有限。
    • 核心观察：作者认为瓶颈在融合时的共识，不在单模态是否易被扰动。两侧同步后，融合可能不再过滤，而把协同信号放大成稳定语义方向。作者称这是一种悖论。
    • 提出内容：作者形式化跨模态交互投毒，并提出 VenomRec。Exposure Alignment 在联合嵌入中找高曝光区域，Cross-modal Interactive Perturbation 按跨模态注意力做 token–patch 协同编辑。作者称据其所知，这是首次专门形式化并研究针对 MLLM-RecSys 的此类威胁。
    • 威胁模型：
      • 目标：全局推广目标物品集 I†，最大化良性用户上的曝光。
      • 知识：grey-box。无受害私有参数 Θ 与梯度；知道公开骨干（如 CLIP、T5），用作估计融合与 token–patch 对应的代理。
      • 能力：妥协用户 Umal 满足 |Umal|≤ρ|U|。可改其交互历史与用户生成内容（评论、图像）。变换 T 须落在隐蔽流形 B：单模态各自自然，融合后图文仍一致。
      • 受害系统：以 VIP5 为例的 MLLM-RecSys。物品含文本与图像，经冻结视觉编码器与可训练投影进入序列生成；注意力层充当融合。投毒在微调数据上生效。

  2. What related research exists?

    论文对照MLLM推荐、交互投毒与Shadowcast，称共识可被转成攻击放大器。

    论文的相关讨论分三组，实验另用十个基线。

    MLLM 推荐系统

    • VIP5（Geng et al., 2023）：parameter-efficient 框架，统一视觉、语言与个性化，把推荐做成序列到序列生成。本文受害模型以此为例。
    • PMMRec（Li et al., 2024）：只靠多模态物品内容做可迁移推荐。
    • MISSRec 与 NoteLLM-2：MISSRec（Wang et al., 2023）预训练多模态、兴趣感知的序列表示。NoteLLM-2（Zhang et al., 2025b）把视觉编码器与大语言模型用于已部署平台的物品到物品推荐。作者称这类系统的跨模态融合安全性仍被忽视。

    投毒攻击

    • 推荐交互投毒：Li et al.（2016）、Zhang et al.（2020）、Huang et al.（2021）及 Wang et al.（2024）的综述，主要向协同过滤或序列推荐注入伪造交互。作者称这些工作多在单模态设定；迁到 MLLM 时，未扰动模态会当 semantic anchor，影响往往有限。
    • 其他载体：论文列举图像分类（Shafahi et al., 2018）、视觉语言学习（Carlini and Terzis, 2021；Yang et al., 2023；Liang et al., 2024; 2025）、生成模型（Shan et al., 2024；Wu et al., 2025）和 LLM（Shu et al., 2023；Ning et al., 2025; 2024），未逐篇与本文对比。
    • Shadowcast（Xu et al., 2024）：同时用视觉与文本构造 shadow 样本。作者称它主要改输入级特征以诱发潜在错位，没有利用深层跨模态融合，这一限制在 MLLM-RecSys 上尤其明显。

    基线与数据

    • 基线方法：交互级 DirectBoost、RandomAttack、PopularAttack；文本 TextFooler、DeepwordBug、PuncAttack、BERTAttack；图像 INSA、EXPA；多模态 Shadowcast。数据为 Amazon 的 Clothing、Sports、Toys，以及短视频 MicroLens。
    • 本文定位：作者称与先前工作不同，他们把跨模态共识从防御屏障转成攻击放大器，使融合达成恶意共识。

  3. How does the paper address this problem?

    VenomRec先用Exposure Alignment定方向，再用注意力引导的CIP同步改图文。

    VenomRec 不直接解未知干净集与私有参数下的双层优化，而用公开骨干作代理：先定高曝光方向，再按融合注意力同步改图文。

    受害系统与攻击形式化

    • 生成式框架：以 VIP5 为例。历史物品编成文本 token 与视觉特征的拼接；视觉编码器（如 CLIP-ViT）冻结，投影器可训练。指令、用户与历史组成提示。注意力层即融合算子 ΦΘ。
    • 训练对象：可训练参数 Θ（如适配器与投影器）最小化自回归负对数似然。攻击改的是微调数据，不是推理时的提示。
    • 定义：Definition 3.1 将攻击写成 (Umal, I†, T)。T 把干净用户生成内容映到投毒图文对，两侧扰动相对 ΦΘ 联合决定。外层最大化良性用户上的目标曝光，内层是受害模型在干净集并投毒集上最小化推荐损失。
    • 隐蔽与知识：B 要求单模态自然，且融合后图文仍一致。grey-box 下无 Θ 与梯度，用公开 CLIP、T5 估计融合和 token–patch 对应。

    Exposure Alignment

    • 锚点：作者假设高曝光物品的语义相对模型实例较稳定，因为公开热度反映持续偏好与平台流量。从公开热门列表（论文举例 Best Sellers）取锚点，并只保留与目标同一类别的物品。
    • 质心：代理融合表示取平均后再做 ℓ2 归一化，得到目的地 z⋆。对齐损失为 Ladv=1−cos(ϕ(t̃,ṽ),z⋆)，即代理融合向量与质心的余弦偏离。EA 不进入受害训练循环。

    Cross-modal Interactive Perturbation

    • 显著性：用代理跨模态注意力（多头、多层经 attention rollout 聚合）给文本位置和视觉 patch 打分，取 top-k 做掩码。每轮更新后重算掩码。
    • 视觉：在掩码维上做无梯度探测，选使与 z⋆ 的余弦增幅最大的方向，再按符号步更新，并投影回相对原表示的 ℓ∞ 邻域。论文把更新对象写成当前视觉表示，举例为投影后的 patch 特征。
    • 文本：在掩码位置采样替换并贪心挑选，要求提高对 z⋆ 的对齐并保持流畅；若与当前图像的代理图文一致性下降过多则拒绝。论文未给出替换词表或句式。
    • 停止：视觉与文本交替至多 R 轮，余弦超过阈值或预算用尽即停。论文未给出 R、k、阈值、步长与 ε。附录 Algorithm 1 汇总流程。

    投毒集如何进入训练

    • 优化后的图文对组成恶意子集，并写入妥协用户的交互历史。投毒只发生在 Umal；曝光目标写的是在良性用户上计算。

  4. What experiments did the paper conduct?

    Table 2：T5-small上三数据集Few-Shot ER@20为0.7170、0.5837、0.8674。

    实验设置

    • 受害模型：主结果为 VIP5，冻结 T5-small 骨干，PEFT 适配器微调。附录 Table 6 为 T5-base。迁移对象为 DiffMM（附录 Table 8）。
    • 数据：Clothing、Sports、Toys 与 MicroLens（Table 1）。用户/物品/交互依次为 39387/23033/278677、35598/18357/296337、19412/11924/167597、100000/19738/719405。密度 0.0307%、0.0453%、0.0724%、0.0364%。官方 8:1:1 划分。视觉用预提取 CLIP（ViT-B/32）嵌入。
    • 基线：DirectBoost、RandomAttack、PopularAttack、TextFooler、DeepwordBug、PuncAttack、BERTAttack、INSA、EXPA、Shadowcast，以及 NoAttack。
    • 指标：ER@K 是测试用户中目标进入 Top-K 的比例。效用是 HR@K、NDCG@K，论文称在良性用户上计算。隐蔽性为 ROUGE、FID，以及 Semantic Alignment、Latent Direction Alignment。
    • 协议：AdamW，学习率 1×10^{-3}，batch size 128，默认 ρ=0.1%。目标从交互频次后 20% 随机抽取，作者称以此模拟冷启动推广。设置名为 Few-Shot 与 Zero-Shot（Brown et al., 2020）。论文未报告重复次数，也未写明两种设置的提示差异。硬件为 NVIDIA L20。
    • 判定：ER 由排序名次计算。论文未使用 LLM 评审。

    主结果

    下表为 VIP5（T5-small）、VenomRec 的 ER（Table 2）。

    Swipe horizontally to read the table

    设置ER@5ER@10ER@20
    Clothing Few-Shot0.11580.25960.7170
    Clothing Zero-Shot0.13370.28200.7317
    Sports Few-Shot0.08460.17460.5837
    Sports Zero-Shot0.08380.17310.5825
    Toys Few-Shot0.40650.62290.8674
    Toys Zero-Shot0.43160.64420.8781
    • 作者称三份 Amazon 数据上均高于表中基线。摘要另给平均 ER@20 0.73、相对最强基线 +0.52，未写明平均所含设置。同表 Few-Shot 基线 ER@20 最高为 Clothing 上 RandomAttack 0.1331、Sports 上 INSA 0.1653、Toys 上 EXPA 0.3200。
    • 作者称 Zero-Shot 仍有效，且 Clothing 上高于 Few-Shot；并称单模态会被未扰动模态拉回。Clothing Few-Shot 的 EXPA、TextFooler 的 ER@20 为 0.1252、0.0211。
    • 作者称 HR、NDCG 与 NoAttack 相当。Table 2 中 Toys Few-Shot 的 HR@20 为 0.3197，NoAttack 为 0.3462；Sports Few-Shot 为 0.3569，NoAttack 为 0.3771。

    隐蔽性

    • 测了什么：Table 3 给出三份 Amazon 数据的 ROUGE、FID 与跨模态列。
    • 结果：VenomRec 的 ROUGE-L 为 Clothing 92.09、Sports 89.09、Toys 92.09；FID 为 42.89、36.79、43.20。Semantic 列为 0.0033、0.0046、0.0061，NoAttack 为 0.0306、0.0178、0.0282。Direction 为 0.0459、0.0841、0.0003。
    • 作者解读：作者称文本流畅、图像仍可接受，图文沿一致方向变化，因而能穿过融合共识。作者称 ROUGE-L 约在 90.0 及以上；表中 Sports 为 89.09。Toys 的 Direction 为 0.0003。

    对三种防御的评测

    • 测了什么：Clothing 上的 AE Filter、LexNorm、Freq-Rarity（附录 A.3）。前者按用户历史统计的重构误差去掉注入画像；后两者做文本规范化或删低频词。
    • 结果：Table 5 无防御时 Few/Zero 的 ER@20 为 0.7170/0.7317。AE Filter 为 0.7174/0.7280，LexNorm 为 0.7100/0.6743，Freq-Rarity 为 0.6820/0.6357。作者称防御后 ER@20 仍至少 0.6357，HR 与 NDCG 接近无防御。
    • 作者解读：作者称 AE Filter 只处理历史特征，不直接清洗物品内容。LexNorm 的 Few-Shot ER@5 为 0.1482，高于无防御的 0.1158；作者未解释该格，只讨论 ER@20。

    换架构与换领域

    • DiffMM：Table 8 未标 Few/Zero。Sports 上 VenomRec 的 ER@10 为 0.6667，Shadowcast 为 0.1597；作者称绝对差 0.507。ER@20 为 Clothing 0.6341 对 0.5546，Toys 0.8963 对 0.1555，Sports 上 VenomRec 为 0.8870。Sports 的 NDCG@10 为 0.1639，NoAttack 为 0.1635。
    • MicroLens：附录 A.7 未重写受害骨干。Table 9 中 Zero-Shot 的 ER@10 从 Shadowcast 0.0005 到 VenomRec 0.7909，ER@20 为 0.9864；Few-Shot 的 ER@10 从 0.0007 到 0.8066，ER@20 为 0.9885。HR@10 为 0.2161/0.2173，干净模型为 0.2164/0.2163。
    • 作者解读：作者称所利用的漏洞不限于 VIP5/T5 一族，而与多模态融合及协同转向有关；也不限于 Amazon 商品数据。

    其他消融与分析

    • ρ（Figure 3，Clothing，ER@5）：Few-Shot 在 0.05% 至 0.7% 为 0.0309、0.1158、0.3059、0.4830、0.8543；Zero-Shot 为 0.0233、0.1337、0.2909、0.5155、0.9014。同期 Few-Shot HR@5 从 0.1435 到 0.0855。作者称 0.7% 时 Zero-Shot 比 Few-Shot 大约高 5 个百分点。
    • 组件（Table 4，Clothing，ER@20）：仅交互注入为 0.2669/0.2904（Few/Zero）；加图像为 0.4173/0.4220；再加独立文本为 0.5617/0.5881；完整 CIP 为 0.7170/0.7317。仅注入时 Few-Shot ER@5 为 0.0142。作者称相对无交互变体大约高 0.15。
    • 目标数（Table 7，Clothing，Few-Shot ER@20）：κ=1 为 0.7170，κ=3 为 0.2904，κ=5 为 0.1303；Shadowcast 在 κ=5 为 0.0349。VenomRec 的 HR@20 从 0.3377 到 0.3338。作者称多目标有竞争，固定预算被稀释。
    • T5-base（Table 6，ER@20）：Clothing Few/Zero 为 0.4850/0.4676；同表 BERTAttack 的 Few-Shot 为 0.2858，Shadowcast 为 0.1760。Sports 为 0.5580/0.5398。Toys 为 0.9646/0.9639，RandomAttack 的 Few-Shot 为 0.9543。

  5. What are some points that can be further explored?

    论文未单列局限；Conclusion希望推动考虑跨模态对抗对齐的防御。

    作者指出的局限与后续方向

    • 论文未专门讨论局限，没有 Limitations 或 Future Work 专节。Conclusion 希望此项工作成为重新检查 MLLM-RecSys 在现实投毒威胁下的安全图景的基础，并推动发展考虑跨模态对抗对齐的下一代防御。

    实验覆盖范围

    • 受害系统为 VIP5（T5-small 主结果，T5-base 见 Table 6）与 DiffMM（Table 8）。数据集为 Clothing、Sports、Toys、MicroLens（Table 1、附录 A.7）。附录 A.7 未重写 MicroLens 的受害骨干名称。
    • 主表含 Few-Shot 与 Zero-Shot，默认 ρ=0.1%，目标取交互频次最低的 20%（Section 5.1）。威胁模型为 grey-box，代理为公开 CLIP 与 T5。ER 由 Top-K 命中计算，论文未使用单独评审模型。
    • 防御为 AE Filter、LexNorm、Freq-Rarity，数字只在 Clothing（Table 5）。ρ 扫描与 κ∈{1, 3, 5} 也只在 Clothing（Figure 3、附录 A.5）。
    • 摘要给出平均 ER@20 0.73 与相对最强基线 +0.52，未写明纳入平均的模型与设置。论文未报告 CIP 的 R、top-k、停止阈值、步长 η 与 ℓ∞ 半径 ε，也未报告重复次数。
    • 视觉输入在主协议中是预提取的 CLIP（ViT-B/32）嵌入；VIP5 的可训练部分为适配器与投影器，T5 骨干冻结（Section 5.1、Section 3.1）。

  6. Summarize the main content of the paper

    VenomRec以grey-box跨模态投毒推广目标物品，作者称平均ER@20为0.73。

    VenomRec 是针对多模态大模型推荐的训练期数据投毒框架，在 grey-box 下提高指定物品的曝光。

    • 问题：作者认为跨模态共识会抑制只改交互日志或只改一种模态的投毒；图文一旦同步，融合就可能从过滤器变成放大器。
    • 做法：公开 CLIP 与 T5 充当融合代理。Exposure Alignment 用同类热门物品的融合向量做质心，作为要靠近的方向。CIP 用跨模态注意力选择 token 与 patch，在 ℓ∞、文本流畅和图文一致约束下交替修改，再把投毒物品写入不超过 ρ 比例的妥协用户历史，供适配器微调。
    • 主结果：VIP5（T5-small）上，Clothing、Sports、Toys 的 Few-Shot ER@20 为 0.7170、0.5837、0.8674（Table 2）。作者称平均 ER@20 为 0.73，比最强基线高 0.52 个点，但未给出平均口径。
    • 其他结果：MicroLens 上 Few-Shot ER@20 为 0.9885（Table 9，该节未重写骨干）。Clothing 上 Freq-Rarity 之后，Zero-Shot ER@20 仍为 0.6357（Table 5）。DiffMM 的 Sports ER@10 为 0.6667（Table 8）。
    • 作者结论：作者称用于增强稳健性的融合机制可被改用来放大恶意共识，且总体推荐效用大体维持；并希望后续防御按跨模态对抗对齐来设计。
Read originalarxiv.org