MemVenom：针对网页智能体多模态记忆的触发式投毒攻击

核心问题：如何向记忆增强型 Web 智能体的图结构多模态外部记忆注入图文恶意证据，使其被持久召回并操纵下游动作。

• 问题场景：现代 Web 智能体依赖外部记忆存储过往观测并检索相关经验；与瞬态的提示词输入不同，记忆条目一旦写入可被反复检索、持续影响未来决策，作者认为这构成新的安全边界。
• 现有方法不足：作者称既有智能体安全研究多聚焦提示注入、越狱或纯文本检索投毒，作用于当前输入上下文或假设纯文本记忆，多模态 Web 智能体场景下的记忆投毒仍是空白。
• 核心观察：作者的关键洞察是，有效攻击必须同时优化恶意记忆被检索到的概率，以及检索后它操纵下游决策的程度。
• 论文提出：MemVenom，一个统一的黑盒两阶段攻击框架，在 3 个 Web 智能体框架和 4 个 VLM 上评测。
• 威胁模型（Section 3.1）：
  • 目标：诱导攻击者指定的 side goal gm，同时在良性观测下保持正常效用。
  • 知识：realistic black-box，不能访问专有 VLM、检索器内部或记忆打分函数。
  • 能力：仅 memory-level access，可在部署前或离线索引前注入少量多模态记忆条目（文本、图像、图关系）。
  • 受害系统：使用图结构外部记忆（Qdrant 向量检索 + Kuzu 关系存储）的多模态 Web 智能体。

记忆增强 Web 智能体

• Yao et al. (2023)、Zheng et al. (2024)、He et al. (2024)、Deng et al. (2023)、Koh et al. (2024)——使 Web 智能体能操作真实网站、理解多模态观测、执行多步任务。
• Edge et al. (2024)、Guo et al. (2024, 2025)、Hu et al. (2024)——引入外部记忆、检索模块或检索增强知识库保存过往观测与任务经验。论文指出被检索的记忆会进入策略输入，成为观测—推理—动作回路的主动部分。

Web 智能体红队与攻击

• Zhan et al. (2024)、Debenedetti et al. (2024)、Zhang et al. (2025b)、Evtimov et al. (2025)、Xiang et al. (2024a)、Jia et al. (2025)——研究提示注入、越狱、恶意工具使用、环境操纵和智能体后门。论文指出这些攻击多作用于当前输入上下文、即时环境或骨干模型本身，效果常绑定特定交互实例。

检索与记忆投毒

• Zhong et al. (2023)、Zou et al. (2025)、Chen et al. (2024)、Dong et al. (2025)、Srivastava and He (2025)、Jing et al. (2026)——表明 RAG 系统和记忆型智能体易受语料投毒、后门触发器和恶意记忆注入影响。
• Liang et al. (2025)、Xu et al. (2026)、Sunil et al. (2026)——让检索器返回对抗文档或引导语言模型生成攻击者期望的文本回复。论文指出这些工作多为纯文本设定，而 Web 智能体的检索查询是截图等多模态观测，攻击效果须体现在可执行的 Web 动作上。

对比基线与基准：Table 3 将 MemVenom 与适配到本场景的 AgentPoison、CPA、BadChain 比较；任务集来自 SeeAct（Mind2Web 风格协议，10 类真实网站）。

作者将本文定位为把检索与记忆投毒从纯文本 RAG 扩展到多模态记忆增强 Web 智能体，需联合优化恶意召回与召回后的动作诱导。

整体思路：MemVenom 先优化一个视觉触发器使带触发的网页截图高概率召回恶意记忆，再构造与具体恶意目标无关的记忆优先组件，最后与可替换的目标组件组装成恶意子图注入干净图记忆。

问题设定

• 智能体接收用户目标 gu，每步观测网页状态 ot（主要是截图），从图记忆 M=(V,E) 检索 rt=R(ot,M)，生成动作 at=π(gu,ot,rt)。
• 记忆节点可含图文证据，边编码语义关系；检索返回直接命中节点和图连接的上下文。

阶段一：检索阶段优化

• 收集代表性干净网页截图集 Qraw，渲染算子 Tτ 把触发器 τ 放到截图固定区域，得到带触发截图集 Qτ。
• 优化目标 τ^⋆=argmin L_cmp(τ)−λ_sepd(C(τ),C_raw)+λ_regL_reg(τ)+λ_spaceL_space(τ)：让带触发观测在检索嵌入空间形成紧凑簇，同时与干净观测和良性记忆空间分离；Ω 约束触发器位置和大小。
• 取嵌入最接近触发簇中心的截图 x*ret 作为图像证据，构造召回导向记忆节点 vret。

阶段二：召回后复合视觉攻击

• 该组件不编码具体恶意目标，只编码目标无关的记忆优先信号，因此换目标时可复用。
• 在代理编码器（surrogate encoders）fe、ft 上优化 ℓ∞ 有界扰动（受害模型为黑盒）；引入桥接图像作为基础图像与优先指令之间的中间视觉锚，迭代更新。
• 基础图像目标 L_base=−λ_imgcos(f_e(x′),f_e(B_pri⁽ⁱ⁾))−λ_textcos(f_e(x′),f_t(p_k^⋆))−λ_locmeancos(f_e^loc(x′),f_e^loc(B_pri⁽ⁱ⁾))，把扰动后图像与桥接图像和优先指令的改写集 Ppri 对齐。
• 最后用隐蔽 OCR 注入把固定优先指令 τpri 嵌入扰动图像（Algorithm 2）：在候选位置按自适应对比度写入文字，受 OCR 预算 ϵocr 约束。

恶意子图组装与目标模块化

• 恶意子图 Vadv(gm)=Vret∪Vgoal(gm)∪Vpri，边 Eadv 把召回线索、恶意目标内容和优先证据连成连贯子图，注入干净记忆得 Mpoison。
• 换一个新 side goal 只需替换 Vgoal(gm)，召回组件和优先组件不变，无需重新优化触发器或视觉攻击。

成功判定

• ASR-r=P(R)：至少一个注入恶意记忆被检索的概率；ASR-a=P(A|R)：检索后执行与 side goal 一致动作的条件概率；ASR-ra=P(R∩A)：端到端成功率，ASR-a=ASR-ra/ASR-r。
• BU/PU 衡量投毒前后良性任务效用，用 Qwen3-VL-PLUS 作 LLM 裁判判定是否完成原始良性目标。

实验设置

• 受害智能体：SeeAct、LiteWebAgent、ReAct 风格 Web 智能体，均配同一外部记忆召回接口。
• VLM 骨干：Qwen3-VL-4B-Instruct、Qwen3-VL-8B-Instruct、Qwen3-VL-PLUS、GPT-5.4，覆盖开源与 API 系统。
• 任务：SeeAct 发布的任务集（Mind2Web 风格协议，10 类真实网站）；每个良性任务配一个攻击者指定的 side goal。
• Side goal：四类 OWASP 风格任务替换目标——Phishing/Redirection、Controlled Privacy Leakage、Unauthorized Financial Operation、Destructive Data Operation，全部路由到 localhost 沙盒页面，带确定性成功检查器（Table 6）。
• 指标：ASR-r、ASR-a、ASR-ra、BU、PU；良性效用由 Qwen3-VL-PLUS 作 LLM 裁判判定。
• 记忆实现：Qdrant 做图文向量检索，Kuzu 做语义关系存储。论文未报告任务条数与重复次数。

主结果

Table 1（Phishing/Redirection，ASR-r/ASR-a/ASR-ra，%）：

表格较宽，可左右滑动

骨干 VLM	SeeAct	LiteWebAgent	ReAct
Qwen3-VL-4B-Instruct	98.04/46.59/45.68	96.05/89.77/86.22	95.59/76.31/72.94
Qwen3-VL-8B-Instruct	96.23/97.65/93.97	97.01/87.50/84.88	97.32/82.35/80.15
Qwen3-VL-PLUS	99.15/90.20/89.34	96.49/64.71/62.44	94.84/97.12/89.26
GPT-5.4	90.67/88.24/80.00	98.00/94.12/92.24	99.15/100.0/99.15

• 作者称一致偏高的 ASR-r 说明带触发观测能可靠召回恶意记忆，ASR-a 与 ASR-ra 说明召回证据能进一步诱导攻击者指定的动作。
• 例外：GPT-5.4 + ReAct 在 Controlled Privacy Leakage 上 ASR-r 降至 53.57、ASR-ra 仅 22.52（Table 1c）；GPT-5.4 + SeeAct 在 Unauthorized Financial Operation 上 ASR-a 为 29.41（Table 1b）。作者未解释这些偏低组合。
• 良性效用（Table 2）：多数设置下 PU 与 BU 接近，作者称攻击不是靠降低智能体能力实现；但 SeeAct 上 Phishing/Redirection 的 PU 为 11.76、低于 BU 的 17.65，而 LiteWebAgent 上 PU 为 41.18、高于 BU 的 23.53。

与适配基线对比

• Table 3（Qwen3-VL-8B + SeeAct）：MemVenom 的 ASR-ra 为 93.97，AgentPoison 为 74.28，CPA 为 19.46，BadChain 为 22.23；Qwen3-VL-PLUS + ReAct 上 MemVenom 为 89.26，AgentPoison 为 86.91。
• 作者称 AgentPoison 在部分情况下恶意召回有竞争力但 ASR-ra 落后，说明仅检索导向的投毒不足以可靠操纵 Web 动作。

消融研究（Table 4）

• 复合视觉攻击：纯文本投毒 ASR-ra 为 73.59，加隐蔽 OCR 升至 84.91，再加对抗扰动达 93.97（设置未在表标题注明骨干，数值与 Table 1 中 Qwen3-VL-8B + SeeAct 一行相同）。
• 两阶段结构：去掉召回导向组件后 ASR-r 为 0.00、ASR-ra 为 0.00；去掉优先组件后 ASR-ra 从 93.97 降至 75.18。作者称两个阶段均为必要。

防御评测（Table 5）

• 测了两种即插即用防御：Hardcoded Safety Rules 与 LlamaGuard。SeeAct 上 ASR-ra 从无防御的 93.97 分别降至 77.65 和 75.89；ReAct 上 LlamaGuard 把 ASR-ra 从 80.15 降至 50.71（RR 29.44）。
• 作者称两种防御都只部分降低端到端成功率，现有轻量防御不足以应对多模态记忆投毒。

其他消融与分析

• 检索器迁移（Figure 3）：作者称对角线表现强、非对角线有一定迁移性，触发器不只过拟合单一检索器；转换文本未给出具体数值。
• 投毒预算（Figure 5，附录 A）：作者称少量投毒召回节点即可达到比适配 CPA 和随机投毒更高的恶意召回，随机插入几乎无效。
• Top-k 召回（Figure 4，附录 A）：作者称带触发观测时 ASR-r 随 k 变化保持高位，无触发时恶意召回保持低位。
• 触发器优化过程（Figure 14，附录 G）：投影嵌入中红色带触发查询点随迭代远离灰色良性截图点和绿色良性记忆点，形成分离簇。

作者指出的局限与后续方向

• 评测环境（Limitations）：评测在受控沙盒环境和选定的 Web 智能体框架中进行，真实部署可能涉及更异构的记忆管线、检索策略和动作约束。
• 记忆类型（Limitations）：攻击聚焦截图检索的图结构多模态记忆，工具专用记忆、用户画像记忆、动态更新的情景记忆可能有不同安全性质。
• 防御覆盖（Limitations）：防御评测只覆盖轻量级即插即用防护；能联合推理记忆来源、检索一致性、任务对齐和动作后果的防御有待探索，作者将记忆感知防御留给未来工作。

实验覆盖范围

• 被测系统为 3 个 Web 智能体框架（SeeAct、LiteWebAgent、ReAct 风格）× 4 个 VLM 骨干（Qwen3-VL-4B/8B-Instruct、Qwen3-VL-PLUS、GPT-5.4）。
• Side goal 覆盖 4 类 OWASP 风格任务替换目标，均在 localhost 沙盒页面执行，带确定性成功检查器（Table 6、附录 E）。
• 防御评测包括 Hardcoded Safety Rules 和 LlamaGuard 两种（Table 5）。
• 良性效用评审用 Qwen3-VL-PLUS 作 LLM 裁判（附录 D），论文未报告评审与人工的一致性。
• 论文未报告每个条件的任务条数、重复次数、触发器优化的迭代预算和查询开销。

一篇针对记忆增强型 Web 智能体的攻击论文，研究多模态记忆投毒这一作者认为被忽视的攻击面。

• 问题：外部记忆持久且可被反复检索，注入的恶意图文证据能长期影响智能体决策；既有攻击多针对提示词或纯文本记忆。
• 方法：MemVenom 为黑盒两阶段框架——先优化视觉触发器使带触发截图在检索嵌入空间形成分离簇、高概率召回恶意节点；再用代理编码器上优化的对抗扰动加隐蔽 OCR 注入构造目标无关的记忆优先组件；两者与可替换的目标组件组装成恶意子图注入图记忆，换 side goal 只需替换目标组件。
• 主结果：GPT-5.4 + ReAct 在 Phishing/Redirection 上 ASR-ra 达 99.15%（Table 1）；Qwen3-VL-8B + SeeAct 上为 93.97，高于适配版 AgentPoison 的 74.28（Table 3）。
• 例外：GPT-5.4 + ReAct 在 Controlled Privacy Leakage 上 ASR-ra 仅 22.52%（Table 1c），作者未解释。
• 消融与防御：去掉召回组件后 ASR-ra 降为 0.00（Table 4）；LlamaGuard 把 ReAct 上 ASR-ra 从 80.15 降至 50.71，未能消除威胁（Table 5）。
• 作者结论：外部记忆是 Web 智能体系统中安全关键的组件，需要能推理记忆来源、检索行为与任务对齐的记忆感知防御。