跳到正文
原文
arXiv· arXiv:2601.06464· Chao Liu, Ngai-Man Cheung·本站收录· 原文发表

3D 大型视觉语言模型的对抗鲁棒性研究

On the Adversarial Robustness of 3D Large Vision-Language Models

论文速读

攻击

据论文 PDF 整理（AI 生成），以原文为准

作者对两款 point-based 3D VLM 做白盒攻击，分类无目标 ASR 最高 93.7%（Table 2）。

威胁模型白盒梯度攻击。攻击者可访问全部参数，对点云施加小扰动 δ。

问题
点云 3D VLM 已用于物体与场景理解，并进入驾驶和机器人。作者要看加入 3D 视觉后，小扰动是否会把输出改成误导或有害内容。作者称常用 3D 推理 VLM 缺少同类评测。
方法
white-box 下提出 Vision Attack 与 Caption Attack。前者推远或拉近视觉 token，后者用交叉熵改描述似然；均含无目标与有目标。形变由关键点选择、高斯平滑和 Chamfer 约束。
实验与结果
分类动态约束下，GPT4Point vision 无目标 ASR 在 Objaverse 为 93.7%，有目标最高 20.8%（Table 2）。作者称无目标更有效、定向比 2D 更难，防御后攻击仍有效。
局限与可以继续做的
作者指出评测限于 white-box 和端到端可微流程，专有模型访问受限。场景级模型依赖分割与离线特征，作者称扩展并不直接。实验为两款 point-based 模型；论文未报告 GPT-4 与人工评分的一致性。
实验设置PointLLM-7B、GPT4Point-2.7B · ModelNet40、Objaverse 等 · ASR、AGS 等
威胁模型
白盒梯度攻击。攻击者可访问全部参数，对点云施加小扰动 δ。无目标使输出偏离真实描述 cgt，有目标使输出对齐预设描述 ctar。受害系统是端到端可微的 point-based 3D VLM。
被测模型
PointLLM-7BGPT4Point-2.7B
基准
ModelNet40ObjaverseCap3DGenerative 3D Object Classification3D Object Captioning
指标
ASRAGSΓCSDCDHD
AI 导读论文对基于点云的 3D 视觉语言模型（如 PointLLM、GPT4Point）的对抗鲁棒性展开研究，作者称这是该方向首个系统性研究。研究提出两种攻击策略：Vision Attack 扰动 3D 编码器与投影器产生的视觉 token 特征，Caption Attack 直接操纵输出 token 序列，两者均含无目标与有目标变体。实验显示，3D VLM 在无目标攻击下存在明显对抗脆弱性，但在迫使模型输出特定有害内容的有目标攻击上，比对应的 2D 模型更具韧性。作者认为，随着 3D VLM 进入安全关键场景，提升其对抗鲁棒性十分重要。

论文对基于点云的 3D 视觉语言模型（如 PointLLM、GPT4Point）的对抗鲁棒性展开研究，作者称这是该方向首个系统性研究。研究提出两种攻击策略：Vision Attack 扰动 3D 编码器与投影器产生的视觉 token 特征，Caption Attack 直接操纵输出 token 序列，两者均含无目标与有目标变体。实验显示，3D VLM 在无目标攻击下存在明显对抗脆弱性，但在迫使模型输出特定有害内容的有目标攻击上，比对应的 2D 模型更具韧性。作者认为，随着 3D VLM 进入安全关键场景，提升其对抗鲁棒性十分重要。

深度解读

6个问题，点开问题读完整回答

  1. 这篇论文试图解决什么问题？

    作者称据其所知首次系统研究 point-based 3D VLM 的对抗鲁棒性。

    point-based 3D VLM 在点云扰动下的对抗鲁棒性缺少系统评估。

    • 场景：作者称 PointLLM、GPT4Point 等把 LLM 推理扩到物体属性与空间关系，并进入驾驶、机器人。作者引述 VLA 工作：工作区对抗补丁可诱使不安全动作，而常用 3D 推理 VLM 缺少同类评测。
    • 现有不足：作者称 2D VLM 加入视觉后，更容易被改成有害或误导输出。点云无序、标注更少，几何扰动也比像素改动更显眼，只限制扰动预算难以去掉不合理形变。
    • 本文提出：作者称据其所知，这是对 point-based 3D VLM 的首次系统研究。方法是互补的 Vision Attack 与 Caption Attack，各含无目标与有目标变体。
    • 威胁模型：
      • 目标：无目标使输出偏离真实描述 cgt；有目标使输出与预设描述 ctar 对齐。论文举例包括有害或误导回复。
      • 知识：white-box。假设可完全访问模型参数，并用梯度优化。
      • 能力：对点云 x 加小扰动 δ，再用形变项惩罚可见改动。
      • 受害系统：从原始点云到语言输出可微的 point-based 3D VLM。

  2. 有哪些相关研究？

    相关工作分 3D VLM、点云 DNN 攻击与 2D VLM 攻击；作者称本文补上点云模型空白。

    3D 大视觉-语言模型

    • 多视图：3D-LLM（Hong et al., 2023）用多视图 2D 投影让 LLM 感知几何。
    • 点云：PointLLM（Xu et al., 2024）与 GPT4Point（Qi et al., 2024）直接读点云，用大规模物体数据连接几何与语言。
    • 场景级：论文点名 LL3DA、Chat-Scene、Inst3D-LMM，把交互扩到布局与多物体关系。此处只作介绍，没有点名批评。

    3D 深度网络上的对抗攻击

    • 分类攻击：文献 [8, 12, 15, 32] 用小扰动改变 3D DNN 预测。作者称点云上的扰动往往比 2D 像素更显眼。
    • 保形正则：Tsai et al.（2020）用 KNN 把点留在表面附近；Wen et al. 约束曲率等局部平滑；Huang et al.（2022）在局部切平面内扰动；HiT-ADV（Lou et al., 2024）按不可感知性与显著性做区域扰动。
    • 作者的定位：作者称这些方法大多只用于常规 3D DNN 的闭集分类，能否迁到开放输入的多模态 3D VLM 仍不清楚。本文正则借鉴 HiT-ADV。

    2D 视觉-语言模型上的对抗攻击

    • 描述被改写：论文介绍 Schlarmann 与 Hein（2023）：对抗图像可改变 Flamingo 与 GPT-4 的描述。
    • 有目标与迁移：Zhao et al.（2023）为 CLIP、BLIP 构造有目标样本，论文称这些攻击可跨模型迁移。AnyAttack（Zhang et al., 2025）在无标签自监督下生成有目标对抗图像。
    • 空白：作者称 2D VLM 的视觉脆弱性已有较多研究，3D VLM 的对抗鲁棒性仍基本未探索。

    基线与基准

    • 对照：论文没有把既有攻击器当作数值基线。对照是干净点云，以及 vision/caption、有目标/无目标之间的比较。数据为 ModelNet40 与 Objaverse；任务为 Generative 3D Object Classification 与 3D Object Captioning；评判用 GPT-4。

    作者把本文放在端到端 point-based 模型上，称两类攻击分别对应两阶段训练：视觉-文本对齐，以及指令微调后的生成。

  3. 论文如何解决这个问题？

    白盒下用 Vision Attack 扰动视觉 token，用 Caption Attack 改输出，并加几何正则。

    Vision Attack 扰动编码器与 projector 的视觉 token，Caption Attack 端到端改生成文本。二者都在 white-box 梯度下做无目标与有目标变体，并用几何正则约束点云形变。Fig. 2 给出框架。

    问题设定

    • 模型写为 pθ(x; cin) 到 cout。x 是点云，cin 是输入提示词。
    • 攻击者求小扰动 δ。有目标时输出靠近 ctar，无目标时远离 cgt。总目标为 minδ Ladv(pθ(x+δ; cin), ctar/gt)+λ Ldis(x, x+δ)。前项推语义目标，后项惩罚可见形变。
    • 有目标时，目标物体和描述从另一类别随机抽取。

    Vision Attack

    • 位置：3D 编码器与 projector 的视觉 token f(·)。作者称这对应第一阶段的视觉-文本对齐。
    • 无目标：让 f(x+δ) 远离 f(x)。损失是二者余弦相似度，优化时把相似度压低。
    • 有目标：让 f(x+δ) 接近目标点云特征 f(xtar)。损失是 1 减去余弦相似度。

    Caption Attack

    • 位置：最终自回归描述。作者称这对应第二阶段的多模态指令微调。
    • 无目标：损失是真实描述 cgt 各 token 的对数概率之和，最小化即压低 cgt。
    • 有目标：损失是目标描述 ctar 的负对数似然，用来提高生成该文本的概率。
    • 条件含已生成前缀、扰动后点云和 cin。被优化的是点云扰动，不是提示词文本。

    扰动正则

    • 作者称点云稀疏、对几何敏感，朴素扰动容易显眼。模块借鉴 HiT-ADV：先选感知上较能容忍的关键点区域，再对关键点的 k 近邻做高斯平滑。k 与带宽的数值论文未给出。
    • 距离项为 λ1·Lker + λ2·Lhid + λ3·Lcha。附录 A 给出三项：Lker 惩罚扰动幅度并约束平滑核；Lhid 按局部曲率调节强度；Lcha 为双向 Chamfer。
    • 附录默认 λ1=1、λ2=1、λ3=0.001，学习率 0.01。输入为 8192 个带颜色的点。每轮优化 100 步。

    动态约束与成功判定

    • 附录 Algorithm 1 在分类任务上按样本调节 λ：攻击成功则收紧形变约束，失败则放宽。共 10 轮，每轮 100 步。λ 的初值与上界数值论文未给出。先只保留分类正确的样本。
    • 分类：有目标须输出类别与预设目标完全一致；无目标为类别不同于真实标签。GPT-4 只判断类别是否相同。附录 Table 6 给出完整提示词。
    • 描述：AGS 为 GPT-4 的 0–100 分，按属性完全匹配或部分匹配的比例。无目标希望相对 cgt 的分数下降，有目标希望相对 ctar 上升。附录 Table 7 给出完整提示词。Γ 取 AGS 变化与 CSD 变化之比的绝对值。

  4. 论文做了哪些实验？

    动态形变约束下，分类无目标 ASR 最高 93.7%，有目标为 12.1%–20.8%（Table 2）。

    实验设置

    • 受害模型：PointLLM-7B，解码器为 Vicuna；GPT4Point-2.7B，解码器为 OPT，并用 Q-former 对齐。视觉编码器都是 Point-BERT。两者都在 Objaverse 上训练。论文称 PointLLM 在 ModelNet40 上做零样本。GPT4Point 的训练描述为自生成，并在两个数据集上评测。
    • 数据：ModelNet40 含 2,468 个物体、40 类。论文使用的 Objaverse 含 3,000 个物体，描述来自 Cap3D，分类和描述都用。
    • 任务：Generative 3D Object Classification 自由生成类别，不从固定类表选择；3D Object Captioning 生成属性描述。
    • 攻击：vision 与 caption，各有无目标、有目标。Fig. 3 用距离损失系数 λ 改变 CSD。Table 2 用动态形变约束。
    • 指标与评审：分类用 ASR；描述用 AGS 与 Γ；形变用 CSD、CD、HD。CD、HD 在表中以 ×1e-2 报告。评审模型为 GPT-4。
    • 实现：正文写 PyTorch、单张 NVIDIA A6000。附录另写 NVIDIA RTX A6000 Ada，以及学习率 0.01、每轮 100 步、动态策略 10 轮。论文未报告重复次数，也未报告 GPT-4 与人工的一致性。Table 1 未写数据集。

    主结果

    下表为 Generative 3D Object Classification 在动态形变约束下的 ASR，据 Table 2。各格 CSD 不相同，不能当成同一形变下的比较。

    表格较宽，可左右滑动

    模型攻击ModelNet40无目标ModelNet40有目标Objaverse无目标Objaverse有目标
    PointLLM-7BVision85.4%14.1%91.4%15.5%
    PointLLM-7BCaption82.6%12.1%69.7%13.4%
    GPT4Point-2.7BVision92.9%17.9%93.7%20.0%
    GPT4Point-2.7BCaption91.7%17.1%78.2%20.8%
    • 作者称同等几何扰动下 GPT4Point 的 ASR 高于 PointLLM。Fig. 3 用实线表示 GPT4Point、虚线表示 PointLLM，但正文没有给出曲线逐点读数。Table 2 的对应格子里，GPT4Point 的 ASR 都更高，不过这是动态约束后的结果。
    • 作者称分类中 vision attack 通常更有效，且随形变上升更快。Table 2 有一处数字例外：Objaverse 上 GPT4Point 有目标 caption 为 20.8%，vision 为 20.0%。二者协议不同，不能直接当成对 Fig. 3 的反例。
    • 作者称无目标比有目标更有效，定向控制困难，并称这与 2D VLM 上有目标攻击常常有效不同。论文未给出本文自己的 2D 数字。作者把差异联系到 3D 潜空间不规则、不平滑。

    物体描述

    • 设置：Table 1 报告 AGS、CSD、CD、HD 与 Γ。干净点云相对真实描述的 AGS：PointLLM 46.6，GPT4Point 48.4；相对目标描述为 4.0 与 4.2。数据集论文未说明。
    • 数字：无目标 vision 的 AGS 为 26.4 与 9.9，Γ 为 8.38 与 19.95；caption 为 31.8 与 11.2，Γ 为 4.39 与 13.93。有目标 vision 的 AGS 为 7.1 与 17.5，Γ 为 0.88 与 4.40；caption 为 9.6 与 27.7，Γ 为 1.09 与 6.03。顺序都是 PointLLM、GPT4Point。
    • 作者解读：作者称 GPT4Point 的 Γ 更高。附录 Fig. 6 称，描述任务里无目标下 vision 更强，有目标下 caption 更强。这与 Table 1 的 Γ 排序一致，也和分类里作者对 vision 的概括不同。

    防御评测

    • 测了什么：Table 5 测试 SRS、SOR 与 DUP-Net。前两者为下采样防御；DUP-Net 含预训练上采样，只用于 ModelNet40。Objaverse 没有 DUP-Net 列。无防御数字与 Table 2 相同。
    • 结果：ModelNet40 上 DUP-Net 后的无目标 ASR：PointLLM vision 80.5%、caption 72.4%；GPT4Point vision 83.5%、caption 80.5%。对应无防御为 85.4%、82.6%、92.9%、91.7%。Objaverse 上 PointLLM caption 无目标经 SRS 为 60.5%，无防御为 69.7%。
    • 作者解读：作者称这些即插即用防御下，对抗样本仍然有效，现有 3D 防御提供的保护有限。

    其他消融与分析

    • Table 3，无扰动约束的 caption 有目标：改点云时 PointLLM 为 16.0%（ModelNet40）、20.4%（Objaverse），改编码器潜特征为 48.9%、76.9%；GPT4Point 为 20.2%、23.9% 对 67.6%、84.5%。作者称潜特征约高 3–4 倍，并把障碍归于编码器潜空间不规则、不平滑。
    • Table 4：KSM+GSM 相对仅 KSM，PointLLM 有目标 ASR 为 8.2% 对 15.6%（ModelNet40）、9.4% 对 18.8%（Objaverse）；GPT4Point 为 10.3% 对 18.1%、14.9% 对 21.7%。作者称完整正则大约只有仅 KSM 的一半，方向平滑比只限幅度更伤害有目标攻击。
    • Fig. 4 与附录 Fig. 7 是无目标样例，作者称形变看起来较细、描述变化大。Fig. 5 与附录 Fig. 8 是有目标样例，作者称描述能对齐目标，但形变更明显。转换文本看不到形变量。
    • 据 Table 2，有目标 ASR 为 12.1%–20.8%。Table 1 有目标 AGS 最高为 GPT4Point caption 的 27.7；干净点云相对真实描述的 AGS 为 48.4。作者称在受约束形变下诱导特定误分类仍然困难。

  5. 有什么可以进一步探索的点？

    作者指出白盒与端到端可微限制了评测，后续包括黑盒和迁移攻击。

    作者指出的局限与后续方向

    • 访问受限：3D VLM 走向商业部署后，专有模型参数难以获得，作者称这限制充分的鲁棒性评测。黑盒或 limited-query 攻击是后续方向（第 5 节）。
    • 只做了白盒：附录 C 称目前只做梯度 white-box，这是理想化设定；后续需要 black-box 与 transfer-based 攻击。
    • 可微假设：梯度法依赖端到端可微，作者称难以直接用于许多没有该流程的场景级 3D VLM（第 5 节）。
    • 场景级结构：附录 C 称场景级模型通常依赖预训练分割和离线特征，梯度难以传到原始 3D 输入，因此扩展并不直接。
    • 查询过拟合：作者称这类模型常以物体为中心、依赖问题，主要面向 VQA，扰动容易过拟合特定查询，跨输入迁移差（附录 C）。
    • 后续范式：实验限于端到端通用 3D 推理模型。作者希望这项工作成为基线，并推动更多攻击与防御范式（附录 C）。

    实验覆盖范围

    • 受害模型为 PointLLM-7B 与 GPT4Point-2.7B，视觉编码器均为 Point-BERT（第 4.1 节）。
    • 数据为 ModelNet40（2,468 个物体、40 类）与论文使用的 Objaverse（3,000 个物体，Cap3D 描述）；任务为生成式分类与物体描述（第 4.1 节）。
    • 攻击为 white-box 梯度，含 vision、caption 及有目标、无目标。附录写每轮 100 步，动态约束 10 轮（附录 B.1、Algorithm 1）。
    • 防御评测包括 SRS、SOR，以及只用于 ModelNet40 的 DUP-Net（附录 Table 5）。消融包括扰动对象（点云或潜特征）和正则组合（Table 3、Table 4）。
    • 分类与描述由 GPT-4 评判（第 4.1 节，附录 Table 6、Table 7）。论文未报告评审与人工的一致性、重复次数、Table 1 的数据集，以及动态约束过滤后的样本数。

  6. 总结一下论文的主要内容

    作者用两类白盒攻击评估 3D VLM，称无目标更易成功、定向更难。

    对 point-based 3D VLM 的白盒对抗鲁棒性评测。 作者关心驾驶、机器人等场景里，小几何扰动能否改写类别或描述，以及定向诱导特定输出是否像 2D 那样容易。

    方法上，Vision Attack 用余弦相似度推远原视觉 token，或拉向另一点云的特征；Caption Attack 用自回归交叉熵压低真实描述，或提高目标描述的似然。形变由关键点选择、高斯平滑、曲率项和 Chamfer 约束。分类是否成功由 GPT-4 判断类别是否相同。

    • 动态形变约束下，GPT4Point vision 的无目标 ASR 在 Objaverse 为 93.7%，ModelNet40 为 92.9%；PointLLM vision 为 91.4% 与 85.4%（Table 2）。同表有目标 ASR 为 12.1%–20.8%。
    • 描述任务中，GPT4Point 无目标 vision 的 AGS 为 9.9、Γ 为 19.95；PointLLM 为 26.4 与 8.38（Table 1，数据集未标明）。有目标 Γ 最高为 GPT4Point caption 的 6.03。
    • 去掉扰动约束后，改潜特征的有目标 ASR 高于改点云，作者称约 3–4 倍（Table 3）。SRS、SOR、DUP-Net 之后，Table 5 的无目标 ASR 仍然较高。

    作者的结论是：3D VLM 对无目标扰动脆弱，但迫使特定输出比 2D 更难，并将其联系到 3D 表示空间不规则、不平滑。作者认为安全关键部署需要提高这类模型的对抗鲁棒性。

阅读原文arxiv.org