多模态一定更好吗？缺失模态鲁棒性的几何视角与 Geodesic Unlearning 方法

全模态训练的模型在推理时缺一整模态，可能不如只用剩余模态训练的模型。

• 部署场景：作者指出，联合训练通常能利用互补信号并超过单模态，但传感器故障、采集不全、隐私约束或系统限制会使模态在部署时不可用。该情形出现在设备或传感器可用性不同的异构环境。
• 现有不足：作者称既有工作多用数据或表示恢复、自适应架构、参数适配和训练–推理策略，忽视多模态训练形成、并在缺模态时损害鲁棒性的内部跨模态依赖。OGM-GE等模态平衡方法调节的是联合训练中的相对贡献，作者将其与本文的部署时整模态缺失区分开。
• 核心观察：作者在融合模型、CLIP式双塔和视觉语言模型上看到反复出现的排序：全模态推理最高，单模态训练次之，全模态训练但推理缺一模态最低。作者认为这不只是输入信息消失，而与主参数子空间里学到的跨模态依赖有关。
• 本文提出：作者把缺模态鲁棒性写成一种 machine unlearning：削弱缺输入下的有害跨模态依赖，同时保留有用的多模态功能。方法是训练后的 Geodesic Unlearning（GU），把选中层的主输入子空间沿 Grassmann 测地线旋向匹配的单模态参考。

缺失模态

• 恢复式方法：作者归为数据层插补或表示层恢复，并称其依赖跨模态相关与重建质量。
• 自适应方法：用灵活架构、参数适配或训练–推理策略容纳缺失输入。作者点名的包括 Flex-MoE、DyMo 等。
• 模态平衡：OGM-GE、AGM、DnR、MCR 在联合训练中调节各模态的相对学习贡献。作者称本文关注的是模态在部署时完全缺失后仍保留的有害参数依赖，并在已训练模型上诊断、校正，可与训练时鲁棒目标互补。

神经网络几何

• 表示几何：已有工作讨论 simplex 类结构、跨模型表示相似性，以及与泛化、鲁棒性相关的 margin 几何。
• 参数子空间：作者称参数和梯度常集中在低维子空间，并由此引出低秩适配与子空间优化。
• Grassmann 方法：用测地线描述子空间演化并做保结构更新。作者称本文将这些视角接到缺模态鲁棒性：多模态训练会诱导主参数子空间的结构化旋转，并与缺输入下的任务感知表示伤害相关联。

机器遗忘

• 隐私起源：不完整重训而去除特定训练数据的影响。作者列出的路线包括数据侧干预、训练时更新、解码时控制、免训练参数编辑。
• 隐私之外：持续学习、域适配、域泛化。作者称，因多模态训练会在缺输入时留下有害跨模态依赖，故把 unlearning 改用于削弱这些依赖并保留多模态能力。
• 作者称据其所知，本文是首个把缺失模态鲁棒性表述为 unlearning 问题、并用几何参数编辑处理的工作。

基线与基准

• 多模态专用：SMIL、Flex-MoE、DyMo（统一融合骨干）；MoRA、OGM-GE（兼容架构）。通用对照为 post-hoc LoRA 与 Dual CE。参数编辑对照为整层插值 Weight，以及对齐子空间线性插值 Linear。
• 基准为 Hateful Memes、SNLI-VE、IU-XRay；附录另用 A-OKVQA。

作者把本文与恢复式、自适应式方法分开：在已训练模型上诊断任务相关的主子空间几何并做局部校正，而不是重建不可用模态。

给定已训练的多模态模型与形状对齐的单模态参考，Geodesic Unlearning（GU） 只改一个层：按角度–伤害分数选出该层，把主输入子空间当作 Grassmann 流形上的点，沿测地线旋向单模态参考，再用原主系数、输出因子和残差重建权重。

问题设定

• 缺失方式：模态集合为 M。部署时用空符号 ⊥ 表示缺失；⊥ 可为 masking token、置零特征流或可学习空嵌入。本文聚焦单模态完全缺失：对双模态系统，同一模态在每个测试样本上都整段缺席。
• 三个体制：T 为文本，I 为图像。TI-TI 为全模态训练与测试，T-T 为仅文本，TI-T 为全模态训练、测试只留文本。除非另说，主设定是缺图像、文本仍在。
• 两个缺口：∆miss = Perf(TI-TI) − Perf(TI-T)，∆uni = Perf(T-T) − Perf(TI-T)。主实验的 Perf 为 F1。前者是去掉图像后的性能损失，后者是缺模态的多模态模型相对文本专用模型低多少。
• 参考模型：T 参考与 TI 模型同架构、同预训练参数化，图像支路在训练和推理都换成空输入，以便层形状对齐。作者称没有这种对应关系就需要额外对齐映射。

诊断所用的几何与伤害

• 对权重 W 做 SVD，用 top-k 右奇异向量张成主输入子空间，左奇异向量张成主输出子空间。比较 TI 模型与 T 参考时，用量包括主角度、子空间重叠和 Frobenius 距离。
• 平均主角度为各主角度的平均，每个主角度由两个右奇异基乘积的奇异值经 arccos 得到。论文未在第 4 节写明该诊断的 k。
• 二分类任务上，各探测阶段用类质心定义任务方向和中点，再定义带符号的任务 margin；Harm 为其相反数。误差集与正确集按缺模态评估时的最终预测划分。∆harm 是误差集平均 Harm 减去正确集平均 Harm。

选层、旋转与重建

• 候选层来自第 4 节分析过的交互层及邻近投影、分类层。开发集上按 s_ℓ=z(θ_ℓ)+z(Δ_harm,ℓ) 排序，z 为同一模型内候选层的 z-score。取得分最大的一层；测试集不参与选层。阶段级伤害分会赋给该阶段内全部候选层。
• 选中层拆成 top-k 主成分与残差。只改主输入朝向：V(η) 为从 TI 基到 T 参考基的 Grassmann 测地线，η∈[0,1]。η=0 保持原多模态子空间，η=1 到达参考端点。附录 D.1 给出配对主方向并按同一比例旋转的构造。
• 重建时保留 TI 的输出因子、主奇异值和残差，只替换输入侧基。作者称直接权重插值会同时改变这些分量。主实验在开发集选定 η=0.75、k=8，并在全部数据集与模型族上固定。附录 Table 14 列出各变体的目标层，例如交叉注意力为 attn_v_from_t_in_proj，BLIP-2 为 qformer_crossattn0_out。

预算内的几何性质

• 距离 d 为主角度向量的 ℓ2 范数，D 为 TI 子空间到参考子空间的测地距离。作者称，对任何离开原 TI 子空间不超过 ηD 的候选子空间，测地校正满足 d(S_η,S_T)=(1−η)D≤ d(S,S_T)。
• 作者称该路径把每个主角度都推进 η 比例；对齐基做线性混合再正交化，一般不会对每个角度给出同一比例的进度。附录 D.2 写明：这是几何路径上的最优，并不断言任务性能最优。
• 同一编辑程序用于融合、CLIP 式双塔和 BLIP-2，只改目标层。最终指标在留出测试集上计算：主实验为二分类 F1，A-OKVQA 为多选准确率。

实验设置

• 模型：Table 1 共四族。融合为 RoBERTa + ResNet50，变体 Concat、Gate、Cross-Attention；强编码器融合为 Qwen2.5-3B + OpenCLIP ViT-bigG-14，同样三变体。双塔为 OpenCLIP ViT-L-14 的 Late Concat 与 Mean Pooling。VLM 为带分类头的 BLIP-2。每个 TI 模型配合同架构 T 参考。
• 数据：Hateful Memes、SNLI-VE、IU-XRay 都做成二分类。SNLI-VE 去掉 neutral。Table 8：HM 训练/开发/测试为 8500/500/1000；SNLI-VE 为 353482/11898/11937；IU-XRay 为 2928/366/366。附录另用 A-OKVQA 官方划分，论文未给出其样本量。
• 体制与指标：主结果为缺图像的 TI-T，指标为 F1。另报 TI-TI 以看全模态是否保住。A-OKVQA 用准确率。论文未使用 LLM 评审。
• 基线：统一 RoBERTa–ResNet50 交叉注意力上比较 Null-token、SMIL、Flex-MoE、DyMo、层插值。MoRA、OGM-GE、LoRA、Dual CE 及 Linear 子空间插值见附录，覆盖范围按各方法的结构假设而定。层插值固定 α=0.5。
• GU 实现：训练后编辑。基础融合全局学习率 3.0×10−5，权重衰减 1.0×10−2；HM 与 IU-XRay 最多 10 个 epoch，SNLI-VE 为 4。开发集选 checkpoint、η、k 和目标层。
• 重复：Table 2、Table 3 为三次独立运行均值。附录 F.1.2 对 Table 2 的增益另做十种子、两侧精确配对符号翻转检验，并作 Holm 校正。A-OKVQA 为十次运行。

主结果

统一 RoBERTa–ResNet50 交叉注意力、缺图像 TI-T、三次运行均值 F1（Table 2）：

表格较宽，可左右滑动

方法	HM	IU-XRay	SNLI-VE
Null-token	57.63	80.00	66.35
SMIL	56.60	79.21	72.20
Flex-MoE	47.58	71.02	70.74
DyMo	48.82	79.19	61.30
Interpolation	58.50	80.14	67.29
GU	60.88	81.41	74.41

• 作者称 GU 在三个数据集上都是该表最高，Table 2 括号中的相对次优增益为 +2.38、+1.27、+2.21，且只编辑一层。十种子上，相对各数据集最强对照的配对均值增益为 +2.41、+1.34、+2.21，30 次配对均为 GU 更高；六组比较 Holm 校正后均 p<0.05，其中最大 Holm p 为 0.033203（附录 Table 17）。
• 作者认为该双模态、整模态缺失设定下只剩文本，数据侧恢复和自适应融合并不稳定：SMIL 与 Flex-MoE 并非在每个数据集都高于 Null-token，DyMo 在三个数据集上都低于 Null-token。
• 作者称 GU 改的是与有害依赖相关的参数子空间，而不是重建缺失模态；并称这可以解释 Null-token 在 HM 与 IU-XRay 上仍有竞争力，而 GU 还能再提高。

退化是否跨架构，以及与子空间旋转的关系

• 排序：Figure 1 的 27 个架构–数据集组合中，26 个为 TI-TI > T-T > TI-T；T-T > TI-T 在全部 27 个成立。唯一非严格情形是强编码器 Fusion Cross-Attention 在 HM 上：TI-TI = T-T = 66.93 > TI-T = 66.85（附录 C.1）。作者称 ∆miss 平均 4.74 个 F1 点，范围 0.08 到 20.29。
• 相关：Figure 2(a) 在族内 z-score 后，平均主角度与 ∆miss 的 r=0.91、R²=0.82、N=27。Figure 2(b) 原始族内相关：融合 r=0.93、R²=0.86；强编码器融合 r=0.88、R²=0.78；CLIP 式双塔 r=0.86、R²=0.74。BLIP-2 为 r=1.00、R²=0.99，作者称只有三个点，应作描述性解读。
• 位置：正文写，SNLI-VE 上 Fusion Cross-Attention 的缺口为 20.29 个 F1 点；attn_v_from_t_in_proj 的输入/输出平均主角度为 16.00°/16.57°，最终分类器为 1.95°/0.00°。Figure 3 的柱在各设置内归一化，作者称误差–正确的伤害差在跨模态交互阶段已经出现，并常延续到分类器附近；文本未给出该图的绝对 ∆harm。

鲁棒性–保留权衡与成本

SNLI-VE 上相对原 TI 模型的家族均值（Table 3）。∆T、∆TI 分别为 TI-T、TI-TI 的变化。

表格较宽，可左右滑动

家族	变体数	GU的TI-T	插值TI-T	GU的∆T	插值∆T
Fusion	3	73.86	71.34	3.49	0.98
Fusion (str.)	3	73.06	72.34	1.69	0.96
CLIP	2	74.68	74.50	1.22	1.04
VLM	1	70.65	70.65	0.01	0.01

• 作者称 GU 提高 TI-T 时 TI-TI 近乎保持，因而不是塌成纯文本模型。Table 3 中 GU 的 ∆TI 为 −0.09、−0.34、−0.64、+0.01，对应插值为 −0.13、−1.13、−1.21、0.00。VLM 上两者 TI-T 相同。作者称融合层里依赖较局部时增益更大，CLIP 与 BLIP 上依赖更分散，增益更小。
• Table 4 在 SNLI-VE 上比较成本。编辑阶段墙钟为 Fusion CA 297.19 秒、CLIP MP 230.17 秒、BLIP-2 857.83 秒。作者称该阶段相对 post-hoc LoRA 减少 57–88% 墙钟时间；编辑后推理不增加参数或 FLOPs，也不保留单模态参考。含参考训练后，作者称 GU 总墙钟比 Dual CE 少 7–22%，峰值 GPU 内存少 16–62%。
• 同一表的 ∆T / ∆TI：Fusion CA 上 GU 为 +8.06 / −0.11，LoRA 为 +6.02 / −1.62，Dual CE 为 +13.57 / −0.94；BLIP-2 上 GU 为 +0.01 / +0.01，LoRA 为 +0.26 / −0.68，Dual CE 为 +4.41 / −0.53。作者称 Fusion 与 CLIP 上 GU 的 TI-T 增益大于 LoRA、TI-TI 损失更小，但因参考训练，离线总时间更长；BLIP-2 上单层编辑主要保持原性能。

多选 VQA 与缺文本

• A-OKVQA：强编码器交叉注意力，十次运行准确率（Table 24）。原 TI 的 TI-TI 为 50.79±0.71，T-T 为 47.17±0.31，TI-T 为 38.94±1.92，排序仍为 TI-TI > T-T > TI-T。打乱图像后全输入准确率为 39.85±1.97。GU 的 TI-T / TI-TI 为 41.07±1.79 / 47.40±1.19；LoRA 为 43.52±0.60 / 45.01±1.72；插值为 39.80±1.21 / 43.21±1.44。作者称 GU 的 TI-T 提高 2.13 个点，TI-TI 损失 3.39 个点，且 TI-TI 高于插值 4.19、高于 LoRA 2.39；LoRA 的 TI-T 提高 4.58，TI-TI 损失 5.78。
• 缺文本：Fusion Cross-Attention 上，TI-TI > I-I > TI-I 在三个数据集都成立（Table 25）。作者称 GU 的 TI-I 分别提高 1.02、0.84、2.13 个 F1，TI-TI 变化为 −0.17、+0.07、+0.03。GU 的 TI-I 为 64.34±0.20、74.42±0.22、66.61±0.27，作者称仍低于对应 I-I 参考 66.58±0.15、75.32±0.41、68.74±0.00，但缺口被缩小。
• 重训对照：Table 21 中 Dual CE 的 TI-T 在 Fusion CA / CLIP MP / BLIP-2 上为 79.92±0.23 / 76.31±0.13 / 75.05±0.13，GU 为 74.41±0.77 / 75.58±0.53 / 70.65±0.68。作者称 Dual CE 更靠重训提高缺图像性能，GU 的全模态保留更高；Fusion 上先 Dual CE 再 GU，TI-T 从 79.92 到 80.09，TI-TI 从 85.70 到 86.51，CLIP 与 BLIP-2 上该组合没有额外恢复收益。

其他消融与分析

• 层选择（IU-XRay Fusion Cross-Attention，Table 22）：角度+伤害的 ∆T / ∆TI 为 +1.41 / −0.13；只看角度为 +0.34 / −0.61；只看伤害为 +0.72 / −0.36。
• 编辑对象与路径（Table 23，TI-T / TI-TI）：SNLI-VE 上 GU 为 74.41 / 86.53，Weight 为 67.29 / 86.50，Linear 为 66.84 / 86.50；HM 与 IU-XRay 上 GU 的两列均值也最高。
• Figure 4(b)：作者称 η 从 0.25 到 1.0、秩从 2 到 32 时 TI-T 变化有限，目标层影响更大；正文未给出各点 F1。选中层 attn_v_from_t_in 的 TI-T 改进最大。
• 表示（Table 18，SNLI-VE Fusion Cross-Attention）：GU 的 linear CKA 为 0.991±0.001，误差 margin 增益 +0.30±0.02，纠错/回归率为 34.0±1.3 / 5.1±0.3；插值为 0.988±0.001、+0.06±0.01、11.8±0.6 / 4.5±0.2。
• 附录 F.4.1：作者称九个架构–数据集设置里 GU 的平均 TI-T 都最高；六个 CLIP 比较上，相对 MoRA、OGM-GE 的平均优势为 4.42 与 5.04 F1。九个设置上作者称 TI-T 平均提高 0.94 F1，TI-TI 平均变化 −0.41，最大 TI-TI 损失为 IU-XRay Fusion Concat 的 1.08。
• 缺图像时，附录 Table 6 中 SNLI-VE 融合模型的 image_proj_out 上 ∆harm 与 ∆viol 均为 0.0000；作者称图像投影层旋转可以很大，但图像不可用时伤害分为零。

作者指出的局限与后续方向

• 评测限于分类任务，其中包括多选视觉问答；把 GU 扩展到自由形式多模态生成，作者列为后续方向（附录 A）。
• 已有工作对 Hateful Memes 的画面文字和 SNLI-VE 的假设侧伪影提出担忧。作者称已用针对性预处理和补充对照处理，并称在没有这些特定伪影的更多数据集上，退化和 GU 的改进都会再现，因而两项发现都不依赖这些伪影（附录 A）。
• 作者称因资源限制，没有在大得多的模型上做大规模实验（附录 A）。

实验覆盖范围

• 主任务为三个二分类基准，划分见 Table 8；SNLI-VE 去掉 neutral。附录 F.6 另报 A-OKVQA 多选准确率，论文未给出该基准样本量。
• 被测族为 Table 1 的融合、强编码器融合、CLIP 式双塔和 BLIP-2；附录 E.4.1 写明骨干为 RoBERTa + ResNet50、Qwen2.5-3B + OpenCLIP ViT-bigG-14、OpenCLIP ViT-L-14、BLIP-2 分类头。SMIL、Flex-MoE、DyMo 的主对比在统一 RoBERTa–ResNet50 交叉注意力上。作者说明 SiMO 未做匹配骨干比较，因为移植会替换被评骨干和训练流程（附录 E.2.1）。
• 主评测是缺图像。缺文本补充只在 Fusion Cross-Attention、HM、IU-XRay、SNLI-VE 上进行，参考为图像单模态模型（附录 F.7）。
• Table 2 与家族权衡为三次独立运行。十种子配对检验只覆盖 Table 2 中 GU 对 Null-token、以及对各数据集该表最强对照的六组比较（附录 F.1.2）。A-OKVQA 为十次运行。
• 编辑强度与秩在开发集选定后固定为 η=0.75、k=8（附录 E.4.3）。论文未报告第 4 节平均主角度诊断所用的 top-k。

这项工作讨论多模态模型在部署时整段缺一个模态的性能下降，并把校正写成训练后的子空间编辑。

• 问题：模型用文本和图像一起训练后，推理若整段去掉图像，性能可以既低于全模态推理，也低于只用文本训练的模型。作者把前一差距称为 ∆miss，把相对单模态模型的差距称为 ∆uni，主指标是 F1。
• 几何关联：27 个架构–数据集设置中，26 个满足 TI-TI > T-T > TI-T（Figure 1）。作者称交互层主子空间旋转与 ∆miss 正相关；族内 z-score 后 r=0.91（Figure 2a）。任务伤害差在交互阶段已经出现。唯一非严格排序是强编码器交叉注意力在 HM 上 TI-TI 与 T-T 同为 66.93。
• 方法：GU 用开发集上的角度与 ∆harm 选一层，沿 Grassmann 测地线把主输入子空间旋向单模态参考，保留输出因子、主系数和残差。主实验固定 η=0.75、k=8。作者称在固定子空间距离预算内，该路径到参考的距离最小，但这不等于任务性能最优。
• 主数字：统一 RoBERTa–ResNet50 交叉注意力、缺图像、三次均值下，GU 的 F1 为 HM 60.88、IU-XRay 81.41、SNLI-VE 74.41，均为 Table 2 最高；相对次优的增益为 +2.38、+1.27、+2.21。十种子上相对最强对照的 30 次配对均为 GU 更高。
• 权衡与例外：SNLI-VE 家族均值里，融合模型 GU 的 ∆T 为 3.49，CLIP 为 1.22，BLIP-2 为 0.01（Table 3）。重训的 Dual CE 在 Table 21 的三个架构上 TI-T 更高，例如 Fusion CA 为 79.92 对 GU 的 74.41，但全模态下降更大。缺文本时 GU 能缩小与图像单模态参考的差距，作者称仍未达到该参考。
• 作者结论：作者认为部署时缺模态下降与交互层主子空间旋转及任务感知表示伤害相关联，局部子空间编辑可以在保住全模态精度的同时提高缺模态性能，且在有害依赖集中于可编辑交互层时增益更大。