CaRe：纠正全模态 LLM 模态误路由，缓解跨模态幻觉

全模态大模型在音视频干扰下，问题相关单模态仍能答对，联合预测却没用上该证据。

• 场景：作者称 OLLM 同时处理音频、视觉和文本，但联合建模不保证忠实接地。未接地的音视频幻觉会限制视频理解、音视频问答和具身应用。
• 现有不足：作者称现有缓解主要靠训练时对齐、表示干预或免训练解码校正，用来抑制幻觉或重标定模态贡献；相关单模态证据仍可恢复、却未进入联合预测的情形较少被针对。
• 观察：作者把错误联合预测与可恢复的单模态预测之差称为 modality misrouting。错误联合预测上，目标分支恢复率在 CMM 为 52.9%–74.4%，在 AVHBench 为 37.3%–46.2%（Figure 3；正文给区间，未逐条对应模型与子集）。
• 方法：作者提出免训练推理时方法 CaRe（Conflict-aware Residual Intervention）：检测候选错路后，用反事实残差把融合表示转向所选模态，同时保留原音视频路径。
• 威胁模型：
  • 失败对象：开源全模态模型的联合音视频推理。论文未设外部攻击者，干扰来自竞争模态。
  • 失败形式：问题所需模态的证据仍可从单模态分支读出，联合预测却偏向另一模态。Figure 2 给出可见物体诱发虚假声音、以及声音诱发虚假视觉物体两个方向。
  • 方法权限：模型冻结、不改参数；可扣留竞争模态做反事实前向，并改最终提示词 token 的解码器隐藏状态。
  • 不触发：探针未唯一指向 audio 或 video，或两分支没有硬决策冲突时，保留原联合预测。

全模态模型

• OneLLM（Han et al., 2024）、VITA（Fu et al., 2026）、Qwen-Omni 与 MiniCPM-o（Xu et al., 2025a; Yao et al., 2025; Team, 2026; Xu et al., 2025b; Cui et al., 2026）、OmniVinci（Ye et al., 2026）：把语言模型扩到音频、视觉和文本的统一处理。
• Park et al. (2025)、Zhang et al. (2025)：作者引用它们说明竞争或失衡模态可能使问题相关信息进不了联合预测。论文未把这写成对这两篇工作本身的批评。

幻觉评测

• CMM（Leng et al., 2026）与 AVHBench（Sung-Bin et al., 2025）：分别针对多模态过度依赖和跨模态幻觉。本文主实验使用这两套基准。
• Zechen et al. (2024)、Yang et al. (2026)：作者将其列为跨模态幻觉的综述与检测相关工作，未与 CaRe 做实验对比。

缓解路线

• 训练时对齐：包括 OmniDPO、Mod-DPO、RLHF-V、音频对比偏好优化等（Chen et al., 2026; Chaubey et al., 2026; Yu et al., 2024; Baid et al., 2026; Pan et al., 2026; Jiang et al., 2024）。
• 表示干预：包括推理时干预、ICT、对比激活加法、激活转向解码、视觉信息转向、SHARP 和动态多模态激活转向（Li et al., 2023; Chen et al., 2025; Rimsky et al., 2024; Su et al., 2025; Li et al., 2025; Wu et al., 2025; Yin et al., 2026）。
• 免训练解码：包括 VCD、AVCD、MAD、视觉信息接地、OPERA 和多模态思维链幻觉缓解（Leng et al., 2024; Jung et al., 2026; Chung et al., 2026; Favero et al., 2024; Huang et al., 2024; Ma et al., 2026）。作者称这类方法主要抑制幻觉输出或重标定模态贡献。

基线方法为未修改骨干、VCD、ICT、AVCD、MAD。基准/数据集为 CMM、AVHBench，以及一般问答用的 Daily-Omni（Zhou et al., 2025）。

作者把 CaRe 放在免训练、保留原音视频路径的设定里：用反事实分歧检测可恢复的 modality misrouting，并选择性地修正联合表示，而不改底层 OLLM。

作者用 CaRe 在推理时处理 modality misrouting：文本探针选出候选单模态，仅在它与联合预测硬冲突时，沿反事实残差修正融合表示，两条模态仍留在原路径。

输入配置与分支决策

• 三种输入：联合为音频、视频和问题；音频分支扣留视觉；视频分支扣留音频。同一冻结 OLLM 得到 B^AV、B^A、B^V。扣留用空输入，论文未写注入噪声。
• 决策：二选一的候选集为 {Yes, No}，多选时为题目给定选项。分支预测取候选 logit 最大者；决策间隔 m 为最高分减次高分，m=0 表示没有唯一偏好。
• 分数：z 是评测提示下候选答案标签的 next-token logit。

文本模态探针

• 输入：音视频都扣留，只根据问题估计所需感官模态。作者称该设计受 MAD 的模态自我评估启发，但探针不看当前样本的音视频内容。
• 选择：对 audio、video、both 的 logit 做 softmax。仅当 audio 或 video 的概率严格大于另外两者时，才选对应反事实分支；指向 both 或无唯一最大时不选参考。
• 边界：作者称探针不被假定为找出事实正确的模态，本身也不触发干预。附录 D 给出 Default 与 N1–N3 四种表述；主实验用 Default，选项顺序为 audio、video、both。

反事实冲突门

• 选定参考后还要看是否与联合预测冲突。门控为 g = I[r ∈ {A,V} ∧ m_r > 0 ∧ m_AV > 0 ∧ ŷ_r ≠ ŷ_AV]。该式只在两边都有唯一且彼此不同的决策时取 1，作者称之为 hard counterfactual conflict。
• g=0 的样本保留原联合输出。g=1 时，所选分支才作为第 5.2 节残差干预的参考。

自适应残差干预

• 残差：在解码器第 l 层、最终提示词 token 的 post-residual 隐藏状态上，用所选分支减去当前音视频状态。当前状态已含前面层的修正，所以残差相对演化中的表示，而不是最初未修改状态。
• 强度：把反事实间隔经 sigmoid 映到 (0,1)。低于阈值 η 用弱系数区间，达到或超过 η 用强区间。作者的理由是，勉强分开最高候选的预测，校正信号弱于决断的预测。
• 深度衰减：在预定的 K 层（K≥2）上，系数从首个干预层的区间上界降到末层的区间下界，γ>0 控制衰减。作者称这样让较早修正向后传播，较深的层只做较轻调整。
• 更新：修正为 h̃^AV_lj = h^AV_lj + α_j(h^r_lj − h^AV_lj)。它只移动原音视频状态，后续计算仍保留两条模态。

实施位置

• 只在预填充阶段修改最终提示词 token。作者称这沿用先前激活转向工作：最后输入 token 是控制后续生成的紧凑位置。其余提示词位置不变。
• 预填充后按该音视频状态自回归生成，不再干预新 token。
• 7B 与 MiniCPM-o-2.6 各有 28 层，干预 25–27；3B 有 36 层，干预 33–35。Table 7 中 γ 均为 0.5；η 与弱/强区间随骨干和数据集变化。完整流程见 Appendix C.1。

实验设置

• 模型：Qwen2.5-Omni-7B、MiniCPM-o-2.6、Qwen2.5-Omni-3B。前两者各 28 层语言解码器，3B 为 36 层。
• 幻觉集：CMM 的 Visual Dominance 与 Audio Dominance 各 200 个实例、400 道 Yes–No 题，合计 800 题。AVHBench 用 Video-driven Audio Hallucination（2,290 题，Yes/No 各 1,145）和 Audio-driven Video Hallucination（1,136 题，各 568）。
• 一般问答：Daily-Omni 全量 684 个视频、1,197 道多选题，覆盖六个类别；30 秒 647 题，60 秒 550 题。
• 基线：未修改骨干，以及 VCD、ICT、AVCD、MAD。VCD 被改成与扣留模态的子分支对比，而不是注入噪声（Appendix C.3）。ICT、AVCD、MAD 用官方实现接入全模态骨干。
• 指标与判定：Acc. 与 F1，Yes 为正类。Overall Acc. 由同一基准内两个子集或任务合并计算。分数来自候选答案标签的 next-token logit，对照 ground truth。论文未报告 LLM 评审、人工一致性或重复次数。
• 协议：贪心解码，temperature 0。CaRe 默认干预末三层，γ=0.5；η 与系数区间见 Table 7。

主结果

表格较宽，可左右滑动

模型	方法	CMM Overall Acc.	AVHBench Overall Acc.
Qwen2.5-Omni-7B	Baseline	70.5	69.8
Qwen2.5-Omni-7B	+MAD	72.5	81.0
Qwen2.5-Omni-7B	+CaRe	85.9	82.3
MiniCPM-o-2.6	Baseline	73.0	73.4
MiniCPM-o-2.6	+MAD	77.3	77.8
MiniCPM-o-2.6	+CaRe	86.9	80.2
Qwen2.5-Omni-3B	Base	76.9	76.4
Qwen2.5-Omni-3B	+CaRe	82.5	81.0

据 Table 1（前两模型）与 Table 2（3B）。表中只列各 Overall Acc. 上的未修改骨干、MAD 与 CaRe；3B 的其他基线未报告。

• 作者称 CaRe 在两个骨干、两个基准上 Overall Acc. 最高，且每个报告子集分数最高。Table 1 中 Qwen2.5-Omni-7B 的 Audio-driven Video Hallucination F1，CaRe 与 MAD 同为 84.5。作者写超过 MAD 9.8 与 1.5 个百分点；表中对应为 85.9 对 72.5、82.3 对 81.0。MiniCPM 的 9.6 个百分点与 86.9 对 77.3 一致。
• CMM Audio Dominance 上，作者称相对最强基线从 75.5% 到 89.8%（Qwen2.5-Omni-7B），从 72.8% 到 88.5%（MiniCPM-o-2.6）。Table 1 中这两格的最强基线是 MAD，CaRe 的 F1 为 89.8 与 88.3。
• Table 1 里部分基线低于未修改骨干：Qwen2.5-Omni-7B 上 AVCD 的 CMM Overall Acc. 为 69.1，Baseline 为 70.5；VCD 的 Audio Dominance Acc. 为 66.5，Baseline 为 71.8。MiniCPM-o-2.6 上 VCD、ICT 的 CMM Overall Acc. 为 66.6、67.5，Baseline 为 73.0。

门控正样本上的残差与直接选支

• 测的是 g=1 样本上，直接输出反事实预测（CF-SELECT）与残差转向的差别。非门控样本两者相同，故不进入 Table 3。
• Qwen2.5-Omni-7B 上 CaRe 相对 CF-SELECT 的 Acc. 增益为 Visual Dom. 1.55、Audio Dom. 2.08、V→A 8.84、A→V 9.28 个百分点；对应 CaRe 为 81.69%、88.54%、63.05%、62.89%。MiniCPM-o-2.6 的增益为 6.35、2.06、10.82、3.77，CaRe 为 73.02%、86.49%、59.38%、64.15%。
• 作者称收益来自把反事实信号当作连续方向，并保留跨模态上下文，而不是改成输出单模态分支。论文未解释 AVHBench 门控子集 Acc. 低于 CMM 的原因。

Daily-Omni

• 全量 Acc. 从 61.5% 到 61.8%（Qwen2.5-Omni-7B），从 61.0% 到 61.5%（MiniCPM-o-2.6）（Table 4）。
• 作者称类别上较一致的增益在 inference 与 reasoning：两骨干 inference 均为 1.3 个百分点（75.3% 到 76.6%，76.0% 到 77.3%），reasoning 为 1.2 与 1.1 个百分点。30 秒与 60 秒视频上 Acc. 也略高。
• 并非每类都升：Qwen2.5-Omni-7B 的 Context Understanding 从 57.5% 到 56.5%，Comparative 从 66.4% 到 64.9%。MiniCPM-o-2.6 的 AV Event Align. 保持 48.7%，Context Understanding 保持 60.6%。作者称总体准确率未被拉低。

路由探针与干预层

• Figure 7 共 96 个提示×选项顺序×骨干×基准配置。作者称其中 85 个探针与任务定义目标模态的一致率至少 95%；主实验默认配置在四个设定上为 99.5%–100%。图中 Qwen2.5-Omni-7B×CMM 的 N2 行有 50.8、50.1、50.6，同模型×AVHBench 的 Default 行有 89.4、74.1。作者称信号大体稳定，但对提示和选项顺序有模型特定的敏感性。
• Figure 4 在 CMM 上比较三个连续层。作者称早层和中层收益有限，25–27 层相对 19–21 层 Acc. 高 1.6（Qwen2.5-Omni-7B）和 0.6 个百分点（MiniCPM-o-2.6），相对随机选层高 3.8 和 2.5 个百分点。
• Figure 5 在 MiniCPM-o-2.6 的 CMM 上比较强度。作者称自适应相对全弱设置 Acc./F1 高 0.9/0.8 个百分点，相对全强设置两项都高 1.0 个百分点。

其他消融与分析

• 冲突门（Table 5，CMM，800 题）：Qwen 覆盖率 167/800（20.9%）对路由即干预的 773/800（96.6%），Acc. 均为 85.9；额外干预 606 次，Help/Harm 为 0/0。MiniCPM 为 174/800（21.8%）对 772/800（96.5%），Acc. 均为 86.9，额外 598 次，0/0。
• λα（Figure 8，CMM）：从 0.25 增到 0.50 后 Acc. 上升，0.50–1.25 较稳；作者称默认 λα=1 比各自最好设置低 0.2 与 0.1 个百分点。加大尺度会同时增加有益和有害的预测改变。
• η（Figure 9，CMM）：Qwen 在 η=0.1 为 86.1%，默认 0.2 为 85.9%，更大阈值时正文写几乎不变、为 85.6%。MiniCPM 从 η=0.1 的 86.0% 到默认 0.3 的 86.9%，η=0.9 时作者称约为 85.4%。
• λα 与 η 联合（Figure 10，CMM）：Qwen 在 λα=0.5、η=0.7 时该格为 82.9%，正文写 82.875%；λα=1.25 时三个阈值格均为 86.1%，正文写 86.125%。MiniCPM 最高格为 86.9%（λα=1.0，η=0.3），正文写 86.875%。
• 深度日程（Figure 6，MiniCPM-o-2.6，CMM）：衰减为 Acc. 0.869、F1 0.873；均匀为 0.862/0.868；随深度增强为 0.864/0.870。
• 延迟（Appendix F，每骨干 200 例，串行）：Qwen 均值 CaRe 6.698s、MAD 16.612s、AVCD 4.838s；MiniCPM 为 4.571s、7.816s、2.966s。作者称相对 MAD 减少 59.7% 与 41.5%。理想并行估计为 CaRe 4.782s 与 3.239s，不是实测。

作者指出的局限与后续方向

• CaRe 目前假设有用的任务相关证据仍可从单模态分支访问（Limitations and Future Work）。
• 冲突门定义在离散、任务给定的答案空间上，分支预测可以直接比较（同节）。
• 作者称，相关证据编码较弱、错路不表现为显式预测冲突、或任务没有易评分的候选答案空间时，方法可能更难生效（同节）。
• 文本探针和反事实分支带来额外推理开销（同节）。
• 作者提出的后续方向是更软的冲突信号、面向开放生成的更一般路由准则，以及更高效的单次前向实现（同节）。

实验覆盖范围

• 被测模型为 Qwen2.5-Omni-3B、Qwen2.5-Omni-7B、MiniCPM-o-2.6（Section 6.1、Table 2）。
• 幻觉题为 CMM 两个 Dominance 子集共 800 道 Yes–No 题，以及 AVHBench 的 Video-driven Audio Hallucination 2,290 题、Audio-driven Video Hallucination 1,136 题（Appendix E）。
• 7B 与 MiniCPM-o-2.6 的对照为未修改骨干、VCD、ICT、AVCD、MAD；3B 的分类结果只报告 Base 与 CaRe（Table 1、Table 6）。
• 判定为相对 ground truth 的 Acc. 与 F1，Yes 为正类，贪心解码 temperature 0；论文未报告重复次数、LLM 评审或人工一致性（Section 6.1）。
• 另用 Daily-Omni 全量 1,197 题；延迟在每骨干 200 例上测量，并行数字是理想分支并行估计（Appendix E.3、Appendix F）。

CaRe 是面向全模态模型音视频幻觉的免训练推理时修正方法。

• 问题：竞争模态会干扰问题真正需要的证据。作者发现，不少错误联合预测仍能由相关单模态分支答对，并把这一落差称为 modality misrouting。Figure 3 给出的恢复率区间为 CMM 52.9%–74.4%、AVHBench 37.3%–46.2%。
• 做法：只看问题的探针选择 audio 或 video 反事实分支；两边都有唯一且相互矛盾的答案时，才按该分支置信度，把残差加到末三层的最终提示词 token。原路径仍保留两条模态，参数不更新。
• 幻觉集：Table 1 中 CaRe 的 CMM Overall Acc. 为 85.9%（Qwen2.5-Omni-7B）和 86.9%（MiniCPM-o-2.6），AVHBench 为 82.3% 和 80.2%。Audio Dominance 上 CaRe 为 89.8% 和 88.5%。同表 Audio-driven Video Hallucination 的 F1 在 Qwen 上与 MAD 同为 84.5。
• 尺度与一般问答：Qwen2.5-Omni-3B 上，CaRe 相对 Base 的 Overall Acc. 为 CMM 82.5%（+5.6）、AVHBench 81.0%（+4.6）（Table 2）。Daily-Omni 全量从 61.5% 到 61.8%、61.0% 到 61.5%；Qwen 的 Context Understanding 从 57.5% 到 56.5%，Comparative 从 66.4% 到 64.9%（Table 4）。
• 作者结论：作者认为部分音视频幻觉发生时，任务相关证据仍可从单模态视角恢复；置信度自适应、随深度衰减的残差可以在中后层做有针对性的修正。作者同时写明，方法依赖该证据仍可访问，且冲突比较需要离散答案空间。