OmniConfess：用 Token 级「忏悔」缓解全模态幻觉

OmniLLM把文本、图像、音频、视频放在同一生成模型里时，会因依赖错误证据而幻觉，且现有推理时方法很少标出每个生成承诺由哪条证据维持。

• 场景：作者称整合异构证据会带来全模态幻觉，即过度依赖无关证据，或未充分使用相关证据（Figure 1）。任务同时有判断（judgment）和自由生成（free-form）。
• 现有不足：检索增强、对齐和微调常要额外训练或外部资源。对推理时方法，作者列出三点困难：干预后重生成会改变自回归上下文，证据效应与轨迹差异缠在一起；多通道联合处理使单token的通道贡献难分开；通道内依赖随token变化，全局或模态级分数不足以定位修订目标。
• 观察：幻觉输出上，依赖质量的前三分之一占49.8%，幅度最大的20% token平均占82%（Figure 3）；跨通道相关方向并不一致。作者据此采用冻结候选上的token级、通道级比较。
• 提出：训练无关的OmniConfess，以及由六个公开数据集建成的OmniHalluBench（3,540例），覆盖判断、自由生成、跨模态冲突和文本锚定幻觉。
• 威胁模型：
  • 失败类型：论文写的是幻觉控制，不是对抗攻击。两类机制为Irrelevant Evidence Overreliance与Relevant Evidence Underuse。
  • 受害系统：统一处理text、image、audio、video的OmniLLM；输出按token形成承诺。
  • 可见信息：可读取条件token分布，并对冻结候选做teacher-forcing重打分。论文未使用white-box、black-box等术语。
  • 干预：可按通道移除证据（X−m），不改候选轨迹；不需额外训练或外部资源。

全模态幻觉

• Xu et al.（2025b;c）与NVIDIA（2026）把基础模型扩到统一处理文本、图像、音频和视频。
• Li et al.（2023）、Guan et al.（2024）、Sung-Bin et al.（2025）、Leng et al.（2024）把幻觉研究从视觉锚定失败扩到跨通道干扰。
• Parcalabescu与Frank（2023）、Kim et al.（2026）、Yan et al.（2026）考察模态贡献、跨模态锚定差异和生成内容的证据归因。

需训练或外部资源的控制

• 检索增强：Qu et al.（2024）、Xia et al.（2024）。对齐：Yu et al.（2024）、Sun et al.（2023）。微调：Chaubey et al.（2026）。论文称这类方法常需要额外训练或外部资源。

推理时缓解

• 搜索：Self-Consistency（Wang et al., 2023）、Tree-of-Thought（Yao et al., 2023）、ϕ-Decoding（Xu et al., 2025a），实验还用Guided Decoding（Xie et al., 2023）。探索、验证或选择候选。
• 证据对比：CAD（Shi et al., 2023）、VCD（Leng et al., 2023）、AVCD（Jung et al., 2025）、MAD（Chung et al., 2026）；Related Work还列Favero et al.（2024）与Dong et al.（2026）。用证据引起的分布偏移引导解码。
• 细粒度：DoLa（Chuang et al., 2024）、OPERA（Huang et al., 2024）、Token-Guard（Zhu et al., 2026）、Ouyang et al.（2026）、Li et al.（2026）。用token级或内部信号处理幻觉。

基线与基准：实验对照为Base，以及SC、GD、PD、ToT、VCD、AVCD、CAD、MAD、DoLa、OPERA。评测集是OmniHalluBench，来自CMM、PhD、PubMedQA、AVHBench、HaloQuest、RAGTruth。

作者把本文定位为：显式刻画OmniLLM中token级、通道级证据依赖，并用于幻觉修正。引言中的三个困难分别对应轨迹变化、跨通道纠缠和token分辨率不足。

OmniConfess是训练无关的推理时流程（Figure 4）：承诺锚定、证据审讯、供述引导修正。命题1–3的证明在附录B，对照实验在Section 5.3。

依赖的三个性质

幻觉样本上，通道依赖是冻结前缀下、去掉该通道前后的token对数概率差；token幅度为各通道绝对值之和。

• 前载：前三分之一位置占依赖质量的49.8%（Figure 3(a)）。作者称早期token变化会改变后续上下文，因而冻结候选，把证据效应和轨迹效应分开。
• 跨通道异质：Figure 3(b)横轴为Cross-channel correlation (r)，图中标MAC: 0.724，正文未解释该标注。作者称通道之间方向不一致，需要按通道归因。图例文字含AVHBench、HaloQuest、CMM、PHD、RAGTruth与OVERALL。
• 集中：幅度最大的20% token平均占依赖质量的82%（Figure 3(c)）。作者据此做token级定位。

方法里的同一定义是 δ_i^(m)(v)=log(p_θ(v∣ y_<i^cand,X))/(p_θ(v∣ y_<i^cand,X_−m))，即冻结前缀下，同一token在完整证据与去掉通道m后的对数概率差。

提示与承诺锚定

生成前拼接证据锚定提示和任务约束。Section 4.1写明：CMM只按可听内容判断；PubMedQA用Yes/No/Maybe；HaloQuest须承认图像中不存在的细节；AVHBench分开报告视听。附录A.1给出完整提示词。

自回归解码得到候选与全视图对数概率。审讯期间候选和前缀冻结。判断任务保留对立类别，自由生成保留最高的未选token。换证据后只重打分，不重解码该候选。命题1称这样从跨证据比较中去掉轨迹变化。

证据审讯与供述

逐通道构造去掉该通道的输入，对冻结候选和替代项做teacher-forcing。边际是候选token与替代token的对数概率差；通道贡献是全视图边际减去去通道后的边际。

任务规则给出通道相关性，取0或1，分成相关集与无关集。相关性与贡献阈值把每个token×通道标为0对齐、−利用不足、+过度依赖、++主导。供述包含依赖、边际贡献、相关性和状态。论文未给出贡献阈值的数值。

加性代理用单通道干预拟合保留通道集合上的边际，并还原观测到的全视图边际和每次单通道移除边际（命题2）。判断修正量为 γ(J^cand)=−P_d∅−E_d^I，即去掉无证据残差偏好和无关通道贡献。自由生成信号有三项：相关贡献、超出相关支持的正残差偏好、无关通道的正贡献。

供述引导修正

判断任务只改候选类别的分数，取调整后的argmax，平局保留候选。自由生成把三项信号合成修订风险，超过阈值τ的token扩到词边界并合并成连续片段，再用原始证据和供述局部重生成；片段外原文保留（命题3）。论文未报告τ。附录B.3把修正后的判断边际写成等于相关证据贡献。

实验设置

• 骨干：Qwen2.5-Omni-7B（默认）、Qwen3-Omni-30B-A3B、Nemotron-3-Nano-Omni-30B。Section 5.5将三者标为Dense、MoE、Hybrid。
• 数据：OmniHalluBench共3,540例，从5,900个候选保留最难的60%。构成：PhD 906、CMM 721、PubMedQA 468、RAGTruth 435、HaloQuest 365、AVHBench 645（附录D）。判断为CMM（音视频文本）、PhD（图文）、PubMedQA（文本）；自由生成为AVHBench、HaloQuest、RAGTruth。筛选由GPT-4o与Gemini 2.5 Pro作答，GLM-4与一名研究者评严重度；OmniConfess与基线不参与筛选。另有两名研究者审计切分点附近200例（保留秩3441–3540、排除秩3541–3640），量表为0/1/2。论文未报告该审计的一致性或结论数字。
• 基线：SC、GD、PD、ToT、VCD、AVCD、CAD、MAD、DoLa、OPERA，以及Base。
• 指标：判断用Yes-F1和PhD-Index（Yes与No召回的调和平均）；自由生成用Token-F1，以及LLM裁判按0–10打的GAVIE-Acc，参考答案为唯一事实来源（附录A.2、F）。平均F1覆盖六个数据集，平均Idx与平均GAV各覆盖三个。Table 1的Avg.排除缺失项。定位用span级AUPRC。论文未写明GAVIE裁判模型，也未报告重复次数、解码温度和τ；未说明PubMedQA的Maybe如何计入Idx。
• 质量评估：Section 5.4用GPT-4o与human experts交叉评估七个维度和Overall。维度为Evidence Grounding、Factual Correctness、Relevance、Completeness、Logical Coherence、Uncertainty Calibration、Clarity（附录A.3）。论文未说明图中分数来自哪一侧，也未报告样本量。
• 硬件：4块NVIDIA A40，无额外训练。

主结果

据Table 1，三骨干上Base与OmniConfess的平均指标如下。Nemotron的Base在三个自由生成集的GAV为—，故Avg GAV为—。

表格较宽，可左右滑动

骨干	方法	Avg F1	Avg Idx	Avg GAV
Qwen2.5-Omni-7B	Base	54.80	69.78	7.30
Qwen2.5-Omni-7B	OmniConfess	65.10	84.94	7.99
Qwen3-Omni-30B-A3B	Base	56.77	73.98	7.46
Qwen3-Omni-30B-A3B	OmniConfess	63.11	81.35	7.93
Nemotron-3-Nano-Omni-30B	Base	53.06	73.79	—
Nemotron-3-Nano-Omni-30B	OmniConfess	61.57	76.39	7.88

• 主骨干：作者报告在Qwen2.5-Omni-7B上，六个数据集、Table 1全部已报告指标均高于各基线。相对该数据集最强基线，PHD与CMM的F1高10.20与9.35，RAGTruth的Token-F1高16.84，PubMedQA的F1高2.02（Section 5.2）。该骨干OmniConfess的F1为PHD 89.60、CMM 82.15、PubMedQA 97.26、RAGTruth 55.58、HaloQuest 43.14、AVHBench 22.87。
• 作者解读：作者认为通道审讯抑制对无关通道的依赖，供述缓解相关证据利用不足；判断和自由生成都受益。搜索法对任务敏感，证据对比接近Base，细粒度信号未必能决定应加强还是减弱证据依赖。
• 反例与不一致数字：Table 1中，Qwen3-Omni-30B-A3B的CMM F1为SC 80.72、OmniConfess 80.24；HaloQuest F1为ToT 41.50、OmniConfess 39.32；AVHBench F1为OPERA 21.74、OmniConfess 21.66。Nemotron-3-Nano-Omni-30B的PHD F1为GD 86.36、OmniConfess 84.66；AVHBench F1为AVCD 22.22、OmniConfess 21.14。作者称相对各自Base的平均F1提升为10.30、6.34、7.50（Section 5.5）；Table 1同时列出54.80与65.10、56.77与63.11、53.06与61.57，论文未说明7.50与后一对数字的对应关系。第6节写“F1 gains of up to 13.3 points”，Table 1未标出该数对应的设置。

模块消融与锚定

• Figure 5(a)：OmniConfess平均F1为71.63；去掉锚定、审讯或修正后为67.06、63.96、58.66。作者称三模块都有贡献，去掉修正的降幅最大。71.63与Table 1的65.10不是同一个平均数，论文未说明71.63的汇总范围。该图HaloQuest列的43.14与8.65，与Table 1中Qwen2.5-Omni-7B的OmniConfess相同。
• Figure 5(b)：无锚定的平均F1为56.73、定位AUPRC为47.28；共享前缀锚定为59.00与58.20；OmniConfess为65.10与66.38。作者认为锚定同时有利于预测和错误定位，且强于仅共享前缀。

生成质量与跨骨干

• Section 5.4：作者称OmniConfess的Overall为88.7，Evidence Grounding 86.7、Factual Correctness 92.0、Uncertainty Calibration 82.1，分别比最强基线高5.4、6.9、18.3。作者认为搜索法保留清晰与连贯，但锚定和事实正确性落后；证据对比较均衡；细粒度方法加强锚定但牺牲语言质量；二者在不确定性校准上仍弱。
• Section 5.5：作者称OmniConfess在三种架构上相对各自Base都有平均F1提升，而AVCD、OPERA、SC在增益与降幅之间切换，GD、PD、ToT在三个骨干上都降低F1；CAD三个骨干都提升，但幅度小于OmniConfess。
• Figure 7（PHD，Ground Truth为Yes）：图中OmniConfess在三个骨干上为Yes；OPERA在Qwen2.5-Omni-7B上为Yes，在两个30B骨干上为No。作者称30B上更长的推理收窄了目标类别并覆盖视觉证据。

推理开销

Table 2中，PHD上OmniConfess为5.43秒、29.3 token，Base为2.23秒、23.4 token；CMM上为35.14秒、24.6 token，Base为20.64秒、22.7 token。作者认为CMM只生成24.6 token，延迟主要来自反复的通道重打分。作者称相对搜索法，PHD与CMM的生成token约少27×与22×，时间只少6.4×与1.1×。AVHBench上搜索法为569.5 token、36.15秒，OmniConfess为164.1 token、7.93秒。作者称锚定限制了生成成本，但审讯在部分任务上仍带来延迟。

其他消融与分析

• Figure 5(c)：通道级供述的F1、PhD-Index、Recall Balance为82.15、84.01、86.49；汇合证据为78.27、79.11、78.16；全视图置信为75.63、72.48、61.69；Base为70.07、60.77、48.84。论文未标明数据集；前两数与Table 1中Qwen2.5-Omni-7B、CMM、OmniConfess相同。Recall Balance定义为100−|R_YES−R_NO|。
• Figure 5(d)：同等修正预算下，供述引导相对置信引导的平均增益为F1 +8.92对+3.95，GAVIE-Acc +1.49对+0.58。论文未标明数据集。
• Table 1：MAD在PHD、PubMedQA、RAGTruth、HaloQuest为—，其Avg.排除缺失项。
• 附录G：AVHBench例中person与参考答案man词面不同，Token-F1仍惩罚；PHD例中观察与判断不一致，OmniConfess未改该判断。

作者指出的局限与后续方向

• 证据依赖不保证解释正确：模型可能关注相关通道，仍得出无支持的结论，判断含糊时尤其如此（附录H）。
• 修正作用在已生成候选上，嵌在解释里的错误经局部修订后仍可能保留（附录H）。
• 后续方向：联合评估证据依赖与解释有效性；为含糊情形做校准更好的修正；选择性分配审讯以降低推理成本（附录H）。
• 单参考评测下，意思保留的转述仍会因词面不一致被Token-F1惩罚；供述不能消除对有效转述的惩罚（附录G）。
• 视觉观察可以正确，最终判断仍错；文中PHD例里OmniConfess未修正这种主观解释（附录G）。

实验覆盖范围

• 被测骨干为Qwen2.5-Omni-7B、Qwen3-Omni-30B-A3B、Nemotron-3-Nano-Omni-30B，共3个（Section 5.1）。
• OmniHalluBench为3,540例，来自CMM、PhD、PubMedQA、AVHBench、HaloQuest、RAGTruth；判断与自由生成各三个任务（附录D）。
• 对照为Base、SC、GD、PD、ToT、VCD、AVCD、CAD、MAD、DoLa、OPERA；MAD在PHD、PubMedQA、RAGTruth、HaloQuest无结果（Table 1）。
• 另报告模块消融、锚定、审讯与修正策略对比、七维生成质量、三架构移植，以及Table 2的时间与token（Section 5.3–5.6）。
• 论文未报告τ、解码温度、重复次数、GAVIE裁判模型、Figure 6(a)分数来源、PubMedQA的Maybe如何计入Idx，以及附录D中200例人工审计的一致性或结论数字。

OmniConfess是面向OmniLLM的训练无关幻觉修正方法。要处理的情况是：生成承诺可能由无关证据撑住，或没有用上相关证据；若改证据后重新生成，证据效应又会和轨迹变化混在一起。

做法是先冻结一条候选，再分别去掉文本、图像、音频或视频通道并重打分，得到每个token相对各通道的对齐、过度依赖或利用不足，然后只改判断分数，或只替换自由生成里超过阈值的片段。

在Qwen2.5-Omni-7B的OmniHalluBench上，平均F1、Idx、GAV为65.10、84.94、7.99（Table 1）。作者报告该骨干六个数据集的已报告指标都高于所列基线；相对最强基线，PHD、CMM、RAGTruth、PubMedQA的F1差为10.20、9.35、16.84、2.02。Qwen3-Omni-30B-A3B与Nemotron-3-Nano-Omni-30B的平均F1为63.11与61.57，但Table 1里有单元格低于部分基线。质量评估中，作者给出的Overall为88.7。

作者的结论是：token与通道级审讯能露出证据依赖，并指导判断和自由生成的修正，且在Dense、MoE、Hybrid上相对各自Base都有平均F1提升。作者同时认为，用上相关通道仍可能解释错误，局部修订也去不掉已经写进候选的解释问题。