OmniConfess:用 Token 级「忏悔」缓解全模态幻觉
OmniConfess: Eliciting Token Confessions to Mitigate Omni-Modal Hallucination
AI 导读
研究提出免训练的 OmniConfess,通过固定候选回答、在受控的分通道证据干预下按 token 粒度重新打分,生成结构化的「token×通道忏悔」,从而定位回答依赖的证据,保留有依据内容、纠正由无关或矛盾证据驱动的表述。作者同时构建了 OmniHalluBench,由六个数据集组成、覆盖文本、图像、音频、视频及判断与自由生成,共 3,540 个样例;实验显示该方法在多种模态与任务设置下均能缓解幻觉,代码与基准已公开。