对抗正交解耦(AOD)缓解大型视觉语言模型(LVLM)幻觉
Adversarial Orthogonal Disentanglement for LVLM Hallucination Mitigation
AI 导读
研究者提出对抗正交解耦(AOD)框架,以极小极大目标学习幻觉相关方向,缓解 LVLM 幻觉。该方向支持免训练的双前向对比解码,抑制幻觉同时保留通用能力。在三个 LVLM 的四个幻觉与四个效用基准上,POPE 准确率平均提升超 6%、AMBER 提升 6%,MMMU 等效用任务保持强劲,跨数据集迁移稳健。