调控多模态AI幻觉的可验证性

研究者提出一种激活空间干预方法，可对多模态大语言模型幻觉的人类可验证性进行细粒度调控。论文指出，多模态大语言模型驱动的应用易产生幻觉并给用户带来风险，且幻觉的危害程度不同，部分内容用户容易识别，另一部分常被忽略或需要更多核验。作者基于4470条人类对AI生成幻觉的反馈构建数据集，将幻觉按可验证性分为明显与隐蔽两类，并分别为两类幻觉学习干预探针。实验结果显示，两类幻觉引出不同的干预探针，针对性干预在调节相应可验证性上表现更好，混合这些干预即可按不同场景灵活控制所需的可验证性。