VLFeedback：用于大视觉语言模型对齐的大规模 AI 反馈数据集
VLFeedback: A Large-Scale AI Feedback Dataset for Large Vision-Language Models Alignment
AI 导读
论文提出 VLFeedback 数据集，包含超过 82K 条多模态指令及由现成模型生成、无需人工标注的反馈理由，作者称其为首个大规模视觉语言反馈数据集。研究团队用该数据集通过直接偏好优化（DPO）训练出 LVLM Silkie，论文报告其在感知和认知任务上分别超过基座模型 6.9% 和 9.5%，在 MMHal-Bench 上减少幻觉问题，并对红队攻击表现出更强的抵抗力，在有用性、视觉忠实性和安全指标上有提升。分析指出 AI 反馈的优势在于促进偏好多样性，从而带来更全面的改进。数据集、训练代码和模型已在 https://vlf-silkie.github.io 开源。