多模态大模型人类偏好对齐新范式MM-RLHF！10个评估维度全面提升

文章预览

来源 ：PaperWeekly 本文 约3200字 ，建议阅读 6分钟 本文提出了一个高质量、细粒度的数据集。 尽管多模态大语言模型（MLLMs）取得了显著的进展，但现有的先进模型仍然缺乏与人类偏好的充分对齐。这一差距的存在主要是因为现有的对齐研究多集中于某些特定领域（例如减少幻觉问题）， 是否与人类偏好对齐可以全面提升 MLLM 的各种能力仍是一个未知数。 快手，中科院，南大合作从三个层面入手推动 MLLM alignment 的发展，包括数据集，奖励模型以及训练算法，最终的 alignment pipeline 使得不同基础模型在 10 个评估维度，27 个 benchmark 上都取得了一致的性能增益，比较突出的是，基于本文提出的数据集和对齐算法对 LLaVA-ov-7B 模型进行微调后，conversational 能力平均提升了 19.5%，安全性平均提升了 60%。 偏好数据，训练算法，模型以及评估 pipeline 均已全面 ………………………………