万字长文总结多模态大模型后训练

文章预览

作者：yearn 原文： https://zhuanlan.zhihu.com/p/31278114666  编辑：青稞     本文介绍下我们对多模态alignment近期一系列进展的整理和总结 大语言模型（LLMs）能够通过简单的提示完成多种任务，且无需进行任务特定的训练。然而，这些模型主要处理文本数据，对于多模态数据的处理存在局限。由于我们的世界本质上是多模态的，包括视觉、听觉和文本等数据，研究者开始在LLM的基础上开发多模态大型语言模型（MLLMs），以处理更复杂的数据形式。然而，现有的MLLMs仍面临一系列挑战，尤其是在真实性、安全性、推理能力和与人类偏好对齐方面，这些问题尚未得到充分解决。因此，针对这些问题的对齐算法应运而生，成为解决这些挑战的有效途径。 主要贡献 本文的主要贡献是对多模态大型语言模型（MLLMs）中的对齐算法进行全面的系统性回顾。具体而言，文 ………………………………