大规模多模态模型数据集、应用类别与分类学综述

文章预览

多模态学习是人工智能领域中一个快速发展的方向，旨在通过整合和分析多种类型的数据（包括文本、图像、音频和视频），构建更具多样性和鲁棒性的系统。受到人类通过多感官获取信息能力的启发，这种方法使得文本到视频转换、视觉问答和图像描述等应用成为可能。本文综述了支持多模态语言模型（MLLM）的数据集的最新发展。大规模多模态数据集至关重要，因为它们为这些模型提供了全面的测试和训练。 本文重点讨论了多个数据集的贡献，包括用于训练、领域特定任务和现实世界应用的数据集 。还强调了基准数据集在评估模型在不同场景中的表现、可扩展性和适用性方面的重要性。由于多模态学习始终在不断发展，克服这些挑战将有助于推动人工智能研究和应用达到新的高度。 关键词 ：多模态 · LMM · LLM · 视频 · 音频 · VLM 1 多模态学习 ………………………………