Uni-MoE：通过混合专家扩展统一多模态LLM

主要观点总结

文章介绍了来自哈工大、香港科技大学和美团的论文“Uni-MoE: Scaling Unified Multimodal LLMs with Mixture of Experts”。文章主要讲述了多模态大语言模型（MLLM）的最新进展和Uni-MoE模型的介绍、特点、设计和优化。Uni-MoE是一种具有混合专家（MoE）架构的统一MLLM，能够处理多种模态，并具有特定于模态的编码器和连接器，实现统一的多模态表示。文章还介绍了Uni-MoE在三阶段渐进式训练方法下的工作原理，以及其在不同数据集上的评估结果。

关键观点总结

关键观点1: Uni-MoE模型的特点和优势

Uni-MoE是一种具有MoE架构的统一MLLM，能够处理多种模态，包括音频、语音、图像、视频和文本。它具有特定于模态的编码器和连接器，实现统一的多模态表示。主要优势在于显著减少处理混合多模态数据集时的性能偏差，同时改善了多专家协作和泛化能力。

关键观点2: Uni-MoE模型的设计和优化

Uni-MoE采用稀疏MoE架构，通过模态级数据并行和专家级模型并行实现高效的训练和推理。开发了一种三阶段渐进式训练方法，通过不同模态的数据训练特定模态的专家，激活专家的偏好，并使用LoRA技术微调这些预先调整的专家和自注意层。

关键观点3: 训练数据集和评估数据集

训练数据集包括Common Voice数据集、LLaVA-Instruct-150K数据集等。评估数据集则使用各种基准来评估模型在短语音识别、图像理解、长语音任务、视频相关任务等方面的表现，包括A-OKVQA、OKVQA、VQAv2等基准的修改版本，以及Clotho V1/2和ClothoAQA的测试集等。