换个框架，LLaVA-7B 竟能媲美 13B？

在当今的人工智能浪潮中，多模态大模型已经成为无法忽视的趋势，它通过结合不同类型的信息源（例如文本、图像、语音等）来增强模型的理解和表达能力。2023 年，我们在图文领域看到了众多优秀的工作，例如 LLaVA 和 MiniGPT 等等。而本文，我们将从另一个角度来看待这一领域：训练框架。本文将详细介绍由上海人工智能实验室设计开发的大模型微调框架 XTuner，其在同等训练数据的前提下，训得 LLaVA 模型精度显著优于现有其他框架，7B 模型媲美 13B。同时，借助 XTuner 中对 LLaVA 训练的多层优化，训练代价进一步降低，7B 模型仅需 8*48GB + 10 小时，即可完成所有训练流程！https://github.com/InternLM/xtuner(文末点击阅读原文可直达）XTuner 训练 LLaVA 有何优势？LLM QLoRA / ViT LoRA 配置LLaVA (XTuner) 架构示意图XTuner 团队对 LLaVA 的架构配置进行了充分的实验，发现了 ………………………………