Cobra：首个基于Mamba的多模态大语言模型

本文采用 Mamba 语言模型作为 VLM 的基础模型，它已经显示出可以与 Transformer 语言模型竞争的性能，但推理效率更高。通过广泛的实验，本文评估 Cobra 与旨在提高基础 MLLM 计算效率的并行研究的性能。结果表明，Cobra 甚至在参数更少的情况下实现了与 LLaVA 相当的性能，突显了其效率。Cobra解决了现有依赖于具有二次计算复杂度的 Transformer 网络的多模态大型语言模型的效率瓶颈。为未来在需要高频处理视觉信息的环境中部署高性能 AI 模型，如基于视觉的机器人反馈控制，开辟了新的可能性。近年来，多模态大型语言模型（MLLM）在各个领域的应用取得了显著的成功。然而，作为许多下游任务的基础模型，当前的 MLLM 由众所周知的 Transformer 网络构成，这种网络具有较低效的二次计算复杂度。为了提高这类基础模型的效率，大量的实验表明：（1）Cobra 与 ………………………………