首个基于Mamba的MLLM来了！模型权重、训练代码等已全部开源

©作者 | 机器之心编辑部来源 | 机器之心引言近年来，多模态大型语言模型（MLLM）在各个领域的应用取得了显著的成功。然而，作为许多下游任务的基础模型，当前的 MLLM 由众所周知的 Transformer 网络构成，这种网络具有较低效的二次计算复杂度。为了提高这类基础模型的效率，大量的实验表明：1. Cobra 与当前计算效率高的最先进方法（例如，LLaVA-Phi，TinyLLaVA 和 MobileVLM v2）具有极具竞争力的性能，并且由于 Cobra 的线性序列建模，其速度更快；2. 有趣的是，封闭集挑战性预测基准的结果显示，Cobra 在克服视觉错觉和空间关系判断方面表现良好；3. 值得注意的是，Cobra 甚至在参数数量只有 LLaVA 的 43% 左右的情况下，也取得了与 LLaVA 相当的性能。大语言模型（LLMs）受限于仅通过语言进行交互，限制了它们处理更多样化任务的适应性。多模态理解对于 ………………………………