【博士论文】多模态语言模型中的学习、推理和组合泛化，204页pdf

文章预览

我们人类通过不同的感官学习语言并与世界互动，将我们的语言基础建立在我们所能看到、触摸、听到和闻到的事物上。我们将这些信息流称为不同的模态，而我们对不同模态之间互动的高效处理和综合是我们智慧的基石。因此，研究如何构建多模态语言模型非常重要，其中机器学习模型不仅仅从文本中学习。这在大型语言模型（LLMs）时代尤为重要，因为它们的一般能力尚不清晰且不可靠。本论文研究了多模态语言模型中的学习和推理及其在视觉问答任务中组合泛化的能力。组合泛化是指我们通过系统地组合词语和句子来揭示语言中的意义，从而产生和理解新句子的过程，这对神经网络来说是一个挑战。以往的文献主要关注文本语言模型中的组合泛化，而本研究的主要贡献之一是对文本-图像语言模型的广泛研究。本论文中的实验比较了三种基于 ………………………………