《深度多模态数据融合》综述

文章预览

多模态人工智能（Multimodal AI）通常涉及多种类型的数据（例如图像、文本或来自不同传感器的数据）、特征工程（例如特征提取、组合/融合）以及决策过程（例如多数投票）。随着架构变得越来越复杂，多模态神经网络可以将特征提取、特征融合和决策过程整合到一个单一的模型中。这些过程之间的界限日益模糊。基于融合在何处发生的传统多模态数据融合分类（例如早期/后期融合）已经不再适用于现代深度学习时代。因此， 基于当前主流技术，我们提出了一种新的细粒度分类，将当前的前沿（SOTA）模型分为五类：编码器-解码器方法、注意力机制方法、图神经网络方法、生成式神经网络方法，以及其他基于约束的方法 。现有的大多数多模态数据融合综述仅关注特定任务和特定模态组合，而不同于这些综述的是，本综述涵盖了更广泛的模态组合 ………………………………