Survey:多模态对齐和融合

文章预览

文章是对多模态对齐与融合的全面综述，旨在梳理和分析机器学习中利用多种数据类型（如文本、图像、音频和视频）的最新进展。文章回顾了 200 多篇相关文献，系统总结了当前的对齐和融合技术，包括显式和隐式对齐方法，以及基于内核、图模型、编码器 - 解码器和注意力机制的融合框架。研究探讨了多模态数据集成在社交媒体分析、医学成像和情感识别等领域的应用，同时指出了在特征表示差异、噪声鲁棒性和对齐问题等方面的挑战。文章旨在为优化多模态学习系统的可扩展性、鲁棒性和通用性提供指导，为未来的研究方向提供启示。 1 多模态对齐方法概述 多模态对齐方法旨在建立不同模态之间的语义关联，主要包括显式对齐和隐式对齐两类。显式对齐方法通过相似度计算、动态时间规整（ DTW ）或典型相关分析（ CCA ）等手段直接匹配模态 ………………………………