如何处理多模态数据噪声不均衡动态？天大等最新《低质量数据的多模态融合》综述

来源：专知本文约3300字，建议阅读5分钟本文综述了开放多模态融合面临的常见挑战和最新进展，并将它们呈现在一个全面的分类体系中。多模态融合致力于整合来自多种模态的信息，目的是实现更准确的预测。在包括自动驾驶和医疗诊断等广泛的场景中，多模态融合已取得显著进展。然而，在低质量数据环境下，多模态融合的可靠性大部分仍未被探索。本文综述了开放多模态融合面临的常见挑战和最新进展，并将它们呈现在一个全面的分类体系中。从数据中心的视角，我们确定了低质量数据上多模态融合面临的四个主要挑战，即（1）噪声多模态数据，它们被不同种类的噪声污染；（2）不完整的多模态数据，某些模态缺失；（3）不平衡的多模态数据，不同模态的质量或属性有显著差异；以及（4）质量变化的多模态数据，每种模态的质量会根据不 ………………………………