如何处理模态缺失？首篇《缺失模态的深度多模态学习》全面综述

文章预览

MLNLP 社区是国内外知名的机器学习与自然语言处理社区，受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。 社区的愿景 是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步，特别是初学者同学们的进步。 转载自 | 专知 在多模态模型训练和推理过程中，由于传感器限制、成本约束、隐私问题、数据丢失以及时间和空间因素，数据样本可能会缺失某些模态，导致模型性能下降。 本综述概述了在缺失模态的多模态学习（MLMM）领域的最新进展，重点关注深度学习技术 。这是第一个全面的综述，涵盖了MLMM的历史背景以及其与标准多模态学习设置的区别，随后详细分析了当前的MLMM方法、应用和数据集，并讨论了该领域面临的挑战和未来可能的发展方向。 1 引言 多模态学习已成为人工智能（AI）领域的关键领域，专 ………………………………