CVPR 2024 | 多模态合作学习的新视角：样本级模态的评估与协同

©作者 | 卫雅珂单位 | 人大高瓴GeWu-Lab论文题目：Enhancing Multimodal Cooperation via Sample-level Modality Valuation论文链接：https://arxiv.org/pdf/2309.06255代码链接：https://github.com/GeWu-Lab/Valuate-and-Enhance-Multimodal-Cooperation概述：样本级多模态差异的评估与解决不平衡多模态学习问题（imbalanced multimodal learning problem）在近年已经引起了广泛关注。具体来说，在多模态学习中，往往采用联合训练的方式对各个模态同时进行学习。而模态间在特性、信息量等方面的差异导致在联合训练中，往往存在更易于学习的模态，模型对其的偏好主导了训练进程，导致其他模态未能被充分学习，抑制多模态学习的性能。对于这一问题，近年来已经有许多研究者从优化、目标函数等方面给出了不同的解决方案（包括本实验室的论文：CVPR 2022 [1]，ICASSP 2023 [2] 及 ICLR 2024）。 在现有的方法中 ………………………………