ICLR 2023 | 厦大&港大提出MRM：利用视觉+语言数据增强视觉特征

点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>CV微信技术交流群Advancing Radiograph Representation Learning with Masked Record Modeling代码: https://github.com/RL4M/MRM-pytorch论文: https://arxiv.org/abs/2301.13155研究动机传统的多模态预训练方法通常需要"大数据"+"大模型"的组合来同时学习视觉+语言的联合特征。但是关注如何利用视觉+语言数据提升视觉任务（多模态->单模态）上性能的工作并不多。本文旨在针对上述问题提出一种简单高效的方法。在这篇文章中，以医疗影像上的特征学习为例，我们提出对图像+文本同时进行掩码建模（即Masked Record Modeling，Record={Image,Text}）可以更好地学习视觉特征。该方法具有以下优点：简单。仅通过特征相加就可以实现多模态信息的融合。此处亦可进一步挖掘，比如引入更高效的融合策略或者扩展到其它领域。 ………………………………