Meta联合纽约大学和华盛顿大学提出MetaCLIP，带你揭开CLIP的高质量数据之谜

文章预览

自 2021 年诞生，CLIP 已在计算机视觉识别系统和生成模型上得到了广泛的应用和巨大的成功。我们相信 CLIP 的创新和成功来自其高质量数据（WIT400M），而非模型或者损失函数本身。虽然 3 年来 CLIP 有大量的后续研究，但并未有研究通过对 CLIP 进行严格的消融实验来了解数据、模型和训练的关系。 CLIP 原文仅有简短的数据处理描述，而后续工作依靠已经训练好的 CLIP 来重新过滤数据去训练 CLIP（学生）模型。更广泛地说，虽然目前的开源着重强调已训练模型权重的公开，而训练数据以及如何从低质量数据获得高质量数据的技巧的公开度却往往并不那么高。 本文带你揭开 CLIP 的数据质量之谜，为开源社区带来元数据导向的 CLIP 预训练（MetaCLIP)。 论文标题： Demystifying CLIP Data 论文链接： https://arxiv.org/abs/2309.16671 代码链接： https://github.com/facebookresearch/Meta ………………………………