速度提升5.8倍数 | 如果你还在研究MAE或许DailyMAE是你更好的选择，更快更强更节能！！！

点击下方卡片，关注「集智书童」公众号点击加入👉「集智书童」交流群最近，作为一种重要的自监督学习方法，掩膜图像建模（MIM）因其能够从无标签数据中学习数据表示的有效性而受到关注。众多研究强调了MIM的优点，突显了在大型数据集上预训练的模型如何提升下游任务的性能。然而，预训练的高计算需求在学术环境中尤其带来了重大挑战，从而阻碍了自监督学习研究的进展。在本研究中，我们提出了针对基于MIM的自监督学习的有效训练方法，重点关注缓解数据加载瓶颈，并采用渐进式训练技巧和其他技巧来保持预训练性能。我们的库能够在配备8个A100 GPU的单台机器上，在18小时内完成对ImageNet 1K数据集上的MAE-Base/16模型进行800轮训练。通过实现最高5.8倍的速度提升，这项工作不仅展示了进行高效自监督训练的可行性，而且为自监督学习研究 ………………………………