TPAMI 2024 | 清华提出EfficientTrain++，视觉基础网络最高3倍无损训练加速

文章预览

©作者 |  王语霖 单位 |  清华大学博士生 来源 |  机器之心 本文主要介绍刚刚被 IEEE Transactions on Pattern Analysis and Machine Intelligence （TPAMI）录用的一篇文章。 论文题目： EfficientTrain++: Generalized Curriculum Learning for Efficient Visual Backbone Training 论文链接： https://arxiv.org/pdf/2405.08768 代码和预训练模型已开源： https://github.com/LeapLabTHU/EfficientTrain 会议版本论文（ICCV 2023）： https://arxiv.org/pdf/2211.09703 近年来，「scaling」是计算机视觉研究的主角之一。随着模型尺寸和训练数据规模的增大、学习算法的进步以及正则化和数据增强等技术的广泛应用，通过大规模训练得到的视觉基础网络（如 ImageNet1K/22K 上训得的 Vision Transformer、MAE、DINOv2 等）已在视觉识别、目标检测、语义分割等诸多重要视觉任务上取得了令人惊艳的性能。 然而， 「scaling」 往往会带来令人望而却 ………………………………