微软更新DeepSpeed：可用更少的GPU训练更多的AI模型

作者 | DeepSpeed 团队 译者 | Sambodhi 策划 | 钰莹 今年 2 月，我们发布了 DeepSpeed 和 ZeRO（Zero Redundancy Optimizer，零冗余优化器），前者是一个开源的深度学习训练优化库，后者是该库中的一种新型内存优化技术，通过提高规模、速度、成本和可用性，极大地推进了大型模型训练。DeepSpeed 研究人员创建了 Turing-NLG，这是最大的语言模型，拥有 170 亿个参数，发布时具有最先进的正确率。今年 5 月，我们发布了 ZeRO-2，它支持 2000 亿个参数的模型训练，比现有技术快 10 倍，同时还提供了一系列计算、I/O 和收敛优化，以实现最快的 BERT 训练。从那时起，我们一直在快速持续创新，推动深度学习训练速度和规模的边界。 今天，我们很高兴与大家分享我们的新进展，这些 ………………………………