【CMU博士论文】现代深度学习高效训练策略的进展：从隐式深度学习到语言模型及其拓展领域

文章预览

在快速发展的机器学习领域，计算能力和数据的激增推动了深度学习成为学术研究的前沿 。随着模型和数据集规模的不断扩大，越来越多的注意力集中在算法改进上，以应对日益增长的计算和内存需求。此外，由于其在广泛应用中的成功，该领域见证了多种多样的神经网络架构的涌现，每种架构都有其独特的训练挑战。本论文介绍了利用模型结构来提高资源和算法效率的流行神经网络架构的高效训练方法。 在第一部分中，我们首先提出了针对隐式深度学习模型和基于变换 器的语言模型的具有较低计算和内存需求的新训练算法 。具体来说，我们首先提出了一种高效的顺序训练方法，用于隐式平衡模型，消除了在现有训练过程中求解计算昂贵的固定点方程和投影步骤的需求。然后，我们引入了方差减少的零阶方法，以仅使用内存高效的推理过程来有 ………………………………