一文揭秘｜预训练一个72b模型需要多久？

主要观点总结

本文介绍了评估和量化训练大规模语言模型（尤其是Qwen2-72B模型）所需的时间、资源和计算能力。通过提供详细的数据和公式，展示了预训练Qwen2-72B模型在不同条件下的计算量需求，并讨论了模型架构、参数、序列长度和批处理大小等因素对计算量的影响。此外，文章还探讨了反向传播过程与正向传播的算力需求关系，并基于提供的公式和假设的算力利用率，估算了完成模型训练所需的资源和时间。

关键观点总结

关键观点1: 预训练Qwen2-72B模型所需的时间和资源

预训练一个Qwen2-72B模型，给定7T tokens数据集，6000张A100，一个完整epoch需要最多30天。计算量需求公式为3*T(2.6e6*s + 2P)，其中T为数据集token数量，P为模型参数量，s表示序列长度。在序列长度较短时退化为6TP。若使用了全部重计算技术，则系数由3变成4。大模型计算量只和“矩阵乘法”有关。且反向传播过程是正向的2倍。不同优化器影响不大。

关键观点2: 模型架构和参数对计算量的影响

模型架构、参数、序列长度和批处理大小等因素对计算量有重要影响。例如，attention对seq长度的平方复杂度，拉到32768长度对总算力需求增加0.6倍。batch size对计算量没有影响，在超过某个阈值后对训练时间没有影响。

关键观点3: 反向传播过程与正向传播的算力需求关系

反向传播的算力需求一般是前向传播的2倍。这是因为反向传播过程中，正向的矩阵乘法需要2次反向过程的矩阵计算，从而增加了计算量。

关键观点4: 完成模型训练所需的资源和时间估算

基于提供的公式和假设的算力利用率，估算了完成模型训练所需的资源和时间。例如，使用6k张卡，大约需要30天能完成一轮完整训练。