你也可以训练超大神经网络！谷歌开源GPipe库

选自Google AI Blog作者：Yanping Huang机器之心编译机器之心编辑部BigGan、Bert、GPT 2.0 等模型的出现似乎表明，DNN 模型越大，其准确率越高。但芯片内存的增长速度似乎无法满足这种“暴力美学”的需要。为此，谷歌提出并开源了一种新的方法——GPipe，利用管道并行化扩展 DNN 训练以克服这种局限。它可以让研究者轻松部署更多的加速器，以训练更大的模型，并在不调整超参数的前提下实现性能扩展。  深度神经网络（DNN）推动了许多机器学习任务的发展，包括语音识别、视觉识别、语言处理。BigGan、Bert、GPT 2.0取得的近期进展表明，DNN模型越大，其在任务中的表现越好。视觉识别领域过去取得的进展也表明，模型大小和分类准确率之间存在很强的关联。例如，2014年ImageNet ………………………………