学界 | 深度神经网络的分布式训练概述：常用方法和技巧全面总结

选自 arXiv作者：Karanbir Chahal等机器之心编译参与：Panda独立研究者 Karanbir Chahal 和 Manraj Singh Grover 与 IBM 的研究者 Kuntal Dey 近日发布了一篇论文，对深度神经网络的分布式训练方法进行了全面系统的总结，其中涉及到训练算法、优化技巧和节点之间的通信方法等。机器之心摘取了论文主干内容进行介绍，更多有关数学推理过程和算法步骤的解读请参阅原论文。论文地址：https://arxiv.org/abs/1810.11787深度学习已经为人工智能领域带来了巨大的发展进步。但是，必须说明训练深度学习模型需要显著大量的计算。在一台具有一个现代 GPU 的单台机器上完成一次基于 ImageNet 等基准数据集的训练可能要耗费多达一周的时间，研究者已经观察到在多台机器上的分布式训练能极大减少训练 ………………………………