继1小时训练ImageNet之后，大批量训练扩展到了3万2千个样本

选自arXiv机器之心编译参与：蒋思源、李亚洲、路雪自 Facebook 发布 1 小时训练 ImageNet 论文以来，很多研究者都在关注如何使用并行训练来提高深度学习的训练速度。Facebook 提出了一种提高批量大小的分布式同步 SGD 训练方法，而 Yang You 等人在 Facebook 的论文上更进一步采用层级对应的适应率缩放（LARS）来对每一层网络使用不同的学习率。他们在 AlexNet 和 ResNet-50 模型上分别实现了 8129 和 32768 的批量大小，而且在加速训练的同时还保证了模型的准确度。论文地址：https://arxiv.org/abs/1708.03888加速训练大型神经网络最自然的方式就是在多块 GPU 上使用数据平行化。为了将基于随机梯度的方法扩展到更多的处理器，我们需要增加批量大小以充分利用每块 G ………………………………