学界 | 百度联合英伟达发布最新论文：使深度学习效率事半功倍的混合精度训练

AI科技评论消息: 在10月10日-11日在加拿大蒙特利尔召开的Rework Deep Learning Summit会议上，百度高级研究员Greg Diamos介绍了由百度硅谷AI实验室（SVAIL）与NVIDIA合作的最新成果：一种名为“混合精度训练”（Mixed Precision Training，简称MPT）的深度学习模型。Greg Diamos在Rework Deep Learning Summit上演讲中据了解，大多数的深度学习模型使用的是32位单精度浮点数（FP32）来进行训练，而混合精度训练的方法则通过16位浮点数（FP16）进行深度学习模型训练，从而减少了训练深度学习模型所需的内存，同时由于FP16的运算比FP32运算更快，从而也进一步提高了硬件效率。通过用半精度运算替代全精度运算来提高效率，这一技术原理听起来很简单明了，但将其付诸实施并不像听起来那么简单 ………………………………