干货满满！深度学习如何挑选GPU？

主要观点总结

本文主要介绍了如何根据深度学习的需求选择合适的GPU。包括GPU性能评价指标、不同架构的深度学习对GPU的需求、多GPU并行加速、性能评测与建议。

关键观点总结

关键观点1: GPU选择的性能指标

包括Tensor Cores、FLOPs、Memory Bandwidth、16-bit capability等，针对不同深度学习架构有不同的优先准则。

关键观点2: 不同深度学习架构的GPU选择

NVIDIA的标准库使得建立深度学习库变得容易，但NVIDIA GPU政策限制了GTX或RTX的使用。AMD GPU功能强大但缺少足够的支持。Google TPU具有高的成本效益，更适合训练卷积神经网络。

关键观点3: 多GPU并行加速

卷积网络和循环网络容易并行，但全连接网络在数据并行性方面性能较差，需要更高级的算法来加速。购买多个GPU时，单个GPU的性能更重要。

关键观点4: 性能评测与建议

介绍了来自Tim Dettmers、Lambda和知乎@ Aero的在线GPU评测结果及建议，针对不同需求和预算的深度学习研究者提供了具体的GPU选择建议。