提高 GPU 训练利用率的Tricks

前言首先，如果你现在还是在进行session.run(..)的话！尤其是苦恼于GPU显存都塞满了利用率却上不去的童鞋，这篇文章或许可以给你打开新世界的大门噢如果发现经过一系列改良后训练效率大大提高了，记得关注、星标、推荐三连。缘起很早很早之前，在刚接触tensorflow和使用GPU加速计算的时候，就产生过一个疑惑。为什么显卡的显存都快满了，GPU利用率还显示这么低呢？好浪费呀，但是又无可奈何。当时GPU利用率100%的情况基本是仅存于一块显卡塞4、5个不费显存的小任务的情况。在比较极端的情况下，甚至GPU的利用率会降到10%以下，就像这样：而大部分情况下写出来的代码train起来后是这样的：可以看到，虽然显卡的显存都塞满了，但是显卡功率（最左边那一栏，114W和6 ………………………………