如何解决“RuntimeError: CUDA Out of memory”问题

作者：Nitin Kishore编译：ronghuaiyang导读一些可以尝试的解决“RuntimeError: CUDA Out of memory”的方案。当遇到这个问题时，你可以尝试一下这些建议，按代码更改的顺序递增：减少“batch_size”降低精度按照错误说的做清除缓存修改模型/训练在这些选项中，如果你使用的是预训练模型，则最容易和最有可能解决问题的选项是第一个。修改batchsize如果你是在运行现成的代码或模型，则最好的做法是减小batchsize。减半，然后继续减半，直到没有错误为止。但是，如果在此过程中，你发现自己将batchsize大小设置为 1 并且仍然无济于事，那么就还有其他问题，如果可以修复它，那么模型训练可以在更大的batchsize下工作。降低精度如果你用的是 Pytorch-Lightning，你也可以尝试将精度更改为“float16”。这可能会带来诸如预期的 Double 和 Float 张量之间的不匹配等问题，但 ………………………………