Hugging Face发布PyTorch新库「Accelerate」：适用于多GPU、TPU、混合精度训练

机器之心报道作者：力元多数 PyTorch 高级库都支持分布式训练和混合精度训练，但是它们引入的抽象化往往需要用户学习新的 API 来定制训练循环。许多 PyTorch 用户希望完全控制自己的训练循环，但不想编写和维护训练所需的样板代码。Hugging Face 最近发布的新库 Accelerate 解决了这个问题。「Accelerate」提供了一个简单的 API，将与多 GPU 、 TPU 、 fp16 相关的样板代码抽离了出来，保持其余代码不变。PyTorch 用户无须使用不便控制和调整的抽象类或编写、维护样板代码，就可以直接上手多 GPU 或 TPU。项目地址：https://github.com/huggingface/accelerate通过将如下 5 行代码添加到原始的 PyTorch 训练循环中，脚本即可在本地以及任何分布式设置上运行。 import torch import torch.nn.functional as F f ………………………………