47分钟，BERT训练又破全新纪录！英伟达512个GPU训练83亿参数GPT-2 8B

  新智元报道  来源：英伟达编辑：元子【新智元导读】具有92个DGX-2H节点的NVIDIA DGX SuperPOD通过在短短47分钟内训练BERT-Large创下了新纪录。该纪录是通过每个节点上的1472个V100 SXM3-32GB 450W GPU和8个Mellanox Infiniband计算适配器，自动混合精度运行PyTorch来提高吞吐率，并使用本文中的训练方法来实现的。「新智元急聘主笔、编辑、运营经理、客户经理，添加HR微信（Dr-wly）或扫描文末二维码了解详情。」NVIDIA DGX SuperPOD在短短47分钟内训练BERT-Large，并训练GPT-2 8B，这是有史以来最大的具有8.3Bn参数的Transformer网络。对话式AI是人类与智能机器和应用程序（从机器人和汽车到家庭助手和移动应用程序）进行交互的重要基础。长期以来，让计算机理解人类语言及其所有细微差别并做 ………………………………