谷歌团队再次证明Scaling Law的准确性，即使总通信量减少99%，仍能超越数据并行训练

文章预览

点击上方“ 图灵人工智能 ”，选择“星标”公众号 您想知道的人工智能干货，第一时间送达                           版权声明  转自DeepTech深科技，版权属于原作者，仅用于学术分享，如有侵权留言删除  Scaling Law 由  OpenAI  团队于 2020 年正式提出，并在其论文《神经语言模型的扩展定律》（Scaling Laws for Neural Language Models）中进行了详细阐述。Scaling Law 揭示了模型性能与模型规模、数据量和计算资源之间的数学关系。但在这两年，由于实际应用局限性、理论解释不完善等原因，Scaling Law 遭到了一些质疑。而  Google  旗下两支团队的最新研究，似乎又给 Scaling Law 投上了一张支持票。 在大模型领域，数据并行训练（Data-Parallel）方法占据着核心地位，它是训练大模型的基础技术之一。然而，随着模型规模的不断增大，数据并行训练方法的通信开 ………………………………