我不太懂BERT系列——BERT预训练实操总结

作者：邱震宇（华泰证券股份有限公司 算法工程师）知乎专栏：我的ai之路通过本文章，你可以了解以下内容：了解bert预训练会遇到的坑，包括但不限于数据预处理的正确姿势、数据预处理的高效实现、bert单机多卡分布式训练的基本实现，以及如何debug并提升使用单机多卡来进行深度学习训练的性能瓶颈。本文篇幅有点长，大家可以就自己感兴趣的点挑选章节阅读。纸上得来终觉浅，绝知此事要躬行。——陆游近期在做一件我一直很想尝试的事情——BERT预训练。之前由于硬件条件和数据量的限制，一直没有机会。这次，借助我们公司强大的AI平台能力以及长时间积累到的大量金融新闻数据，我终于从头到尾实践了一番，可以说是收货颇丰。事实上，在开始做预训练之 ………………………………