NLP专栏｜图解 BERT 预训练模型！

 Datawhale干货 作者：张贤，哈尔滨工程大学，Datawhale原创作者本文约7000字，NLP专栏文章，建议收藏阅读审稿人：Jepson，Datawhale成员，毕业于中国科学院，目前在腾讯从事推荐算法工作。结构总览一、前言2018 年是机器学习模型处理文本（或者更准确地说，自然语言处理或 NLP）的转折点。我们对这些方面的理解正在迅速发展：如何最好地表示单词和句子，从而最好地捕捉基本语义和关系？此外，NLP 社区已经发布了非常强大的组件，你可以免费下载，并在自己的模型和 pipeline 中使用（今年可以说是 NLP 的 ImageNet 时刻，这句话指的是多年前类似的发展也加速了 机器学习在计算机视觉任务中的应用）。ULM-FiT 与 Cookie Monster（饼干怪兽）无关。但我想不出别的了...BERT的发布是 ………………………………