从Word2vec到BERT——BERT

Keywords: BERT, Pre-training, Fine-tuning, Masked Language Model, Next Sentence Prediction, 如果看完本文你不理解，强烈建议你去Jay Alammar的博客看一下，他的博客主主要是对每个概念做可视化的，看了会茅塞顿开！简直是宝藏！，每篇文章我也会放上他相对应的概念的地址：https://jalammar.github.io/illustrated-bert/1. Introduction语言模型在很多NLP tasks上都很有用，其中包括句子级别的任务，分析句子之间的关系，也有单词级别的任务，比如命名实体识别，问答系统在BERT(Bidirectional Encoder Representations from Transformers)出现之前，有两种在下游任务应用pre-trained语言表示的方法，分别是以ELMo为代表的feature-based方法，在特定任务使用特定结构，其中包含pre-trained表示好的特征作为附加特征，还有一种fine-tuning方法，以GPT为代表，在下游任务中用简单的fine-tuning来训练之前所有pre-trained的参 ………………………………