【BERT】BERT的嵌入层是如何实现的？看完你就明白了

作者：__编译：ronghuaiyang导读非常简单直白的语言解释了BERT中的嵌入层的组成以及实现的方式。介绍在本文中，我将解释BERT中嵌入层的实现细节，即token嵌入、Segment嵌入和Position嵌入。简介这是一张来自论文的图，它恰当地描述了BERT中每一个嵌入层的功能:与大多数旨在解决nlp相关任务的深度学习模型一样，BERT将每个输入token(输入文本中的单词)通过token嵌入层传递，以便将每个token转换为向量表示。与其他深度学习模型不同，BERT有额外的嵌入层，以Segment嵌入和Position嵌入的形式。这些附加的嵌入层的原因会在本文的最后变得清楚。Token嵌入目的如前一节所述，token嵌入层的作用是将单词转换为固定维的向量表示形式。在BERT的例子中，每个单词都表示为一个7 ………………………………