自然语言处理—详解Skip-Gram

点击上方“MLNLP”，选择“星标”公众号重磅干货，第一时间送达作者：大饼https://zhuanlan.zhihu.com/p/73970347单位：华东理工大学神经网络中embedding层的作用——本质就是word2vec，数据降维，同时可以很方便计算同义词(各个word之间的距离)，底层实现是2-gram(词频)+神经网络。如何将一段文章的单词通过词向量来表示呢？提取文章中所有的单词，把其按照出现的次数降序(这里取50000个不同的单词)，比如单词“xx”出现次数最多，就编号ID为0，以此类推....每个编号ID都可以使用50000维的二进制(onehot)表示。最后会产生一个矩阵M，行大小为词的个数50000，列大小为词向量的维度(通常取128或300)，比如矩阵第一行就是编号ID=0，“xx”对应的词向量。在Skip-Gram模型中，会随机初始化它， ………………………………