今天看啥  ›  专栏  ›  prophet__

吴恩达深度学习-序列模型 2.4 嵌入矩阵

prophet__  · 简书  ·  · 2020-02-06 23:27

这节课讲的是一个很巧妙的运算方法,用到了我们之前通过大量文本对单词进行特征提取训练后的值,把它变成一个矩阵,然后如何把它们再一个个提取出来的过程。

假设我们有10000个单词,总共有300个特征,那么我们会得到一个10000*300的特征矩阵,我们把它称之为E,然后我们把它跟一个one-hot矩阵相乘,你需要哪个单词,就把这个单词的值置位1,其他都置位0。

通过矩阵相乘之后,我们就可以得到这个单词的特征矩阵了,我们用e_xx来代表第xx个单词的特征矩阵,用o_xx来代表第xx个单词的one-hot矩阵。

总之,这是一个 E X o_j = e_j 的过程,也就是从嵌入矩阵当中提取某个单词的特征向量的过程。

在实际使用过程当中,我们会直接使用一个寻找某一列向量的函数来提取这个单词的特征向量,这样更快。

比如keras当中就有一个embedding layer,可以很快地从嵌入矩阵当中提取特征向量。




原文地址:访问原文地址
快照地址: 访问文章快照