深度学习笔记 | 第12讲：自然语言处理与词向量

大家好！又到了每周一狗熊会的深度学习时间了。在上一讲中，小编和大家重点介绍了深度神经网络中普遍存在的梯度爆炸和梯度消失问题，对其形成原因和机制以及解决方法都进行了详细的讲述，并以此为基础对 LSTM 的网络架构和技术原理进行了深入讲解。这一讲小编将对 RNN 的重要应用方向——自然语言处理进行简单介绍，对自然语言模型和词汇表征进行讲解，并在此基础上，对基于统计描述的 SVD 词向量生成方法进行介绍。 1自然语言处理简介我们之前讨论的 DNN 和 CNN 的各种分类、检测和分割神经网络，一直致力于如何让机器“看懂”图像，所以基于图像任务的领域也叫计算机视觉。我们本节要讨论的问题，是在于如何让计算机“懂得”人类语言，说起来也玄乎 ………………………………