专栏名称: 新智元
智能+中国主平台,致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展,关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响,领航中国新智能时代。
今天看啥  ›  专栏  ›  新智元

一文解读NLP中的注意力机制

新智元  · 公众号  · AI  · 2019-02-16 12:49
  新智元推荐  来源:AI小白入门(ID:StudyForAI)作者:yuquanle     整理编辑:三石【新智元导读】注意力机制越发频繁的出现在文献中,因此对注意力机制的学习、掌握与应用显得十分重要。本文便对注意力机制做了较为全面的综述。近些年来,注意力机制一直频繁的出现在目之所及的文献或者博文中,可见在NLP中算得上是个相当流行的概念,事实也证明其在NLP领域散发出不小得作用。这几年的顶会paper就能看出这一点。本文深入浅出地介绍了近些年的自然语言中的注意力机制包括从起源、变体到评价指标方面。本文便对NLP的注意力机制进行了综述。目录1.写在前面2.Seq2Seq 模型3.NLP中注意力机制起源4.NLP中的注意力机制  5.Hierarchical Attention6.Self-Attention7.Memory-based Att ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照