自然语言处理中注意力机制综述

本文系作者何从庆投稿，作者公众号：AI算法之心（id:AIHeartForYou），欢迎关注。目录1.写在前面2.Seq2Seq 模型3.NLP中注意力机制起源4.NLP中的注意力机制  5.Hierarchical Attention6.Self-Attention7.Memory-based Attention 8.Soft/Hard Attention9.Global/Local Attention10.评价指标11.写在后面12.参考文献写在前面近些年来，注意力机制一直频繁的出现在目之所及的文献或者博文中，可见在nlp中算得上是个相当流行的概念，事实也证明其在nlp领域散发出不小得作用。这几年的顶会paper就能看出这一点。本文深入浅出地介绍了近些年的自然语言中的注意力机制包括从起源、变体到评价指标方面。据Lilian Weng博主[1]总结以及一些资料显示，Attention机制最早应该是在视觉图像领域提出来的，这方面的工作应该很 ………………………………