注意力机制Attention Model（mechanism） 的 套路

向AI转型的程序员都关注了这个号👇👇👇机器学习AI算法工程   公众号：datayx最近刷了一些attention相关的paper，网上相关的资料也有很多，在此只讲一讲自己对于attention的理解，力求做到简洁明了。一.attention 的本质其中General Attention并不常见，（可能笔者读的paper不够多，目前还没有遇到过）因此在这里不做介绍。接下来详细介绍下Location-based Attention和Concatenation-based Attention的设计。具体我们来举几个例子，可能具体实现上，有略微区别，不过都大同小异：Example 1：Attentive Collaborative Filtering Multimedia Recommendation with Item- and Component-Level Attention_sigir17Example 3：Dipole Diagnosis Prediction in Healthcare via Attention-based Bidirectional Recurrent Neural Network_2017KDDExample 5：Learning to Generate Rock Descr ………………………………