【干货】近年火爆的Attention模型，它的套路这里都有！

【文末有彩蛋！】推荐阅读时间：8min~13min主要内容：简介明了的讲解一些Attention Model的套路和理论---------------------------------------------作者：YBB单位：清华大学研究生1Attention 的本质attention其实就是一个加权平均。attention处理的问题，往往面临的是这样一个场景：2Attention的设计如何计算得到alpha(i)，一般分为两个步骤：那么如何设计step 1中的打分函数f呢，在论文”Dynamic Attention Deep Model for Article Recommendation by Learning Human Editors’Demonstration”中的Attention Mechanism章节给了较为全面的概括。大体分为三类：其中General Attention并不常见，（可能笔者读的paper不够多，目前还没有遇到过）因此在这里不做介绍。接下来详细介绍下Location-based Attention和Concatenation-based Attention的设计 ………………………………