专栏名称: 机器之心
专业的人工智能媒体和产业服务平台
今天看啥  ›  专栏  ›  机器之心

注意力模型深度综述:注意力类型和网络架构都有什么

机器之心  · 公众号  · AI  · 2019-04-10 12:28
选自arXiv作者:Sneha Chaudhari 等机器之心编译参与:王淑婷、杜伟注意力模型已成为神经网络中的一种重要概念,并在很多应用领域展开了研究。本文提出了一种分类方法,对这些研究进行了全面有序地综述,并对注意力模型在一些应用领域产生的重大影响进行了讨论。注意力背后的直觉可以用人类的生物系统来进行最好的解释。例如,我们的视觉处理系统往往会选择性地聚焦于图像的某些部分上,而忽略其它不相关的信息,从而有助于我们感知。类似地,在涉及语言、语音或视觉的一些问题中,输入的某些部分相比其它部分可能更相关。通过让模型仅动态地关注有助于有效执行手头任务的部分输入,注意力模型引入了这种相关性概念。图 1 显示了使用注意力模型对 Yelp ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照