注意力机制是如何学习到模型所应注意的区域的？

链接｜https://www.zhihu.com/question/444712435编辑｜深度学习与计算机视觉本文仅做学术分享，侵删简单来说，注意力机制在没有标注的数据集中，仅凭着模型本身去学习所应注意的区域，这种方法的准确性靠谱吗？作者：知乎用户https://www.zhihu.com/question/444712435/answer/1755066079我打算从一个非常 toy 的模型说明为何跑着跑着，会出现区域集中先考虑一个玩具模型考虑样本 ，权重  ，以及均值为零的噪声  ，我们的 toy model 如下：要证明的是，w 每个分量大小，反比于   每个分量的方差。用人话来说，就是越不确定的地方，权重会越小，越确定的地方，权重越大，符合基本的直觉。证明不难，把平方展开稍微计算一下：最后一项平均以后为零，只有第二项那个保留，相当于有个 ………………………………