深度学习论文上的注意力可视化话图怎么来？

文章预览

作者 | Hao Bai 编辑 | 自动驾驶之心 原文链接：https://www.zhihu.com/question/439389563/answer/3217326241 点击下方 卡片 ，关注“ 自动驾驶之心 ”公众号 戳我-> 领取 自动驾驶近15个 方向 学习 路线 >> 点击进入→ 自动驾驶之心 『 计算机视觉 』 技术交流群 本文只做学术分享，如有侵权，联系删文 泻药。自从DINO被提出后，注意力图的可视化瞬间成为热点。这篇tutorial就来讨论一下训练完Transformer后，如何可视化注意力图。典型的注意力图例子如下图： DINO首先提出了一种方法。对于ViT的第 l 层的第 k 个头，首先计算出自注意力矩阵： 其中 其中 为softmax函数， d 为内积， Q,K为输入 X 的线性变换， 为第 l 层第 i 个token的表示。 这个式子的意思是，取出某一层中的一个token，计算这个token的仿射与[CLS] token的仿射间的相似度。算出这一层中每个token的相似度后，对 ………………………………