干货 | 浅谈Softmax函数

来自 | 知乎   作者 | LinT链接丨https://zhuanlan.zhihu.com/p/79585726编辑 | 深度学习这件小事公众号仅作学术交流，如有侵权，请联系删除   0. 引言Softmax函数几乎是深度学习中的标配了，在人工神经网络中，几乎无处不可见softmax函数的身影。可以认为softmax是arg max操作的一种平滑近似。我将softmax的用途总结为两种：分类：给定一系列类别，softmax可以给出某输入被划分到各个类别的概率分布。由于人工智能领域的许多问题都可以抽象成分类问题，所以softmax最广泛的应用当属分类；寻址：由于softmax的输出是一种概率分布的形式，可以用它来实现一种软性的寻址。近几年逐渐推广的(软性)注意力机制就可以认为是一种软性寻址的方式，根据各个键向量与查询向量的 ………………………………