深度学习中的Normalization模型

点击上方“MLNLP”，选择“星标”公众号重磅干货，第一时间送达本文授权转自知乎作者：张俊林链接：https://zhuanlan.zhihu.com/p/43200897来源：极市平台Batch Normalization（简称BN）自从提出之后，因为效果特别好，很快被作为深度学习的标准工具应用在了各种场合。BN大法虽然好，但是也存在一些局限和问题，诸如当BatchSize太小时效果不佳、对RNN等动态网络无法有效应用BN等。针对BN的问题，最近两年又陆续有基于BN思想的很多改进Normalization模型被提出。BN是深度学习进展中里程碑式的工作之一，无论是希望深入了解深度学习，还是在实践中解决实际问题，BN及一系列改进Normalization工作都是绕不开的重要环节。一.从Mini-Batch SGD说起我们先从Mini-Batch SGD的优化过程讲起，因为这是 ………………………………