伯克利大学马毅教授：深度学习的第一性原理

大数据文摘授权转载自智源社区作者：周寅张皓导读：寻找深度学习的普适理论一直是学界关注的焦点。在深度学习的工作中，我们常常使用许多经验性的方法，例如选择不同的非线性层，样本的归一化，残差链接，卷积操作等等。这样的方法为网络带来了优秀的效果，经验性的理解也为深度学习发展提供了指导。但似乎我们对其理解仅限于此，由于网络的黑盒性质，这些方法究竟从理论上如何工作，为何需要加入网络，我们似乎难以回答。近日UC Berkeley的马毅教授的报告“Deep Networks from First Principle”提供了一种系统性的理论观点。报告中，马毅教授阐述了最大编码率衰减（Maximal Coding Rate Reduction,   MCR^2）作为深度模型优化的第一性原理的系列工作。此外，马毅介绍 ………………………………