专栏名称: AI科技评论
「AI科技评论」是国内顶尖人工智能媒体和产业服务平台,专注全球 AI 业界、学术和开发三大方向的深度报道。
今天看啥  ›  专栏  ›  AI科技评论

ICLR 2019 | 如何理解深度神经网络的泛化性能?谷歌认为可以从「泛化鸿沟」入手

AI科技评论  · 公众号  · AI  · 2019-07-12 23:12
使用边际分布来预测深度网络的泛化鸿沟!AI 科技评论按:深度神经网络(DNN)作为机器学习的基础,为图像识别、图像分割、机器翻译等诸多领域取得突破性进展做出了重大贡献,然而研究人员始终都无法完全理解支配 DDN 的基本原理。其中,泛化是预测和理解 DNN 在未见过样本上的性能的重要指标,而理解泛化的一个重要概念便是泛化鸿沟(generalization gap)。基于此,谷歌的这篇 ICLR 2019 论文提出使用跨网络层的标准化边际分布作为泛化鸿沟的预测因子,对边际分布与泛化之间的关系进行了实证研究,结果表明边际分布的一些基本统计量可以准确地预测泛化鸿沟。谷歌发表文章对该论文进行了介绍,AI 科技评论编译如下。DNN 是近年来机器学习研究进展的奠基石,是 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照