你的模型刚不刚？谷歌提出“刚度”概念，探索神经网络泛化新视角

  新智元报道  来源：arxiv编辑：肖琴【新智元导读】Google AI的研究人员的最新研究提出一个全新概念：刚度(Stiffness)，为探索神经网络的训练和泛化问题提供了一个新视角。Google AI的研究人员最近在arxiv发表的一篇新论文，探索了神经网络的训练和泛化问题的一个新视角。论文题为“Stiffness: A New Perspective on Generalization in Neural Networks”，作者是谷歌 AI 苏黎世研究中心的Stanislav Fort等人。论文提出“刚度”(stiffness)这个概念，透过这个概念研究了神经网络的训练和泛化问题。研究人员通过分析一个示例中的小梯度步骤如何影响另一个示例的损失来测量网络的“刚度”。具体来说，他们在4个分类数据集(MNIST、FASHION MNIST、CIFAR-10、CIFAR-100)上分析了全连接卷积神经网络的刚度 ………………………………