实战数据资源提供。数据实力派社区,手把手带你玩各种数据分析,涵盖数据分析工具使用,数据挖掘算法原理与案例,机器学习,R语言,Python编程,爬虫。如需发布广告请联系: hai299014
今天看啥  ›  专栏  ›  大数据挖掘DT数据分析

深度学习中训练参数的调节技巧

大数据挖掘DT数据分析  · 公众号  · 大数据  · 2018-02-08 18:00
 向AI转型的程序员都关注了这个号👇👇👇大数据挖掘DT数据分析  公众号: datadw1、学习率步长的选择:你走的距离长短,越短当然不会错过,但是耗时间。步长的选择比较麻烦。步长越小,越容易得到局部最优化(到了比较大的山谷,就出不去了),而大了会全局最优重要性:学习率>正则值>dropout学习率:0.001,0.01,0.1,1,10  …….以10为阶数尝试小数据集上合适的参数大数据集上一般不会差,可以先减少训练类别。一般来说,前1000步,很大,0.1;到了后面,迭代次数增高,下降0.01,再多,然后再小一些。 2、权重梯度消失的情况,就是当数值接近于正向∞,求导之后就更小的,约等于0,偏导为0 梯度爆炸,数值无限大对于梯度消失现象:激活函数 Sigmoid ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照