专栏名称: 机器之心
专业的人工智能媒体和产业服务平台
今天看啥  ›  专栏  ›  机器之心

要理解深度学习,必须突破常规视角去理解优化

机器之心  · 公众号  · AI  · 2019-06-22 10:00
选自offconvex.org作者:Sanjeev Arora机器之心编译参与:韩放、shooting普林斯顿计算机科学教授 Sanjeev Arora 认为,常规的优化观点只关注目标的价值和收敛的速度,而这对于日益重要的深度学习来说是远远不够的。深度学习算法有一些重要的特性并不总是反映在目标值中。所以,要加深对深度学习的理解,还得超越常规视角。深度学习时代,机器学习通常归结为首先为手头的学习任务定义合适的目标/成本函数,然后使用梯度下降的某种变体(通过反向传播实现)来优化这个函数。难怪每年有数以百计的机器学习论文贡献给优化的不同领域。但我认为,如果你的目标是对深度学习进行数学理解的话,那么从常规视角去理解优化明显是不够的。优化的常规视角:尽快找到目标最 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照