一句话描述:凸优化问题(OPT,convex optimization problem)指定义在凸集中的凸函数最优化的问题
凸优化问题的优势
- 凸优化问题的局部最优解就是全局最优解
- 很多非凸问题都可以被等价转化为凸优化问题或者被近似为凸优化问题(例如拉格朗日对偶问题)
- 凸优化问题的研究较为成熟,当一个具体被归为一个凸优化问题,基本可以确定该问题
优化在深度学习中的挑战
- 局部最小值
- 鞍点
- 梯度消失
局部最小值
鞍点
梯度消失
凸函数
满足以下条件的函数:
几何意义:
凸函数与二阶导数
是凸函数
必要性 ():
对于凸函数:
故:
充分性 ():
令 为 上的三个点,由拉格朗日中值定理:
根据单调性,有 , 故:
限制条件
拉格朗日乘子法
惩罚项 欲使 , 将项 加入目标函数,如多层感知机章节中的
投影