from __future__ import print_function
import numpy as np
import matplotlib.pyplot as plt
线性回归
本教程主要包含三部分:
* 一个非常简单的神经网络
* 一些概念,比如目标函数,损失函数
* 梯度下降
首先我们来构建一个最简单的神经网络,这个神经网络只有一个输入,一个输出,用来构建一个线性回归模型,从输入的x
来预测一个真实结果t
。神经网络的模型结构为y = x * w
,其中x
是输入参数,w
是权重,y
是预测结果。神经网络的模型可以被表示为下图:
在常规的神经网络中,神经网络结构中有多个层,非线性激活函数和每个节点上面的偏差单元。在这个教程中,我们只使用一个只有一个权重w
的层,并且没有激活函数和偏差单元。在简单线性回归中,权重w
和偏差单元一般都写成一个参数向量β
,其中偏差单元是y
轴上面的截距,w
是回归线的斜率。在线性回归中,我们一般使用最小二乘法来优化这些参数。
在这篇教程中,我们的目的是最小化目标损失函数,使得实际输出的y
和正确结果t
尽可能的接近。损失函数我们定义为:
对于损失函数的优化,我们采用梯度下降,这个方法是神经网络中常见的优化方法。
定义目标函数
在这个例子中,我们使用函数f
来产生目标结果t
,但是对目标结果加上一些高斯噪声N(0, 0.2)
,其中N
表示正态分布,均值是0
,方差是0.2
,f
定义为f(x) = 2x
,x
是输入参数,回归线的斜率是2
,截距是0
。所以最后的t = f(x) + N(0, 0.2)
。
我们将产生20个均匀分布的数据作为数据样本x
,然后设计目标结果t
。下面的程序我们生成了x
和t
,以及画出了他们之间的线性关系。
x = np.random.uniform(0, 1, 20)
def f(x): return x * 2
noise_variance = 0.2
noise = np.random.randn(x.shape[0]) * noise_variance
t = f(x) + noise
plt.plot(x, t, 'o', label='t')
plt.plot([0, 1], [f(0), f(1)], 'b-', label='f(x)')
plt.xlabel('$x$', fontsize=15)
plt.ylabel('$t$', fontsize=15)
plt.ylim([0,2])
plt.title('inputs (x) vs targets (t)')
plt.grid()
plt.legend(loc=2)
plt.show()
定义损失函数
我们将优化模型y = w * x
中的参数w
,使得对于训练集中的N
个样本,损失函数达到最小。
即,我们的优化目标是:
从函数中,我们可以发现,我们将所有样本的误差都进行了累加,这就是所谓的批训练(batch training)。我们也可以在训练的时候,每次训练一个样本,这种方法在在线训练中非常常用。
我们利用以下函数画出损失函数与权重的关系。从图中,我们可以看出损失函数的值达到最小时,w
的值是2
。这个值就是我们函数f(x)
的斜率。这个损失函数是一个凸函数,并且只有一个全局最小值。
nn(x, w)
函数实现了神经网络模型,cost(y, t)
函数实现了损失函数。
def nn(x, w): return x*w
def cost(y, t): return ((t - y) ** 2).sum()
优化损失函数
对于教程中简单的损失函数,可能你看一眼就能知道最佳的权重是什么。但是对于复杂的或者更高维度的损失函数,这就是我们为什么要使用各种优化方法的原因了。
梯度下降
在训练神经网络中,梯度下降算法是一种比较常用的优化算法。梯度下降算法的原理是损失函数对于每个参数进行求导,并且利用负梯度对参数进行更新。权重w
通过循环进行更新:
其中,w(k)
表示权重w
更新到第k
步时的值,Δw
为定义为:
其中,μ
是学习率,它的含义是在参数更新的时候,每一步的跨度大小。∂ξ/∂w
表示损失函数ξ
对于w
的梯度。对于每一个训练样本i
,我们可以利用链式规则推导出对应的梯度,如下:
其中,ξi
是第i
个样本的损失函数,因此,∂ξi/∂yi
可以这样进行推导:
因为y(i) = x(i) ∗ w
,所以我们对于∂yi/∂w
可以这样进行推导:
因此,对于第i
个训练样本,Δw
的完整推导如下:
在批处理过程中,我们将所有的梯度都进行累加:
在进行梯度下降之前,我们需要对权重进行一个初始化,然后再使用梯度下降算法进行训练,最后直至算法收敛。学习率作为一个超参数,需要单独调试。
gradient(w, x, t)
函数实现了梯度∂ξ/∂w
,delta_w(w_k, x, t, learning_rate)
函数实现了Δw
。
def gradient(w, x, t):
return 2 * x * (nn(x, w) - t)
def delta_w(w_k, x, t, learning_rate):
return learning_rate * gradient(w_k, x, t).sum()
w = 0.1
learning_rate = 0.1
nb_of_iterations = 4
w_cost = [(w, cost(nn(x, w), t))]
for i in range(nb_of_iterations):
dw = delta_w(w, x, t, learning_rate)
w = w - dw
w_cost.append((w, cost(nn(x, w), t)))
for i in range(0, len(w_cost)):
print('w({}): {:.4f} \t cost: {:.4f}'.format(i, w_cost[i][0], w_cost[i][1]))
w(0): 0.1000 cost: 23.3917
w(1): 2.3556 cost: 1.0670
w(2): 2.0795 cost: 0.7324
w(3): 2.1133 cost: 0.7274
w(4): 2.1091 cost: 0.7273
从计算结果中,我们很容易的看出来了,梯度下降算法很快的收敛到了2.0
左右,接下来可视化一下梯度下降过程。
plt.plot(ws, cost_ws, 'r-')
for i in range(0, len(w_cost)-2):
w1, c1 = w_cost[i]
w2, c2 = w_cost[i+1]
plt.plot(w1, c1, 'bo')
plt.plot([w1, w2],[c1, c2], 'b-')
plt.text(w1, c1+0.5, '$w({})$'.format(i))
plt.xlabel('$w$', fontsize=15)
plt.ylabel('$\\xi$', fontsize=15)
plt.title('Gradient descent updates plotted on cost function')
plt.grid()
plt.show()
梯度更新
上图展示了梯度下降的可视化过程。图中蓝色的点表示在第k
轮中w(k)
的值。从图中我们可以得知,w
的值越来越收敛于2.0
。该模型训练10
次就能收敛,如下图所示。
w = 0
nb_of_iterations = 10
for i in range(nb_of_iterations):
dw = delta_w(w, x, t, learning_rate)
w = w - dw
plt.plot(x, t, 'o', label='t')
plt.plot([0, 1], [f(0), f(1)], 'b-', label='f(x)')
plt.plot([0, 1], [0*w, 1*w], 'r-', label='fitted line')
plt.xlabel('input x')
plt.ylabel('target t')
plt.ylim([0,2])
plt.title('input vs. target')
plt.grid()
plt.legend(loc=2)
plt.show()
完整代码,点击这里
CoderPai 是一个专注于算法实战的平台,从基础的算法到人工智能算法都有设计。如果你对算法实战感兴趣,请快快关注我们吧。加入AI实战微信群,AI实战QQ群,ACM算法微信群,ACM算法QQ群。详情请关注 “CoderPai” 微信号(coderpai) 。