标签：layout   跳过   spl   import   实践   梯度下降   推导   试验   偏差   

深度学习 – 自适应线性单元

如前所述，在 20 世纪 50 年代，感知器 (Rosenblatt, 1956, 1958) 成为第一个能根据每个类别的输入样本来学习权重的模型。约在同一时期，自适应线性单元 (adaptive linearelement, ADALINE) 简单地返回函数 f(x) 本身的值来预测一个实数 (Widrow and Ho?, 1960)，并且它还可以学习从数据预测这些数。

自适应线性单元(Adaline)的激活函数是一个线性函数，该函数的输出等于输入，实际上就相当于没有激活函数，线性激活函数$\phi (Z)$的定义：

$\phi (Z)=Z=W^{T}X$

自适应线性单元的训练

自适应线性单元的训练规则

• 权重根据线性激活函数进行更新
• 将样本数据中的实际输出与线性激活函数的输出进行比较，计算模型偏差，然后更新权重。

感知器训练规则

• 权重是根据单位阶跃函数更新的
• 将样本数据中的实际输出与模型输出进行比较，计算模型偏差，然后更新权重。

自适应线性单元与感知器的区别，在与激活函数不同，自适应线性单元将返回一个实数值而不是0,1分类。因此自适应线性单元用来解决回归问题而不是分类问题。

自适应线性单元训练时，用于调节权重的训练算法是被称为随机梯度下降（stochastic gradient descent）的一种特例。稍加改进后的随机梯度下降算法仍然是当今深度学习的主要训练算法。后面将详细介绍。

监督学习与无监督学习

监督学习：对有标记（分类）的训练样本进行学习，以尽可能对训练样本集外的数据进行标记（分类）预测。

监督学习中，所有的标记（分类）是已知的。因此，训练样本的岐义性低。

无监督学习：对没有标记（分类）的训练样本进行学习，以发现训练样本集中的结构性知识。

这里，所有的标记（分类）是未知的。因此，训练样本的岐义性高。

聚类就是典型的无监督学习，经过聚类后的样本数据就可以用来做监督学习。

目标函数

通常，神经网络的训练都属于监督学习类别，即使样本数据没有分类，也可先做聚类处理，把样本数据分类，然后就可以用来做监督学习了。

在监督学习下，对于一个样本，我们知道它的特征（输入）$x$，以及标记（输出）$y$。同时，我们还可以得到神经网络的预测输出$\hat{y}$。注意这里面我们用$y$表示训练样本里面的标记，也就是实际值；用$\hat{y}$表示神经网络的的预测值。我们当然希望预测值$\hat{y}$和实际值$y$越接近越好。

数学上有很多方法来表示预测值$\hat{y}$和实际值$y$接近程度，比如我们可以用$\hat{y}$和$y$的差的平方的$\genfrac{}{}{0ex}{}{1}{2}$来表示它们的接近程度

 我们把

$e$叫做单个样本的误差。至于为什么前面要乘$\genfrac{}{}{0ex}{}{1}{2}$，是为了后面计算方便。

训练数据中会有很多样本，比如$N$个，我们可以用训练数据中所有样本的误差的和，来表示神经网络的误差$E$，也就是

 上式的

$e^{(1)}$表示第一个样本的误差，$e^{(2)}$表示第二个样本的误差……。

上面的也可以表示为和式：

 x

${}^{(i)}$表示第$i$个训练样本的特征，$y^{(i)}$表示第$i$个样本的标记，我们也可以用元组$(x^{(i)},y^{(i)})$表示第$i$个训练样本。${\hat{y}}^{(i)}$则是神经网络对第$i$个样本的预测值，$\phi (z^{(i)})$中$z^{(i)}$表示第$i$个样本的加权求和值，$\phi (z)$表示线性激活函数。

对于一个训练数据集来说，我们当然希望误差$E$最小越好。对于特定的训练数据集来说，$(x^{(i)},y^{(i)})$的值都是已知的，所以$E$其实是参数$w$的函数。

 由此可见，神经网络的训练，实际上就是求取到合适的权重

$w$，使差值$E$取得最小值。这在数学上称作优化问题，而$J(w)$就是我们优化的目标，称之为目标函数，也被称为代价函数、损失函数。

注意：前面提到，目标函数实际上是差值平方和，从数学上来说，平方与线性激活函数让目标函数变成可微凸函数。
对于可微凸函数，可以使用一种简单但功能强大的优化算法，梯度下降法来求取目标函数$J(w)$的最小值，及其对应的参数$w$。

深度学习 – 梯度下降法

梯度下降法的主要思想是沿着损失函数的曲线下降，直到到达局部或全局的最小值点。

从数学上来看，梯度是指某点的切线斜率，即导数或偏导数（多元函数），在顶点斜率为0，所以找到斜率为0的点就是极值点。

梯度是函数值相对于自变量的变化率，变化率正负表示梯度方向，变化率为正，自变量变大函数值也变大，变化率为负，自变量变大函数值变小。为了找到函数极小值，自变量应该朝函数值变小的方向迈进，即梯度的反方向。

在每次迭代中，权重更新的步长与梯度方向相反，步长大小由学习率的值决定。

用梯度下降法求取损失函数最小值的步骤

损失函数的偏导数计算

在上面的内容中，我们直接给出了计算偏导数的公式，下面是该公式的推导过程。如不敢兴趣可跳过。

从上一章中，我们得知损失函数可以表示为：

人工智能深度学习入门练习之（33）深度学习 – 自适应线性单元

标签：layout   跳过   spl   import   实践   梯度下降   推导   试验   偏差   

原文地址：https://www.cnblogs.com/huanghanyu/p/13183459.html