神经网络详解 Detailed neural network

时间：2016-04-17 22:38:33 阅读：240 评论：0 收藏：0 [点我收藏+]

标签：

神经网络之BP算法，梯度检验，参数随机初始化

neural network(BackPropagation algorithm,gradient checking,random initialization)

一、代价函数(cost function)

对于训练集 $技术分享$ ，代价函数（cost function）定义为：

其中红色方框圈起的部分为正则项，k：输出单元个数即classes个数，L：神经网络总层数， $技术分享$ ：第 $技术分享$ 层的单元数（不包括偏置单元）， $技术分享$ ：表示第 $技术分享$ 层边上的权重。

二、误差逆传播（BackPropagation，简称BP）

有了代价函数 $技术分享$ ，我们的目前显然是找到能使 $技术分享$ 最小的参数 $技术分享$ ，为了使用梯度下降或者其他优化算法，我们需要计算：

$技术分享$

$技术分享$ 直接用上面的公式就可以求出，关键是如何计算 $技术分享$ 。BP算法可以求出最佳权值 $技术分享$ ，下面来看看BP算法的基本原理。先来看一下forward propagation（就不画图了，直接给出Ng画的图）

接下来看BP算法：定义 $技术分享$ 为第L层单元i的残差。BP算法的目标是最小化 $技术分享$ 。而对于样例 $技术分享$ 来说，其均方误差为： $技术分享$ 。在梯度下降中，每一次迭代都按如下公式对参数 $技术分享$ 更新： $技术分享$ 。

BP算法的思路如下：给定一个样例 $技术分享$ ，先根据前向传导（forward propagation）计算出神经网络中的所有激活值。针对第 $技术分享$ 层的每一个节点i，我们可以计算出其“残差” $技术分享$ ，该残差表明了该节点对最终输出值的残差产生了多少影响。对于最后一层输出层，我们可以直接计算出神经网络的输出 $技术分享$ 与实际类别值之间的残差。那么重点是对于隐藏层该如何处理？我们将基于节点第 $技术分享$ 层的残差的加权平均值计算出 $技术分享$ ，这些节点以 $技术分享$ 作为输入。

因此，对于最后一层输出层L(用L表示最后一层输出层)来说：

$技术分享$

对于隐藏层 $技术分享$ 来说：

因此可得：

$技术分享$

这样，我们就可以求得偏导数： $技术分享$ ，因此 $技术分享$ 。

关于BP算法的公式推导已经介绍完了，大家可以自己在纸上推导一下。下面来总结一下，BP算法的执行过程（直接盗用ng的图吧）：

以上就是BP算法的细节原理。概括来讲就是：

1、利用forward propagation计算出每一层的“激活值” $技术分享$ 。

2、计算出最后一层即输出层每个输出单元的残差 $技术分享$ 。

3、计算出第 $技术分享$ 层节点 $技术分享$ 的残差 $技术分享$ 。

4、计算出我们需要的偏导数。

讲了这么多，大家来看看NG举得例子，可行更加形象化的让大家体会下BP算法的执行过程细节：

三、梯度检验（gradient checking）

BP算法细节繁多，而且甚是复杂，因此非常容易出错，很难检查出来。因此需要使用梯度检验，梯度检验能够非常的确信的检验你实现的BP算法是否正确。梯度检验如下图所示（图片来自ng machine learning 课）：

因此，对于每个参数 $技术分享$ 使用梯度检验：

因为在BP算法执行过程中，我们就可以将这个近似值与 $技术分享$ 的导数相比较，如果两者相同或者非常接近，则可以确认我们实现的BP算法是正确的。有个注意点：当你训练BP神经网络时，一定要关闭gradient checking，因为梯度检验的执行速度非常非常慢。

四、参数随机初始化（random initialization）

我们在线性回归和logistic回归中都可以把 $技术分享$ 初始化为zeros(n,1)，这样做是可以的。但是在神经网络中这样做却是不可以的，因为如果初始化的参数一样，意味着隐藏层的每个单元的输入权重是一样的，因此每次更新后隐藏层的单元值将会是一样的。这就意味着所有的隐藏层单元都在计算相同的特征，这是完全多余的。来个图形象化的理解一下：

因为在神经网络参数（权重）初始化的时候，需要随机初始化，就是把 $技术分享$ 的值随机初始化，范围为 $技术分享$ 。

关于神经网络的BP算法，梯度检验，参数随机初始化就介绍完了，大家可以结合我的上一篇神经网络的入门知识http://blog.csdn.net/u012328159/article/details/51143536看，相信能够对神经网络有个基本的理解。

注：提供一些参考资料给大家，能够更好的帮助大家更好的理解神经网络。

讲反向传导算法http://deeplearning.stanford.edu/wiki/index.php/%E5%8F%8D%E5%90%91%E4%BC%A0%E5%AF%BC%E7%AE%97%E6%B3%95
视频，讲神经网络的http://work.caltech.edu/telecourse.html

神经网络详解 Detailed neural network

标签：

原文地址：http://blog.csdn.net/u012328159/article/details/51168939

踩

(0)

评论一句话评论（0）

分享档案

更多>

2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)

周排行