码迷,mamicode.com
首页 > 其他好文 > 详细

深度学习之二:CNN推导

时间:2016-05-07 11:04:45      阅读:275      评论:0      收藏:0      [点我收藏+]

标签:

前面看过了CNN的基本结构,经典的模式如下图:


技术分享
 

上图经典的CNN模型主要可以概括为三个部分:

convolution层:convolution是将原来的输入向量映射成多个feature map,每个feature map的权重和偏移量都是一样的

sub-sampling层:sub-sampling 层将feature map进一步缩小,可以选择down-sampling的方法有很多,如max-pooling是选取所选区域的最大值,也有是选取所选区域的每个像素的输出值的平均                 值,当然也有是将所选区域的每个像素的输出值进行求和,但是目的只有一个,那就是进一步将feature map压缩

全连接层:CNN中卷积层和sub-sampling层可以多个组合使用,在最后面的sub-sampling层后面加入几个全连接层,最后连接到输出层中去

 

了解完这一点后,根据一般的神经网络BP算法,我们构造完损失函数L,然后在训练过程中就使用BP算法进行梯度下降求导了,本文就是介绍关于CNN求导过程。

整篇文章参考的论文为【1】Notes on Convolutional Neural Networks ,作者Jake Bourvie比较详细的介绍了CNN 的求导方法。

 

文章假设已经掌握了经典的BP算法,同时对于损失函数也有一定的了解,常用的平方损失函数或者cross-entropy函数等,所以下文不会给出从头到尾的推导公式,只是着重介绍在卷积层和sub-sampling层的求导过程。

 

一,首先来看卷积层的求导(求误差敏感项以及权重和偏置值):

 

从输入层到卷积层的feature map,我们使用的是如下计算公式:

 
技术分享
 其中Mj表示的是输入层的选中区域,而Kij核函数表示的是权重参数,也就是w参数,f(.)表示的是激励函数,一般使用sigmoid,也有资料【2】表示使用ReLU函数能够更好的训练深度神经网络,总之这个式子表示的是从上一输入层到卷积层的计算过程,feature map共享相同的Kernel和biase也就是w和b参数,不同的feature map 的w和b参数不一样

 

现在来计算一下卷积层的梯度下降公式:

 

目的:计算卷积层的各个参数的梯度,也就是计算上面式子的Kij和b的导数值

假设每个卷积层后面都跟着sub-sampling层,BP算法告诉我们,要想求得本层的参数,那么就需要求出损失函数对本层输出结果的导数,这里就出现了一个问题,卷积层的大小和sub-sampling层的大小不一样,这就对求导产生的难度。

为了求导,我们可以将sub-sampling层按照之前的卷积层到sub-sampling层的映射规则,将sub-sampling层展开成和卷积层一样的大小,我们看一下是如歌展开的:

 

假设卷积层为4*4大小,然后sub-sampling层为2*2大小,我们假设现在使用BP算法求得的sub-sampling敏感项大小是:

 
技术分享
 

  •  假设在从卷积层到sub-sample层是使用均值的方法,那么可以将sub-sampling 的敏感项"up-sampling"到如下图:

 

 
技术分享
 

  •  如假设使用的是max-pooling方法,那么可以选择其他区域为0,其up-sampling的结果可能是下图:

 
技术分享
 之所以是使用“可能”两个字,是因为0的位置需要根据卷积层到sub-sampling层的最大值在卷积层的位置决定,因此还需要记住从convolution层到sub-sampling层的映射位置。

 

在得到卷积层output敏感项之后,就可以进行对卷积层的参数进行求导了:

 

 
技术分享(1)
 
技术分享(2)
 
技术分享(3)
 

其中(1)式中的up(.)指的就是讲suB-sampling层按照之前说的规则“展开”,βl+1 表示的是sub-sampling“展开后”卷积层的output敏感项,f0(u` j)则是对卷积层的激励函数求导,这和BP算法是一致的

(2)式表示对卷积层参数b的求导,(3)式表示的是对卷积层参数Kij的求导,其实也就是对权重w进行求导,Pi表示的是卷积层上一层输入值块,也就是卷积区域的输入值矩阵,和BP算法保持一致。

在【1】这篇文章中,有一种新的方法计算这部分求导,其实是为了方便MATLAB编程,我们以求 L-1层的敏感项(δl-1)举例说明:

 

假设卷积层前面是一个3*3大小的通道,卷积核大小为2*2,那么在卷积层应该有2*2大小,我们假设现在已经求出的卷积层的敏感项为:

 
技术分享
 卷积核为:


技术分享
我们先将卷积层L的敏感项“FULL”化:(稍后解释为什么)

 

 
技术分享
 

那么对卷积层的Xij(也就是前一层的敏感项)求导的结果就是

 

 

   
 
技术分享   *  技术分享=技术分享
 

注意这里*表示的离散卷积也就是先要将卷积核旋转180度然后进行卷积相乘。其实这里也是根据BP算法进行推导的,比如最中间的2.3是由矩阵[1,1,2,3]的 1的右下角,1的左下角,2的右上角,3的左上角的四个因子相乘所得,所以2.3=1*0.6+1*0.5+2*0.3+3*0.2得来

 

当然如果有多个feature map,只需要将所得到的3维矩阵相加即可

 

二,前面部分从convolution层到sub-sampling层没有考虑使用线性变换,也就是说可能从卷积层到sample层还可能有参数Biase和w参数,下面就这一点做个说明

 

计算公式:

技术分享
 其中down表示的是从卷积层到sub-sampling层使用的函数,例如max-pooling使用的是最大值,在论文【1】里面,作者使用的求和,也就是将卷基层的输出直接相加得到dowm(.)注意到这里使用的 βj `和(1) 式中使用的是一样的参数,之所以是这样,是因为如果从卷积层到sub-sampling层使用的是求和的话,那么卷积层的敏感项“展开项”都是一样的 βj ` ,所以(1)式中的 βj ` 就是这么来的

 

好了现在按照下面式子求出各个项的参数:



 
技术分享(4)
 
技术分享(5)

这个和一般的BP算法是一样的,这里求上一层的敏感项的时候,可以将down(.)当做一个整体求导,然后按照之前所说明的方式“展开”成和convolution层一样大小的去求卷积层各个参数导数

 

 

三,拓展

【1】还介绍了一下优化CNN的方法,如给不同的map不一样的比例参数ai,也说明了一些关于规范化(regulation)方面的内容,其求导过程大同小异,就不一一提及

 

 

参考文献:

【1】Notes on Convolutional Neural Networks,Jake Bouvrie

【2】Deep Sparse Rectifier Neural Network,Xavier Glorot..

【3】Deep learning:五十一(CNN的反向求导及练习)

深度学习之二:CNN推导

标签:

原文地址:http://blog.csdn.net/u010223750/article/details/51334447

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!