码迷,mamicode.com
首页 > Web开发 > 详细

LeNet

时间:2018-06-17 11:08:43      阅读:576      评论:0      收藏:0      [点我收藏+]

标签:特点   窗口   size   AC   计算   function   资源   包含   UNC   

LeNet

模型特点

LeNet5诞生于1994年,由Yann LeCun提出,充分考虑图像的相关性。当时结构的特点如下:
1)每个卷积层包含三个部分:卷积(Conv)、池化(ave-pooling)、非线性激活函数(sigmoid)
2)MLP作为最终的分类器
3)层与层之间稀疏连接减少计算复杂度

结构模型

 技术分享图片

 

技术分享图片

                                              图1-1 LeNet结构示意

网络层介绍

Input Layer:1*32*32图像
Conv1 Layer:包含6个卷积核,kernal size:5*5,parameters:(5*5+1)*6=156个
Subsampling Layer:average pooling,size:2*2
                                  Activation Function:sigmoid
Conv3 Layer:包含16个卷积核,kernal size:5*5  ->16个Feature Map
Subsampling Layer:average pooling,size:2*2
Conv5 Layer:包含120个卷积核,kernal size:5*5
Fully Connected Layer:Activation Function:sigmoid
Output Layer:Gaussian connection

 

 

对于卷积层,其计算公式为

 技术分享图片

 

其中K表示由L层到L+1层要产生的feature的数量,表示“卷积核”,表示偏置,也就是bias,

令卷积核的大小为5*5,总共就有6*(5*5+1)=156个参数,

对于卷积层C1,每个像素都与前一层的5*5个像素和1个bias有连接,

所以总共有156*28*28=122304个连接(connection)。

对于LeNet5,S2这个pooling层是对C1中的2*2区域内的像素求和再加上一个偏置,

然后将这个结果再做一次映射(sigmoid等函数),所以相当于对S1做了降维,此处共有6*2=12个参数。

S2中的每个像素都与C1中的2*2个像素和1个偏置相连接,所以有6*5*14*14=5880个连接(connection)。

除此外,pooling层还有max-pooling和mean-pooling这两种实现,

max-pooling即取2*2区域内最大的像素,而mean-pooling即取2*2区域内像素的均值。

LeNet5最复杂的就是S2到C3层,其连接如下图所示。

 技术分享图片

 

前6个feature map与S2层相连的3个feature map相连接,

后面6个feature map与S2层相连的4个feature map相连接,

后面3个feature map与S2层部分不相连的4个feature map相连接,

最后一个与S2层的所有feature map相连。

卷积核大小依然为5*5,

所以总共有6*(3*5*5+1)+6*(4*5*5+1)+3*(4*5*5+1)+1*(6*5*5+1)=1516个参数。

而图像大小为10*10,所以共有151600个连接。

S4是pooling层,窗口大小仍然是2*2,共计16个feature map,

所以32个参数,16*(25*4+25)=2000个连接。

C5是卷积层,总共120个feature map,每个feature map与S4层所有的feature map相连接,卷积核大小是5*5,

而S4层的feature map的大小也是5*5,所以C5的feature map就变成了1个点,共计有120(25*16+1)=48120个参数。

F6相当于MLP中的隐含层,有84个节点,所以有84*(120+1)=10164个参数。

F6层采用了正切函数,计算公式为,

 技术分享图片

输出层采用了RBF函数,即径向欧式距离函数,计算公式为,

 技术分享图片

以上就是LeNet5的结构。

表1 LeNet各层输入输出及资源使用

技术分享图片

 

 

 

LeNet

标签:特点   窗口   size   AC   计算   function   资源   包含   UNC   

原文地址:https://www.cnblogs.com/wangprince2017/p/9192060.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!