码迷,mamicode.com
首页 > 其他好文 > 详细

卷积神经网络学习(二)

时间:2018-06-25 22:50:54      阅读:271      评论:0      收藏:0      [点我收藏+]

标签:load   距离   垂直   jpg   XML   splay   ted   false   操作   

一、基础知识(一)

  filter:

      技术分享图片

  padding:在图像卷积操作之前,沿着图像边缘用0进行图像填充。padding会影响输出图像大小。

技术分享图片

  stride(卷积步长):卷积步长是指过滤器在图像上滑动的距离

技术分享图片技术分享图片

  input: n*n, filter: f*f, stride: s, padding: p

  output:技术分享图片? ?表示向下取整


 

单层卷积网络:   

ReLU(整流线性单位)——与Sigmoid函数不同的是,最近的网络更喜欢使用ReLu激活函数来处理隐藏层。该函数定义为:

当X>0时,函数的输出值为X;当X<=0时,输出值为0。函数图如下图所示:

技术分享图片

使用ReLU函数的最主要的好处是对于大于0的所有输入来说,它都有一个不变的导数值。常数导数值有助于网络训练进行得更快。

 

  在矩阵上加入偏差b1,然后对加入偏差的矩阵做非线性的Relu变换,得到一个新的4*4矩阵,这就是单层卷积网络的完整计算过程。用公式表示:


技术分享图片

 

 其中输入图像为a[0],过滤器用w[1]表示,对图像进行线性变化并加入偏差得到矩阵z[1]a[1]是应用Relu激活后的结果。

 

 描述卷积神经网络的一些符号标识:

  技术分享图片输出图像的通道数就是过滤器的个数。


卷积神经网络层的类型:

  • 卷积层(convolution,conv)
  • 池化层(pooling,pool)
  • 全连接层(Fully connected,FC)

1.池化层

最大池化(Max pooling)
最大池化思想很简单,以下图为例,把4*4的图像分割成4个不同的区域,然后输出每个区域的最大值,这就是最大池化所做的事情。其实这里我们选择了2*2的过滤器,步长为2。在一幅真正的图像中提取最大值可能意味着提取了某些特定特征,比如垂直边缘、一只眼睛等等。

平均池化和最大池化唯一的不同是,它计算的是区域内的平均值而最大池化计算的是最大值。在日常应用使用最多的还是最大池化。平均池化和最大池化唯一的不同是,它计算的是区域内的平均值而最大池化计算的是最大值。在日常应用使用最多的还是最大池化。技术分享图片

平均池化和最大池化唯一的不同是,它计算的是区域内的平均值而最大池化计算的是最大值。在日常应用使用最多的还是最大池化。

池化的超参数:步长、过滤器大小、池化类型最大池化or平均池化

 

卷积神经网络学习(二)

标签:load   距离   垂直   jpg   XML   splay   ted   false   操作   

原文地址:https://www.cnblogs.com/Chians-DW/p/9211272.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!