码迷,mamicode.com
首页 > 其他好文 > 详细

卷积神经网络的一些细节

时间:2015-02-27 20:17:55      阅读:372      评论:0      收藏:0      [点我收藏+]

标签:cnn

节选自语义分析的一些方法(二),以后会不断补充。——by wepon


结合文献『Deep Learning for Computer Vision』, 以下讲讲卷积神经网络的一些注意点和问题。

  • 激励函数,要选择非线性函数,譬如tang,sigmoid,rectified liner。在CNN里,relu用得比较多,原因在于:(1)简化BP计算;(2)使学习更快。(3)避免饱和问题(saturation issues)

  • 池化(Pooling):其作用在于(1)对一些小的形态改变保持不变性,Invariance to small transformations;(2)拥有更大的感受域,Larger receptive fields。pooling的方式有sum or max。

  • Normalization:Equalizes the features maps。它的作用有:(1) Introduces local competition between features;(2)Also helps to scale activations at each layer better for learning;(3)Empirically, seems to help a bit (1–2%) on ImageNet

  • 训练CNN:back-propagation;stochastic gradient descent;Momentum;Classification loss,cross-entropy;Gpu实现。

  • 预处理:Mean removal;Whitening(ZCA)

  • 增强泛化能力:Data augmentation;Weight正则化;在网络里加入噪声,包括DropOut,DropConnect,Stochastic pooling。

    • DropOut:只在全连接层使用,随机的将全连接层的某些神经元的输出置为0。
    • DropConnect:也只在全连接层使用,Random binary mask on weights.
    • Stochastic Pooling:卷积层使用。Sample location from multinomial。
  • 模型不work,怎么办?结合我自身的经验,learning rate初始值设置得太大,开始设置为0.01,以为很小了,但实际上0.001更合适。

卷积神经网络的一些细节

标签:cnn

原文地址:http://blog.csdn.net/u012162613/article/details/43971215

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!