码迷,mamicode.com
首页 > 其他好文 > 详细

卷积神经网络-Dropout

时间:2019-02-24 13:43:51      阅读:349      评论:0      收藏:0      [点我收藏+]

标签:imu   预测   设定   使用场景   模型   是什么   思想   数据   and   

dropout 是神经网络用来防止过拟合的一种方法,很简单,但是很实用。

基本思想是以一定概率放弃被激活的神经元,使得模型更健壮,相当于放弃一些特征,这使得模型不过分依赖于某些特征,即使这些特征是真实的,当然也可能是假的。

 

大致步骤如下

1. 在神经元 H1 被激活后,随机生成一组数据 U1 和一个0-1的随机数 p

  H1 = np.maximum(0, np.dot(W1, X) + b1)
  U1 = np.random.rand(*H1.shape) < p 
2. U1中小于p的被置1,大于p的被置0
  H1 *= U1 
  p 越大,被置1的越多,被保留的神经元越多
  
这种方法只能用在训练过程,测试过程不能使用,你非要使用,也可以。
因为训练是为了得到一个稳定的模型,但是测试时是实实在在的个体,是什么,理论上预测就是什么,如果你丢掉部分特征,那就是其他个体了,或者一会是A,一会是B,导致输出不稳定。
 
tf会自动处理dropout的使用场景,即tf已经设定在训练时使用dropout,测试时不使用。

卷积神经网络-Dropout

标签:imu   预测   设定   使用场景   模型   是什么   思想   数据   and   

原文地址:https://www.cnblogs.com/yanshw/p/10425773.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!