码迷,mamicode.com
首页 > 其他好文 > 详细

多层感知机面临的问题

时间:2018-05-13 13:34:41      阅读:163      评论:0      收藏:0      [点我收藏+]

标签:神经网络   sig   情况下   dad   问题:   情况   方法   传递   过多   

多层感知机

随着层数越多,所需的节点数目下降,但是随着层数的增多又会出现其他的问题:

  1. 过拟合
    解决办法: DropOut
  2. 参数难以调试
    尤其是梯度下降的参数使用Adagrad、Adam、Adadelta等自适应的方法可以降低调试参数的负担。
  3. 梯度弥散
    使用Sigmoid在反向传播中梯度值会逐渐减少,经过多层的传递后会呈指数级的剧烈减少,因此梯度值在传递到前面几层时就变得非常小了这种情况下,根据训练数据的反馈来更新神经网络的参数将会非常缓慢
    使用ReLU激活函数
    特点:
  4. 单侧抑制性
  5. 相对宽阔的兴奋边界
  6. 稀疏激活性
    输出层一般都还是Sigmoid函数,他符合概率输出分布

多层感知机面临的问题

标签:神经网络   sig   情况下   dad   问题:   情况   方法   传递   过多   

原文地址:https://www.cnblogs.com/Chen-rd/p/9031505.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!