码迷,mamicode.com
首页 > 其他好文 > 详细

深度学习与神经网络

时间:2015-10-18 15:19:19      阅读:366      评论:0      收藏:0      [点我收藏+]

标签:

深度学习的特点:

1)建立、模仿人脑学习的机制

2)含多隐层的多层感知器;组合底层特征形成更加抽象的高层特征

3)发现数据的分布性特征

4)源于人工神经网络

 

人工神经网络的低潮:

1)容易过拟合、参数难tune,需要不少trick

2)训练速度比较慢,在层次比较少(小于等于3)的情况下效果并不比其它方法更优

 

人工神经网络和DL的训练机制的区别:

人工神经网络:back propagation;采用迭代的算法来训练整个网络,随机设定初值,计算当前网络的输出,然后根据当前输出和label之间的差去改变前面各层的参数,直到收敛(整体是一个梯度下降法)

DL:deep network(7层以上),如果采用BP算法,残差传播到最前面的层已经变得太小,出现所谓的gradient diffusion(梯度扩散)

 

 

技术分享

 

深度学习与神经网络

标签:

原文地址:http://www.cnblogs.com/Wanggcong/p/4889534.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!