标签:
深度学习的特点:
1)建立、模仿人脑学习的机制
2)含多隐层的多层感知器;组合底层特征形成更加抽象的高层特征
3)发现数据的分布性特征
4)源于人工神经网络
人工神经网络的低潮:
1)容易过拟合、参数难tune,需要不少trick
2)训练速度比较慢,在层次比较少(小于等于3)的情况下效果并不比其它方法更优
人工神经网络和DL的训练机制的区别:
人工神经网络:back propagation;采用迭代的算法来训练整个网络,随机设定初值,计算当前网络的输出,然后根据当前输出和label之间的差去改变前面各层的参数,直到收敛(整体是一个梯度下降法)
DL:deep network(7层以上),如果采用BP算法,残差传播到最前面的层已经变得太小,出现所谓的gradient diffusion(梯度扩散)
标签:
原文地址:http://www.cnblogs.com/Wanggcong/p/4889534.html