标签:分享图片 min src 特征 不用 smp inf 平均数 dag
SGD:现在的SGD一般都指mini-batch gradient descent 最小批量梯度下降
缺点:(正因为有这些缺点才让这么多大神发展出了后续的各种算法)
Adagrad:
对学习率进行了一个约束。
此处,对从1到进行一个递推形成一个约束项regularizer,,用来保证分母非0
特点:
Adadelta:
Adadelta是对Adagrad的扩展,最初方案依然是对学习率进行自适应约束,但是进行了计算上的简化。 Adagrad会累加之前所有的梯度平方,而Adadelta只累加固定大小的项,并且也不直接存储这些项,仅仅是近似计算对应的平均值。即:
在此处Adadelta其实还是依赖于全局学习率的,但是作者做了一定处理,经过近似牛顿迭代法之后:
其中,代表求期望。
此时,可以看出Adadelta已经不用依赖于全局学习率了。
特点:
RSMprop:
RMSprop可以算作Adadelta的一个特例:
当时,就变为了求梯度平方和的平均数。
如果再求根的话,就变成了RMS(均方根):
此时,这个RMS就可以作为学习率的一个约束:
特点:
参考资料:
https://zhuanlan.zhihu.com/p/22252270
标签:分享图片 min src 特征 不用 smp inf 平均数 dag
原文地址:https://www.cnblogs.com/earendil/p/8915657.html