梯度下降法

时间：2017-10-02 13:06:19 阅读：152 评论：0 收藏：0 [点我收藏+]

标签：nbsp 牛顿法二次 question tps 位置 div 样本 www.

1. 牛顿法与梯度下降法比较

　　牛顿法是二阶收敛，梯度下降是一阶收敛，所以牛顿法就更快。如果更通俗地说的话，比如你想找一条最短的路径走到一个盆地的最底部，梯度下降法每次只从你当前所处位置选一个坡度最大的方向走一步，牛顿法在选择方向时，不仅会考虑坡度是否够大，还会考虑你走了一步之后，坡度是否会变得更大。所以，可以说牛顿法比梯度下降法看得更远一点，能更快地走到最底部。

　　牛顿法就是用一个二次曲面去拟合你当前所处位置的局部曲面，而梯度下降法是用一个平面去拟合当前的局部曲面，通常情况下，二次曲面的拟合会比平面更好，所以牛顿法选择的下降路径会更符合真实的最优下降路径。

2. BGD、SGD、mini-batch GD

　　BGD对于所有样本计算梯度

　　SGD对一个随机样本计算梯度

　　mini-batch GD对一个批量样本计算梯度

　　mini-batch SGD对一个批量样本中的每个样本计算梯度，再算梯度均值

参考：

1. https://www.zhihu.com/question/19723347/answer/14636244
2. http://blog.csdn.net/llx1990rl/article/details/44001921

梯度下降法

标签：nbsp 牛顿法二次 question tps 位置 div 样本 www.

原文地址：http://www.cnblogs.com/chenshan-crystal/p/7619948.html

踩

(0)

评论一句话评论（0）

分享档案

更多>

2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)

周排行