梯度下降实用技巧II之学习率 Gradient descent in practice II -- learning rate

时间：2016-04-01 18:44:54 阅读：235 评论：0 收藏：0 [点我收藏+]

标签：

梯度下降实用技巧II之学习率 Gradient descent in practice II -- learning rate

梯度下降算法中的学习率 $技术分享$ （learning rate）很难确定，下面介绍一些寻找 $技术分享$ 的实用技巧。首先看下如何确定你的梯度下降算法正在正常工作：一般是要画出代价函数 $技术分享$ 和迭代次数之间的图像，如下图所示。如果 $技术分享$ 随着迭代次数的增加不断下降，那么说明梯度下降算法工作的很好，当到达一定迭代次数后 $技术分享$ 基本持平时，说明 $技术分享$ 已经收敛了，可以选取此时的 $技术分享$ 作为参数。一般选取一个数 $技术分享$ 小于 $技术分享$ ，如果 $技术分享$ 下降的幅度小于 $技术分享$ ，则认为收敛了。

下面给出判断梯度下降不正常工作的判断方法及解决方法：如下图所示，当 $技术分享$ 随着迭代次数增加反而增加时，说明梯度下降算法工作的不正常。一般的解决办法是缩小学习率 $技术分享$ 的值。如果学习率 $技术分享$ 过大，会出现如下图右所示的情况，下降的幅度过大，跳过了全局最小值。下图下方所示的图形问题，解决办法也是缩小学习率 $技术分享$ 的值。

关于学习率 $技术分享$ 的取值：由上面我们可以知道，当 $技术分享$ 过大时， $技术分享$ 可能不降反升。需要缩小 $技术分享$ 的取值，但是如果 $技术分享$ 取值过小，会导致 $技术分享$ 收敛的非常慢。因为如何选取一个合适的 $技术分享$ 很重要。下图给出选取 $技术分享$ 的方法。

梯度下降实用技巧II之学习率 Gradient descent in practice II -- learning rate

标签：

原文地址：http://blog.csdn.net/u012328159/article/details/51030961

踩

(0)

评论一句话评论（0）

分享档案

更多>

2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)

周排行