码迷,mamicode.com
首页 > 其他好文 > 详细

《梯度下降法的步长到底怎么确定?》

时间:2020-07-17 11:23:42      阅读:97      评论:0      收藏:0      [点我收藏+]

标签:ted   init   ossh   div   min   rgb   order   float   air   

 

一张图搞定人生系列:

 

技术图片

 

1, 看趋势(图2)

loss往上走甚至产生小山包(黄线) or 下降的特别急(绿线), 后几个epoch没变化, lr过高, 调低。

 

绿线还可以考虑lr decay

 

loss趋近于线性(蓝线), lr过低, 调高。

 

2, 看震荡(图1)

loss波动的很厉害, 略微略微(强调!!!)调低lr.

 

3, 以图二为主。

 

《梯度下降法的步长到底怎么确定?》

标签:ted   init   ossh   div   min   rgb   order   float   air   

原文地址:https://www.cnblogs.com/cx2016/p/13328493.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!