码迷,mamicode.com
首页 > 其他好文 > 详细

Tensorflow学习之(学习率)

时间:2019-09-09 11:42:19      阅读:241      评论:0      收藏:0      [点我收藏+]

标签:str   代码   初始   三次   梯度   表达   就是   span   导数   

学习率learning_rate: 学习率表示每次参数更新的幅度

1.表达式:Wn+1 = Wn - learning_rate * ▽ 

Wn+1:更新后的参数

Wn:当前参数

learning_rate:学习率

▽:损失函数的梯度(导数)

也就是参数的更新向着梯度下降的方向

2.定义损失函数 loss = (w + 1)²   梯度 ▽ = (α * loss) /  (α * w) = 2w + 2

假设w初始化为5, 学习率为0.2  带入第一步中的学习率表达式后,则更新后的参数为

第一次  参数:5      5 - 0.2 * (2 * 5 + 2) = 2.6

第二次  参数:2.6      2.6 - 0.2 * (2 * 2.6) = 1.16

第三次  参数:1.16      1.16 - 0.2 * (2 * 1.16 + 2) = 0.296

.......

我们知道当w = -1时的loss最小,那么通过代码来实现这一过程

 

Tensorflow学习之(学习率)

标签:str   代码   初始   三次   梯度   表达   就是   span   导数   

原文地址:https://www.cnblogs.com/answerThe/p/11490687.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!