标签:str 代码 初始 三次 梯度 表达 就是 span 导数
学习率learning_rate: 学习率表示每次参数更新的幅度
1.表达式:Wn+1 = Wn - learning_rate * ▽
Wn+1:更新后的参数
Wn:当前参数
learning_rate:学习率
▽:损失函数的梯度(导数)
也就是参数的更新向着梯度下降的方向
2.定义损失函数 loss = (w + 1)² 梯度 ▽ = (α * loss) / (α * w) = 2w + 2
假设w初始化为5, 学习率为0.2 带入第一步中的学习率表达式后,则更新后的参数为
第一次 参数:5 5 - 0.2 * (2 * 5 + 2) = 2.6
第二次 参数:2.6 2.6 - 0.2 * (2 * 2.6) = 1.16
第三次 参数:1.16 1.16 - 0.2 * (2 * 1.16 + 2) = 0.296
.......
我们知道当w = -1时的loss最小,那么通过代码来实现这一过程
标签:str 代码 初始 三次 梯度 表达 就是 span 导数
原文地址:https://www.cnblogs.com/answerThe/p/11490687.html