码迷,mamicode.com
首页 > 其他好文 > 详细

深度卷积网络原理—实例讲解梯度下降法参数更新过程

时间:2018-10-04 10:57:46      阅读:511      评论:0      收藏:0      [点我收藏+]

标签:out   分享图片   深度   参数   输入   回顾   更新   ima   初始化   

 首先,先回顾梯度下降公式:(下面利用均方差MSE损失来进行演示)

          技术分享图片

梯度下降的训练公式:

技术分享图片

技术分享图片

技术分享图片

技术分享图片

技术分享图片

 

 接下来,按照上面的公式进行求最大值的案例讲解

技术分享图片

技术分享图片

  令,学习速率技术分享图片为0.1,初始化参数w1=0,w2=0,b=0

 样本一:x1=0.1,x2=0.8

 输出:

OUT=w1x1 + w2x2 + b =0*0.1 + 0*0.8 + 0 = 0

期望输出=0.8

损失:

LOSS=(OUT-期望输出)2=(0 - 0.8)2=0.64

 

回顾此前的公式:

技术分享图片

 

因此,新的权重:

技术分享图片

 

继续看下一组样本:

输入:x1=0.5x2=0.3

输出:

技术分享图片

 

期望输出=0.5

 损失:

LOSS=(OUT-期望输出)2 = (0.2064-0.5)2 = 0.0862

 

得到新权重:

 技术分享图片

训练几百个样本后,参数w1=0.5w2=0.5b=0.166667

 

深度卷积网络原理—实例讲解梯度下降法参数更新过程

标签:out   分享图片   深度   参数   输入   回顾   更新   ima   初始化   

原文地址:https://www.cnblogs.com/wangyong/p/9740170.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!