码迷,mamicode.com
首页 > 其他好文 > 详细

反向梯度方向是函数值局部下降最快的方向

时间:2018-10-31 12:39:01      阅读:237      评论:0      收藏:0      [点我收藏+]

标签:csdn   自己   www   最大的   图片   cal   slam   lam   .com   

在SLAM中,机器学习中等关于梯度下降的应用还是蛮多的,但是关于“反向梯度方向是函数值局部下降最快的方向”等概念的解释,不是特别清晰,下面附上自己的一些理解。

名词解析:

梯度:

梯度是一个向量,表示某一函数在该点处的方向导数沿着该方向取得最大值,即函数在该点处沿着梯度的方向变化最快。

技术分享图片在平面区域D上具有一阶连续偏导数,技术分享图片为一个单位向量,如果下列的极限值存在

技术分享图片此方向导数记为技术分享图片

则称这个极限值是技术分享图片沿着技术分享图片方向的方向导数,那么随着技术分享图片的不同,我们可以求出任意方向的方向导数.

简化计算如下:

技术分享图片

 

技术分享图片,技术分享图片

那么我们可以得到:

技术分享图片(技术分享图片为向量技术分享图片与向量技术分享图片之间的夹角)

那么此时如果技术分享图片要取得最大值,也就是当技术分享图片为0度的时候,也就是向量技术分享图片(这个方向是一直在变,在寻找一个函数变化最快的方向)与向量技术分享图片(这个方向当点固定下来的时候,它就是固定的)平行的时候,方向导数最大.方向导数最大,也就是单位步伐,函数值朝这个反向变化最快.

函数值下降最快的方向就是和技术分享图片向量相同的方向.那么此时我把A向量命名为梯度(当一个点确定后,梯度方向是确定的),也就是说明了为什么梯度方向是函数变化率最大的方向了!!!

那么沿着反向梯度方向前进就可以找到最快的下降方式了。

 

反向梯度方向是函数值局部下降最快的方向

标签:csdn   自己   www   最大的   图片   cal   slam   lam   .com   

原文地址:https://www.cnblogs.com/wongyi/p/9882131.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!