码迷,mamicode.com
首页 > 其他好文 > 详细

牛顿法求极值

时间:2018-01-25 00:31:18      阅读:403      评论:0      收藏:0      [点我收藏+]

标签:cto   分享图片   学习   梯度   问题   blog   block   为我   牛顿法   

在机器学习课上,Doctor夏弥 在详解了梯度下降法之后,又给出了牛顿法来求极值。当时我们却是一脸懵的,回来温习时发现,这本该就是个高中知识,丢人丢到国外了哦!

技术分享图片

 

如下图所示的曲线,我们需要求的是f(x)=的解:

技术分享图片

而对于一脸懵的原因,我想是因为我们忘记了高中所学的点斜式,直接贴一张高中数学讲义:

技术分享图片

因为我们一路沿着x轴去寻找解,所以迭代求f(x)=0的解得通用式为:

技术分享图片

与梯度下降相比,牛顿法也同样是沿着曲线的斜率去寻找极值,但是不存在需要自定义learning rate的问题,因为alpha是由斜率来决定的。

牛顿法求极值

标签:cto   分享图片   学习   梯度   问题   blog   block   为我   牛顿法   

原文地址:https://www.cnblogs.com/rhyswang/p/8343747.html

(1)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!