梯度下降和拟牛顿 作者：樱花猪 <!--more--> 摘要： 本文为七月算法（julyedu.com）12月机器学习第六次次课在线笔记。本节课主要介绍了一种在机器学习需要经常使用到的计算方法——梯度下降法并在最后提出了另一种下降法的思路——拟牛顿法。梯度下降法是一个连接理论和计算机计算的桥梁，这种 ...
分类：
其他好文 时间：
2016-04-08 11:59:29
阅读次数：
534
牛顿法 一: 最速下降法 下降法的迭代格式为xk+1=xk–αkdk 一: 最速下降法 下降法的迭代格式为xk+1=xk–αkdk , 其中dk为下降方向, 设gk=?f(xk)≠0, 则下降方向要满足dTkgk<0. 当步长确定时, dTkgk的值越小, 即?dTkgk的值越大, 函数下降得越快. ...
分类：
其他好文 时间：
2016-03-31 21:44:30
阅读次数：
233
本文转自：http://blog.csdn.net/itplus/article/details/10857843本文详细的介绍了线性回归和逻辑回归是怎么一回事，很好的介绍了线性回归的原理和逻辑回归的原理。针对逻辑回归，最后参数的求解过程中，还可以用到牛顿法和拟牛顿法，具体可以参考：http://w...
分类：
其他好文 时间：
2016-01-14 12:17:20
阅读次数：
125
在机器学习的优化问题中，梯度下降法和牛顿法是常用的两种凸函数求极值的方法，他们都是为了求得目标函数的近似解。在逻辑斯蒂回归模型的参数求解中，一般用改良的梯度下降法，也可以用牛顿法。由于两种方法有些相似，我特地拿来简单地对比一下。下面的内容需要读者之前熟悉两种算法。 梯度下降法 梯度下降法用来求解目标...
分类：
其他好文 时间：
2015-10-26 13:35:30
阅读次数：
309
在机器学习的优化问题中，梯度下降法和牛顿法是常用的两种凸函数求极值的方法，他们都是为了求得目标函数的近似解。在逻辑斯蒂回归模型的参数求解中，一般用改良的梯度下降法，也可以用牛顿法。由于两种方法有些相似，我特地拿来简单地对比一下。下面的内容需要读者之前熟悉两种算法。 梯度下降法 梯度下降法用来求解目标...
分类：
其他好文 时间：
2015-10-26 12:01:08
阅读次数：
232
主要内容： 回归 1.线性回归 2.Logistic回归 最优问题： 1.梯度下降 2.牛顿法 3.拟牛顿法 了解参数学习算法和非参数学习算法的区别 1. 2.线性回归
分类：
其他好文 时间：
2015-09-10 20:49:37
阅读次数：
183
1.最速下降法（也叫梯度下降法） 负梯度方向、一维搜索步长、上一次的搜索方向和下一次的方向是正交的，所以会产生锯齿现像，因此影响了收敛的速度，特别是当x接近于收敛点的时候。 2.牛顿法 采用Hesse矩阵和梯度来迭代x，从而产生一系列x点。要求Hesse矩阵非奇异而且正定，如果不是，则无法...
分类：
其他好文 时间：
2015-09-07 12:50:26
阅读次数：
168
1、SMO算法需要存储核矩阵吗？其他算法了？2、SVM处理海量数据的困难在哪？3、SVM对偶问题得到的凸二次规划问题求解可以使用梯度下降、拟牛顿法等方法吗？ 参考博客的说法：不论是向量维度大或者是样本量很大的时候，求解这个优化问题难度都不小，于是在解得稀疏性(比如只需要得到支持向量)、目标函数的凸....
分类：
其他好文 时间：
2015-09-04 19:46:17
阅读次数：
137
代码 ?? ?新建文件 newton.m function [x k]=newton(f,df,x0,ep,N)
k=0;
while k<N
x=x0-feval(f,x0)/feval(df,x0);
if abs(x-x0)<ep break end
x0=x;
k+=1;
end
endfunction ? ?f ：...
分类：
其他好文 时间：
2015-09-01 18:38:21
阅读次数：
277
转自：http://blog.sina.com.cn/s/blog_7b98db950102vs1h.html
1.学习是为现实服务的，所以学习有实际意义的知识。（从实践中学更好。）
2.先学习简单的知识，然后困难的知识也会变得简单。（先易后难，难也易；先难则导致放弃学习简单的知识，好可惜！）
3.长时间思考一个问题，并笔记。（牛顿，法拉第）...
分类：
其他好文 时间：
2015-08-18 21:28:11
阅读次数：
147
