目录链接 (1) 牛顿法 (2) 拟牛顿条件 (3) DFP 算法 (4) BFGS 算法 (5) L-BFGS 算法 ...
分类：
其他好文 时间：
2016-04-20 09:20:18
阅读次数：
138
梯度下降和拟牛顿 作者：樱花猪 <!--more--> 摘要： 本文为七月算法（julyedu.com）12月机器学习第六次次课在线笔记。本节课主要介绍了一种在机器学习需要经常使用到的计算方法——梯度下降法并在最后提出了另一种下降法的思路——拟牛顿法。梯度下降法是一个连接理论和计算机计算的桥梁，这种 ...
分类：
其他好文 时间：
2016-04-08 11:59:29
阅读次数：
534
牛顿法 一: 最速下降法 下降法的迭代格式为xk+1=xk–αkdk 一: 最速下降法 下降法的迭代格式为xk+1=xk–αkdk , 其中dk为下降方向, 设gk=?f(xk)≠0, 则下降方向要满足dTkgk<0. 当步长确定时, dTkgk的值越小, 即?dTkgk的值越大, 函数下降得越快. ...
分类：
其他好文 时间：
2016-03-31 21:44:30
阅读次数：
233
本文转自：http://blog.csdn.net/itplus/article/details/10857843本文详细的介绍了线性回归和逻辑回归是怎么一回事，很好的介绍了线性回归的原理和逻辑回归的原理。针对逻辑回归，最后参数的求解过程中，还可以用到牛顿法和拟牛顿法，具体可以参考：http://w...
分类：
其他好文 时间：
2016-01-14 12:17:20
阅读次数：
125
主要内容： 回归 1.线性回归 2.Logistic回归 最优问题： 1.梯度下降 2.牛顿法 3.拟牛顿法 了解参数学习算法和非参数学习算法的区别 1. 2.线性回归
分类：
其他好文 时间：
2015-09-10 20:49:37
阅读次数：
183
1、SMO算法需要存储核矩阵吗？其他算法了？2、SVM处理海量数据的困难在哪？3、SVM对偶问题得到的凸二次规划问题求解可以使用梯度下降、拟牛顿法等方法吗？ 参考博客的说法：不论是向量维度大或者是样本量很大的时候，求解这个优化问题难度都不小，于是在解得稀疏性(比如只需要得到支持向量)、目标函数的凸....
分类：
其他好文 时间：
2015-09-04 19:46:17
阅读次数：
137
一、BFGS算法
在“优化算法——拟牛顿法之BFGS算法”中，我们得到了BFGS算法的校正公式：
利用Sherman-Morrison公式可对上式进行变换，得到
令，则得到：
二、BGFS算法存在的问题
在BFGS算法中，每次都要存储近似Hesse矩阵，在高维数据时，存储浪费很多的存储空间，而在实际的...
分类：
编程语言 时间：
2015-06-06 18:14:07
阅读次数：
280
数据、特征和数值优化算法是机器学习的核心，而牛顿法及其改良（拟牛顿法）是机器最常用的一类数字优化算法，今天就从牛顿法开始，介绍几个拟牛顿法算法。本博文只介绍算法的思想，具体的数学推导过程不做介绍。1. 牛顿法牛顿法的核心思想是”利用函数在当前点的一阶导数，以及二阶导数，寻找搜寻方向“（回想一下更简单...
分类：
其他好文 时间：
2015-05-28 17:44:24
阅读次数：
282
一、BFGS算法简介
BFGS算法是使用较多的一种拟牛顿方法，是由Broyden，Fletcher，Goldfarb，Shanno四个人分别提出的，故称为BFGS校正。
同DFP校正的推导公式一样，DFP校正见博文“优化算法——拟牛顿法之DFP算法”。对于拟牛顿方程：
可以化简为：
令，则可得：
在B...
分类：
编程语言 时间：
2015-05-20 13:16:54
阅读次数：
256
