平时经常看到牛顿法怎样怎样，一直不得要领，今天下午查了一下维基百科，写写我的认识，很多地方是直观理解，并没有严谨的证明。在我看来，牛顿法至少有两个应用方向，1、求方程的根，2、最优化。牛顿法涉及到方程求导，下面的讨论均是在连续可微的前提下讨论。1、求解方程。并不是所有的方程都有求根公式，或者求根公式...
分类：
其他好文 时间：
2014-12-12 16:17:36
阅读次数：
156
NG的课件1也讲到了牛顿法，它对应的update rule是 H对应Hessian矩阵
http://en.wikipedia.org/wiki/Hessian_matrix http://aria42.com/blog/2014/12/understanding-lbfgs/ 给出了关于牛顿法更详...
分类：
其他好文 时间：
2014-12-09 08:11:38
阅读次数：
203
L-BFGS算法由于其高效的性能而被广泛运用在实际工程中，本文首先介绍L-BFGS算法和其它算法的比较，然后详细介绍该算法的主要思想以及每一步迭代时近似矩阵的更新细节。...
分类：
编程语言 时间：
2014-11-27 10:48:46
阅读次数：
214
L-BFGS算法比较适合在大规模的数值计算中，具备牛顿法收敛速度快的特点，但不需要牛顿法那样存储Hesse矩阵，因此节省了大量的空间以及计算资源。本文主要通过对于无约束最优化问题的一些常用算法总结，一步步的理解L-BFGS算法，本文按照最速下降法 - 牛顿法 - 共轭梯度法 - 拟牛顿法 - DFP...
分类：
其他好文 时间：
2014-10-14 17:37:39
阅读次数：
349
简介牛顿迭代法（简称牛顿法）由英国著名的数学家牛顿爵士最早提出。但是，这一方法在牛顿生前并未公开发表。牛顿法的作用是使用迭代的方法来求解函数方程的根。简单地说，牛顿法就是不断求取切线的过程。对于形如f(x)=0的方程，首先任意估算一个解x0，再把该估计值代入原方程中。由于一般不会正好选择到正确的解，...
分类：
其他好文 时间：
2014-10-12 20:48:48
阅读次数：
313
最速下降法采用负梯度方向进行一维搜索，总体上看搜索速度应该是比较快，但是当迭代进行到靠近精确最优点时，会出现锯齿形搜索路径，这样就会大大降低搜索效率，所以通常在搜索前期采用最速下降法，当接近精确最优解时，改用牛顿法等其他在最优解附近搜索效率更高的方法。但是牛顿法也有缺点：一方面需要计算Hesse矩阵...
分类：
其他好文 时间：
2014-10-09 15:03:43
阅读次数：
181
这题没多大技巧性，只是牛顿迭代法多用于数值计算，这里出现有些意外。维基上有方法说明：http://zh.wikipedia.org/wiki/牛顿法 int sqrt(int x) { if (x == 0) return 0; double x0 = 1.0; while (1){...
分类：
其他好文 时间：
2014-09-30 23:01:40
阅读次数：
196
题目： Newton's method for cube roots is based on the fact that if y is an approximation to the cube root of x, then a better approximation is given by ....
分类：
其他好文 时间：
2014-09-15 17:11:19
阅读次数：
176
SCIP 1.1.7的一个练习。牛顿迭代法（Newton's method）又称为牛顿-拉夫逊方法（Newton-Raphson method），它是牛顿在17世纪提出的一种在实数域和复数域上近似求解方程的方法。多数方程不存在求根公式，因此求精确根非常困难，甚至不可能，从而寻找方程的近似根就显得特别...
分类：
其他好文 时间：
2014-09-13 21:20:05
阅读次数：
306
在Lecture4中有3部分内容： Newton’s method 牛顿方法 Exceponential Family 指数分布族 Generalized Linear Models 广义线性模型（GLMS） 牛顿法上一篇随便中已经讲过了，是平行于梯度下降算法的另一种最优化算法。 然后，视频中证明了...
分类：
其他好文 时间：
2014-09-11 18:59:42
阅读次数：
278
