在效率上，共轭方向法位于最速下降法和牛顿法之间。它具有特性：对于n维二次型问题，能够在n步之内得到结果；共轭梯度法不需要计算海森矩阵；不需要求逆； 共轭方向： Q为n阶实对称矩阵，对于方向 d(0), d(1),... , d(m), 如果对于所有的 i 不等于 j ，有 d(i)TQd(j)=0， ...
分类：
编程语言 时间：
2016-12-04 23:08:40
阅读次数：
206
前面介绍的黄金分割法、斐波那契数列法、二分法、牛顿法、割线法寻找极小点方法的前提是： 给定初始区间，它包含一个单峰的f(x)。 如何寻找这个初始区间？ 划界法：（挑选一个含有极小点的区间） 随机挑选3个点x1、x2、x3, 如果 f(x2)<f(x1) 且 f(x2)<f(x3) ，那么 [x1, ...
分类：
编程语言 时间：
2016-12-03 21:10:09
阅读次数：
245
1、二分法（一阶导） 二分法是利用目标函数的一阶导数来连续压缩区间的方法，因此这里除了要求 f 在 [a0,b0] 为单峰函数外，还要去 f(x) 连续可微。 （1）确定初始区间的中点 x(0)=(a0+b0)/2 。然后计算 f(x) 在 x(0) 处的一阶导数 f'(x(0))， 如果 f'(x ...
分类：
编程语言 时间：
2016-12-03 20:34:22
阅读次数：
406
Atitit 迭代法 “二分法”和“牛顿迭代法 attilax总结 1.1. 。“二分法”和“牛顿迭代法”属于近似迭代法1 1.2. 直接法（或者称为一次解法），即一次性的快速解决问题，1 1.3. 最常见的迭代法是“二分法 牛顿法。还包括以下算法1 1.4. 二分法（dichotomie）1 1. ...
分类：
其他好文 时间：
2016-11-22 02:22:22
阅读次数：
278
Gauss-Newton算法是解决非线性最优问题的常见算法之一，最近研读DPPTAM开源项目代码，又碰到了，索性深入看下。本次讲解内容如下：基本数学名词识记牛顿法推导、算法步骤、计算实例高斯牛顿法推导...
分类：
编程语言 时间：
2016-11-18 14:21:31
阅读次数：
386
最速下降法/steepest descent，牛顿法/newton，共轭方向法/conjugate direction，共轭梯度法/conjugate gradient 及其他 拟牛顿法/Quasi-Newton，DFP算法/Davidon-Fletcher-Powell，及BFGS算法/Broyd ...
分类：
编程语言 时间：
2016-11-08 17:20:09
阅读次数：
162
整理一下之前所学过的关于回归问题的思路： 问题引入：房屋估价，给定新的房屋信息，预测出相应的房屋价格； 学习过程：构建模型h(θ)； 线性回归：最小二乘法、梯度下降法、线性模型的概率解释； 局部加权回归：带权重的线性回归、权值的钟形函数； 逻辑回归：分类方法、梯度上升法、牛顿法、引出感知机学习算法； ...
分类：
其他好文 时间：
2016-11-03 01:53:41
阅读次数：
463
The damped least squares method is also called the Levenberg-Marquardt method. Levenberg-Marquardt算法是最优化算法中的一种。它是使用最广泛的非线性最小二乘算法，具有梯度法和牛顿法的优点。当λ很小时，步长 ...
分类：
其他好文 时间：
2016-10-12 22:25:56
阅读次数：
296
http://www.51taoshi.com/ucenter/pub/diaryShow.action?did=140525134206646418 ...
恢复内容开始 http://www.zhihu.com/question/19723347 引自知乎 牛顿法是二阶收敛，梯度下降是一阶收敛，所以牛顿法就更快。如果更通俗地说的话，比如你想找一条最短的路径走到一个盆地的最底部，梯度下降法每次只从你当前所处位置选一个坡度最大的方向走一步，牛顿法在选择方向 ...
分类：
其他好文 时间：
2016-09-04 11:29:10
阅读次数：
173
