之前我们在求Logistic回归时，用的是梯度上升算法，也就是要使得似然函数最大化，利用梯度上升算法，不断的迭代。这节课引出牛顿方法，它的作用和梯度上升算法的一样的，不同的是牛顿方法所需的迭代次数更少，收敛速度更快。红色曲线是利用牛顿法迭代求解，绿色曲线是利用梯度下降法求解。牛顿法：wiki牛顿法（...
分类：
其他好文 时间：
2014-09-10 15:30:40
阅读次数：
317
本文就拟牛顿法L-BFGS的由来做一个简要的回顾，然后就其在spark mllib中的实现进行源码走读。
分类：
其他好文 时间：
2014-08-25 20:55:34
阅读次数：
2698
2014年创新工场校招笔试题：1、求一个正整数N的开方，要求不能用sqrt函数。精度精确到0.001。1.牛顿法求开方：对于待开n次方的数a，开n次方后的结果为x，则有 x = x - f'(x)/f(x)， 其中f(x) = x^n - a;经过化简之后可得：x = [(n-1)x + a/(x^...
分类：
其他好文 时间：
2014-08-22 10:41:05
阅读次数：
166
牛顿迭代
详细介绍见维基百科 http://zh.wikipedia.org/wiki/牛顿法
举一个栗子
找平方根
给一个数a,求其平方根。
设其平方根为x 则有 x^2 - a = 0，设函数f(x) = x^2 - a，
取x0的初值尽量靠近a的平方根（因为初值的选择影响迭代的次数）
根据 f(x0) = (x0 - x).f’(x0)
...
分类：
其他好文 时间：
2014-08-21 13:21:34
阅读次数：
298
【历史背景】秦九韶算法是中国南宋时期的数学家秦九韶表述求解一元高次多项式的值的算法——正负开方术。它也能够配合牛顿法用来求解一元高次多项式的根。在西方被称作霍纳算法（Horner algorithm或Horner scheme），是以英国数学家威廉·乔治·霍纳命名的。【原理解释】设有n+1项的n次函...
分类：
编程语言 时间：
2014-08-21 13:19:34
阅读次数：
226
一、概念：（Iteratice Method）,迭代是数值分析中通过一个初始估计出发寻找一系列近似解解决问题（一般是解方程或者方程组）的过程，为实现这一过程所使用的方法统称为迭代法。 常见的迭代法是牛顿法。其它还包括最速下降法、共轭迭代法、变尺度迭代法、最小二乘法、线性规划、非线性规划、单纯型法、....
分类：
其他好文 时间：
2014-08-12 12:43:44
阅读次数：
191
这个小程序是研一上学期的“工程优化”课程的大作业。其实这题本可以用 MATLAB 实现，但是我为了锻炼自己薄弱的编码能力，改为用 C 语言实现。这样，就得自己实现矩阵的运算（加减乘除、求逆、拷贝）；难点是求偏导，通过查资料，发现可以通过导数定义，即取极限的方法，来逐步逼近求得梯度；另外，没法做到输入...
分类：
其他好文 时间：
2014-07-21 08:19:43
阅读次数：
376
作用：1、求方程的根，2、最优化。首先，选择一个接近函数零点的，计算相应的和切线斜率（这里表示函数的导数）。然后我们计算穿过点并且斜率为的直线和轴的交点的坐标，也就是求如下方程的解： x就是新求得的点， x=x0-f(x0)/f’(x0) 我们不妨将新求得的点x记为x1,则 ...
分类：
其他好文 时间：
2014-07-16 23:00:23
阅读次数：
184
回顾一些参数估计的方法，包括梯度下降算法和牛顿法及其扩展梯度下降算法(Gradient
Descent, GD)目的是优化参数，使得估计值与真实值的误差最小。试用于优化目标形式为:其中表示特征权重，表示样本的以维特征描述，为样本。1,
批梯度下降算法(batch gradient decent, B...
分类：
其他好文 时间：
2014-06-12 15:20:17
阅读次数：
526
