在机器学习课上，Doctor夏弥 在详解了梯度下降法之后，又给出了牛顿法来求极值。当时我们却是一脸懵的，回来温习时发现，这本该就是个高中知识，丢人丢到国外了哦！ 如下图所示的曲线，我们需要求的是f(x)=的解： 而对于一脸懵的原因，我想是因为我们忘记了高中所学的点斜式，直接贴一张高中数学讲义： 因为 ...
分类：
其他好文 时间：
2018-01-25 00:31:18
阅读次数：
403
2018-01-20 13:47:19 牛顿法（英语：Newton's method）又称为牛顿-拉弗森方法（英语：Newton-Raphson method），它是一种在实数域和复数域上近似求解方程的方法。 方法说明： 第一个例子： 第二个例子： 计算机中一个基本的数学问题就是计算开根号，也即sq ...
分类：
其他好文 时间：
2018-01-20 16:18:10
阅读次数：
163
DFP该算法的核心是：通过迭代的方法，对Hk+1(-1)近似。迭代方式：其中D0通常取为单位矩阵，关键是每一步构造矫正矩阵△Dk。考虑△Dk 的待定形式为拟牛顿的条件这里插播一下拟牛顿的条件。前面有讲到，拟牛顿法是想找到一个近似矩阵D来近似海森矩阵H的逆。显然D的选择是必须有条件的。为了表示清楚，下... ...
分类：
其他好文 时间：
2017-12-24 11:20:56
阅读次数：
242
拟牛顿法 拟牛顿法是求解非线性优化问题最有效的方法之一。DFP、BFGS、L-BFGS算法都是重要的拟牛顿法。 求函数的根 对f（x）在Xn附近做一阶泰勒展开 f(x)=f(Xn)+f’(Xn)(x-Xn) 假设Xn+1是该方程的根 那么就得到 Xn+1=Xn-f(Xn)/f’(Xn) 通过不断迭代 ...
分类：
其他好文 时间：
2017-12-23 17:23:48
阅读次数：
239
摘要： 1.最小二乘法 2.梯度下降法 3.最大（对数）似然估计（MLE） 4.最大后验估计（MAP） 5.期望最大化算法（EM） 6.牛顿法 7.拟牛顿迭代（BFGS） 8.限制内存-拟牛顿迭代（L-BFGS） 9.深度学习中的梯度优化算法 ... ...
分类：
其他好文 时间：
2017-11-12 18:43:11
阅读次数：
324
矩阵求导 目录 一、 矩阵求导的基本概念 1. 一阶导定义 2. 二阶导数 二、 梯度下降 1. 方向导数. 1.1 定义 1.2 方向导数的计算公式. 1.3 梯度下降最快的方向 1.4 最速下降方向的判断. 1.5 最速梯度下降的迭代式 2. 牛顿法 2.1 引入一元函数极值判别法 （1）导数分 ...
分类：
其他好文 时间：
2017-10-04 22:01:31
阅读次数：
231
矩阵求导 目录 一、 矩阵求导的基本概念 1. 一阶导定义 2. 二阶导数 二、 梯度下降 1. 方向导数. 1.1 定义 1.2 方向导数的计算公式. 1.3 梯度下降最快的方向 1.4 最速下降方向的判断. 1.5 最速梯度下降的迭代式 2. 牛顿法 2.1 引入一元函数极值判别法 （1）导数分 ...
分类：
其他好文 时间：
2017-10-04 16:41:24
阅读次数：
233
1. 牛顿法与梯度下降法比较 牛顿法是二阶收敛，梯度下降是一阶收敛，所以牛顿法就更快。如果更通俗地说的话，比如你想找一条最短的路径走到一个盆地的最底部，梯度下降法每次只从你当前所处位置选一个坡度最大的方向走一步，牛顿法在选择方向时，不仅会考虑坡度是否够大，还会考虑你走了一步之后，坡度是否会变得更大。 ...
分类：
其他好文 时间：
2017-10-02 13:06:19
阅读次数：
152
牛顿法（Newton’s method）又称为牛顿-拉弗森法（Newton-Raphson method），是一种近似求解实数方程式的方法。（注：Joseph Raphson在1690年出版的《一般方程分析》中提出了后来被称为“牛顿-拉弗森法”的数学方法，牛顿于1671年写成的著作《流数法》中亦包括 ...
分类：
编程语言 时间：
2017-09-29 12:03:30
阅读次数：
625
数学基础与计算机基础 算法基础方面 牛顿法、随机梯度下降法、拟牛顿法、BFGS 传统机器学习 深度学习 CNN-基础学习与应用 十一期间 RNN 算法应用方面 工程方面 kaggle 十一期间把第一个项目流程完整走下来 java hadoop spark mapreduce c++? http:// ...
分类：
其他好文 时间：
2017-09-29 11:00:23
阅读次数：
167
