作者：成清清 徐唱 肖凯 吕迪迪 根据维基百科[1]的定义，梯度下降(Gradient Descendent, GD) 法是一阶迭代式优化算法(First-Order Iterative Optimization Algorithm)。 我们首先举一个机器学习的问题：某地的房价与房地面积和卧室的数量... ...
分类：
其他好文 时间：
2016-10-18 22:31:04
阅读次数：
442
在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。这里就对梯度下降法做一个完整的总结。 1. 梯度 在微积分里面，对多元函数的参数求?偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度。比如函数 ...
分类：
其他好文 时间：
2016-10-18 01:40:45
阅读次数：
349
Gradient Descent(Batch Gradient)也就是梯度下降法是一种常用的的寻找局域最小值的方法。其主要思想就是计算当前位置的梯度，取梯度反方向并结合合适步长使其向最小值移动。通过柯西施瓦兹公式可以证明梯度反方向是下降最快的方向。 经典的梯度下降法利用下式更新参量，其中J(θ)是关 ...
分类：
其他好文 时间：
2016-09-21 22:58:43
阅读次数：
277
判别模型与生成模型 前面也有过介绍，回顾一下，判别模型的意思就是它不关心数据是怎么产生的，不关心数据之间有何概率关系，它只关心数据之间有什么不同，这种不同会造成什么结果。比如说给你一堆水果，让你把它们中相同种类的放在一个篮子里，判别模型的话，我们直接通过分辨两个果子之间的差别，是黄的还是红的，是大的 ...
分类：
其他好文 时间：
2016-09-20 06:46:22
阅读次数：
115
概念储备： （The least square method）和（least square error） 狭义的最小二乘方法，是线性假设下的一种有闭式解的参数求解方法，最终结果为全局最优； 梯度下降法，是假设条件更为广泛（无约束）的，一种通过迭代更新来逐步进行的参数优化方法，最终结果为局部最优； 广 ...
分类：
其他好文 时间：
2016-09-17 19:15:14
阅读次数：
140
恢复内容开始 http://www.zhihu.com/question/19723347 引自知乎 牛顿法是二阶收敛，梯度下降是一阶收敛，所以牛顿法就更快。如果更通俗地说的话，比如你想找一条最短的路径走到一个盆地的最底部，梯度下降法每次只从你当前所处位置选一个坡度最大的方向走一步，牛顿法在选择方向 ...
分类：
其他好文 时间：
2016-09-04 11:29:10
阅读次数：
173
本节讨论给定训练数据集估计条件随机场模型参数的问题，即条件随机场的学习问题。条件随机场模型实际上是定义在时序数据上的对数线形模型，其学习方法包括极大似然估计和正则化的极大似然估计。具体的优化实现算法有改进的迭代尺度法IIS、梯度下降法以及 L-BFGS 算法。（crf++ 采用了 L-BFGS 优化... ...
分类：
其他好文 时间：
2016-08-31 18:25:26
阅读次数：
278
1. 梯度下降法（Gradient Descent） 梯度下降法是最早最简单，也是最为常用的最优化方法。梯度下降法实现简单，当目标函数是凸函数时，梯度下降法的解是全局解。一般情况下，其解不保证是全局最优解，梯度下降法的速度也未必是最快的。梯度下降法的优化思想是用当前位置负梯度方向作为搜索方向，因为该 ...
分类：
编程语言 时间：
2016-08-03 20:03:46
阅读次数：
184
机器学习的优化问题中，梯度下降法和牛顿法是常用的两种凸函数求极值的方法，他们都是为了求得目标函数的近似解。梯度下降的目的是直接求解目标函数极小值，而牛顿法则变相地通过求解目标函数一阶导为零的参数值，进而求得目标函数最小值。在逻辑回归模型的参数求解中，一般用改良的梯度下降法，也可以用牛顿法。...
分类：
其他好文 时间：
2016-07-16 07:02:38
阅读次数：
216
梯度下降法（gradient descent），又名最速下降法（steepest descent）是求解无约束最优化问题最常用的方法，它是一种迭代方法，每一步主要的操作是求解目标函数的梯度向量，将当前位置的负梯度方向作为搜索方向（因为在该方向上目标函数下降最快，这也是最速下降法名称的由来）。
梯度下降法特点：越接近目标值，步长越小，下降速度越慢。
直观上来看如下图所示：
这里每一个圈...
分类：
编程语言 时间：
2016-06-02 13:46:56
阅读次数：
197
