梯度下降法的基本思想是函数沿着其梯度方向增加最快，反之，沿着其梯度反方向减小最快。在前面的线性回归和逻辑回归中，都采用了梯度下降法来求解。梯度下降的迭代公式为：θj=θj?α?J(θ)?θj 在回归算法的实验中，梯度下降的步长α为0.01，当时也指出了该步长是通过多次时间找到的，且换一组数据后，.....
分类：
其他好文 时间：
2015-04-20 22:22:53
阅读次数：
972
梯度下降法存在的问题 梯度下降法的基本思想是函数沿着其梯度方向增加最快，反之，沿着其梯度反方向减小最快。在前面的线性回归和逻辑回归中，都采用了梯度下降法来求解。梯度下降的迭代公式为：\(\begin{aligned} \theta_j=\theta_j-\alpha\frac{\partial\;....
分类：
其他好文 时间：
2015-04-20 16:26:05
阅读次数：
3950
【总目录】http://www.cnblogs.com/tbcaaa8/p/4415055.html1. 梯度下降法梯度下降法是一种用来寻找函数最小值的算法。算法的思想非常简单：每次沿与当前梯度方向相反的方向走一小步，并不断重复这一过程。举例如下：[例]使用梯度下降法，求的最小值。第一步：求解迭代格...
分类：
系统相关 时间：
2015-04-11 01:15:47
阅读次数：
199
作者：jostree转载请注明出处http://www.cnblogs.com/jostree/p/4397990.html在机器学习中，求凸函数的极值是一个常见的问题，常见的方法如梯度下降法，牛顿法等，今天我们介绍一种三分法来求一个凸函数的极值问题。对于如下图的一个凸函数$f(x),x\in [l...
分类：
其他好文 时间：
2015-04-07 13:32:44
阅读次数：
168
感知机是古老的统计学习方法，主要应用于二类线性可分数据，策略是在给定的超平面上对误差点进行纠正，从而保证所有的点都是正确可分的。用到的方法是随机梯度下降法，由于是线性可分的，可保证最终在有限步内收敛。具体可参考李航的《统计学习方法》#include#include#include#includeus...
分类：
编程语言 时间：
2015-03-17 23:16:25
阅读次数：
244
f:\python_workspace\SGD>python gd.py
[ 5.68071667 -21.54721046]
[ 4.54457333 -17.23776836]
[ 3.63565867 -13.79021469]
[ 2.90852693 -11.03217175]
[ 2.32682155 -8.8257374 ]
[ 1.86145724 -7.060...
分类：
其他好文 时间：
2015-03-15 22:59:39
阅读次数：
155
区别于线性回归，不是把每个特征直接乘以系数，而是用一个S型函数（Logistic函数）。如下：
使用这种形式函数的原因（概率、求导）。
代价函数，也不是线性回归中的误差平方和，而是基于对数似然函数，如下：
单个样本的后验概率为：（y = 0， 1） 类似于二项分布的概率密度函数。
整个样本集的后验概率：
对数似然函数对于代价函数，如下：
梯度下降法...
分类：
编程语言 时间：
2015-03-05 10:52:23
阅读次数：
239
Logistic回归用来分类，线性回归用来回归。
线性回归是把让样本的属性前面加系数，相加。代价函数是误差平方和形式。所以，在最小化代价函数的时候，可以直接求导，令导数等于0，如下：
也可以使用梯度下降法，学习的梯度和Logistic回归形式一样。
线性回归的优点：计算简单。
缺点：不好处理非线性数据。...
分类：
编程语言 时间：
2015-03-05 10:48:54
阅读次数：
154
logistic regression ， 梯度下降法
分类：
其他好文 时间：
2015-02-14 18:48:35
阅读次数：
216
一、要理解GBDT当然要从GB(Gradient Boosting)和DT(Decision Tree)两个角度来理解了；
二、GB其实是一种理念，他并不是这一个具体的算法，意思是说沿着梯度方向，构造一系列的弱分类器函数，并以一定权重组合起来，形成最终决策的强分类器；注意，这里的梯度下降法是在函数空间中通过梯度下降法寻找使得LOSS最小的一个函数，区别于传统的梯度下降法选择一个方向；那么问题就来...
分类：
其他好文 时间：
2015-02-10 18:48:53
阅读次数：
410
