5.2.4 训练算法：随机梯度上升 梯度上升算法：在每次更新回归系数时都需要遍历整个数据集，在数十亿样本上该算法复杂度太高。 改进方法：随机梯度上升算法：一次仅用一个样本点更新回归系数。 由于可以在新样本到来时对分类器进行增量式更新，因此随机梯度上升算法是一个在线学习算法。与“在线学习”相对应，一次
分类：
其他好文 时间：
2016-02-17 23:51:30
阅读次数：
406
这个系列是为了应对找工作面试时面试官问的算法问题，所以只是也谢算法的简要介绍，后期会陆续补充关于此
算法的常见面问题。
一、Logistic回归
先说下logistic回归，它是根据现有数据对分类边界建立回归公式，以此进行分类。其计算代价不高，易于实现与理解，但是容易欠拟合、分类精度不太高；
logistic回归可以看成是一种概率估计，使用的的是sigmioid函数，...
分类：
编程语言 时间：
2015-08-26 12:04:29
阅读次数：
286
牛顿方法（Newton's method）
逻辑回归中利用Sigmoid函数g(z)和梯度上升来最大化?(θ)。现在我们讨论另一个最大化?(θ)的算法----牛顿方法。
牛顿方法是使用迭代的方法寻找使f(θ)=0的θ值，在这里θ是一个真实的值，不是一个参数，只不过θ的真正取值不确定。牛顿方法数学表达式为：
牛顿方法简单的理解方式...
分类：
其他好文 时间：
2015-08-17 08:50:05
阅读次数：
665
牛顿方法 转载请注明出处：http://www.cnblogs.com/BYRans/ 在讲义《线性回归、梯度下降》和《逻辑回归》中我们提到可以用梯度下降或梯度上升的方式求解θ。在本文中将讲解另一种求解θ的方法：牛顿方法（Newton's method）。牛顿方法（Newton's method） ...
分类：
其他好文 时间：
2015-08-11 12:04:33
阅读次数：
233
梯度下降法是机器学习和神经网络学科中我们最早接触的算法之一。但是对于初学者，我们对于这个算法是如何迭代运行的从而达到目的有些迷惑。在这里给出我对这个算法的几何理解，有不对的地方请批评指正！梯度下降法定义 （维基百科）梯度下降法，基于这样的观察：如果实值函数在点处可微且有定义，那么函数在点沿着梯度相反...
分类：
其他好文 时间：
2015-08-09 13:57:58
阅读次数：
173
《机器学习实战》第五章《Logistic回归》中讲到了梯度上升法，随机梯度上升法和改进的随机梯度上升法，下面把这几个算法思想总结一下。首先，梯度上升法比较简单，根据梯度上升的迭代公式计算出了回归系数。书中并没有采取最小二乘法之类的规则来作为迭代终止的条件，而是直接..
分类：
编程语言 时间：
2015-07-21 18:55:19
阅读次数：
241
1. visualizing higher-layer features of a deep network
本文提出了两种可视化方法。
1. 最大化activation
当训练完一个深层神经网络之后， 固定所有参数。 然后对于某一个神经元的activation进行梯度上升优化来寻找能使它的值最大化的input。 不断的用gradient ascent来更新一个初始化为random...
分类：
其他好文 时间：
2015-07-09 22:43:05
阅读次数：
219
在上一篇中提到的Logistic回归是利用最大似然概率的思想和梯度上升算法确定θ，从而确定f(θ)。本篇将介绍另一种求解最大似然概率?(θ)的方法，即牛顿迭代法。
在牛顿迭代法中，假设一个函数是，求解θ值使得f(θ)=0。在图1中可知，
图1
选择一个点，对应函数值为,并将对应的切线与x轴相交的点记为，所以 ,依此类推可知牛顿迭代规律。
为了求得最大似然概率?(θ)，让,...
分类：
其他好文 时间：
2015-07-07 16:52:26
阅读次数：
249
根据李航博士总结的统计学习三要素方法=模型+策略+算法，对应于逻辑回归
模型=基于单极型函数(逻辑函数)的条件概率模型
策略=经验损失对应的训练样本先验概率最大化
算法=随机梯度上升法
逻辑回归MATLAB代码比较简单，如下所示，循环对所有的样本，进行梯度上升算法
function [w]=LogisticRegression(x,y,learningRate,m...
分类：
编程语言 时间：
2015-06-21 09:28:53
阅读次数：
624
本练习以为基础, 重现书中代码, 以达到熟悉算法应用为目的1.梯度上升算法新建一个logRegres.py文件, 在文件中添加如下代码:from numpy import *#加载模块 numpydef loadDataSet(): dataMat = []; labelMat = [] ...
分类：
其他好文 时间：
2015-05-25 23:43:45
阅读次数：
289
