昨天开始看Ng教授的机器学习课，发现果然是不错的课程，一口气看到第二课。 第一课 没有什么新知识，就是机器学习的概况吧。 第二课 出现了一些听不太懂的概念。其实这堂课主要就讲了一个算法，梯度下降算法。到了教授推导公式的时候感觉有点蒙，不过后来仔细想想，也大概理解了，这个算法并没有...
分类：
编程语言 时间：
2014-10-15 21:56:21
阅读次数：
179
笔者采用MindManager思维导图软件对基于四元数的互补滤波法和梯度下降法进行详细的解释，非常形象。...
分类：
其他好文 时间：
2014-09-12 23:33:24
阅读次数：
654
在Lecture4中有3部分内容： Newton’s method 牛顿方法 Exceponential Family 指数分布族 Generalized Linear Models 广义线性模型（GLMS） 牛顿法上一篇随便中已经讲过了，是平行于梯度下降算法的另一种最优化算法。 然后，视频中证明了...
分类：
其他好文 时间：
2014-09-11 18:59:42
阅读次数：
278
机器学习(2)之线性回归上一章介绍了梯度下降算法的线性回归，本章将介绍另外一种线性回归，它是利用矩阵求导的方式来实现梯度下降算法一样的效果。1. 矩阵的求导首先定义表示m×n的矩阵，那么对该矩阵进行求导可以用下式表示，可以看出求导后的矩阵仍然为m×n这里要用到矩阵迹的特性，trace. 对于一个n阶...
分类：
其他好文 时间：
2014-09-09 11:49:28
阅读次数：
182
线性回归与梯度下降算法作者：上品物语知识点：线性回归概念梯度下降算法 l 批量梯度下降算法 l 随机梯度下降算法 l 算法收敛判断方法1.1 线性回归在统计学中，线性回归(Linear Regression)是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行...
分类：
其他好文 时间：
2014-09-02 19:26:35
阅读次数：
655
关于什么是梯度下降，请看我之前发的一个博文：http://blog.csdn.net/lilyth_lilyth/article/details/8973972
梯度下降能帮助我们找到局部最优值，取得很小的损失，但是在数据量达到数十万时，迭代次数高，运算速度慢，十分不适合。这时候可以考虑使用随机梯度下降算法。
所谓随机梯度下降是 每次用 每个样本的损失函数（即样本数为1时的损失函数）对th...
分类：
其他好文 时间：
2014-07-23 13:39:56
阅读次数：
256
回顾一些参数估计的方法，包括梯度下降算法和牛顿法及其扩展梯度下降算法(Gradient
Descent, GD)目的是优化参数，使得估计值与真实值的误差最小。试用于优化目标形式为:其中表示特征权重，表示样本的以维特征描述，为样本。1,
批梯度下降算法(batch gradient decent, B...
分类：
其他好文 时间：
2014-06-12 15:20:17
阅读次数：
526
Logistic回归主要用于医学中对流行病分析，或者对某种疾病的危险因素分析。通常用于二分类，也就是说因变量
只有两个，当然也可以用于多分类。
Logistic回归的理论内容上篇文章已经讲述过，在求解参数时可以用牛顿迭代，可以发现这种方法貌似
太复杂，今天我们介绍另一种方法，叫梯度下降。当然求最小值就是梯度下降，而求最大值相对就是梯度上升。
在Logistic回归中，由于，如果...
分类：
其他好文 时间：
2014-06-03 00:06:19
阅读次数：
353
最近在搞论文，需要用梯度下降算法求解，所以重新整理分享在这里。主要包括梯度介绍、公式求导、学习速率选择、代码实现。
梯度下降的性质：
1.求得的解和选取的初始点有关
2.可以保证找到局部最优解，因为梯度最终会减小为0，即步长会自动越来越小。
梯度简介
一个多元函数的在某点的梯度方向是函数值在该点增长最快的方向，即方向导数取最大值的方向。
问题描述公式求导学习率选择
假...
分类：
其他好文 时间：
2014-05-07 07:05:49
阅读次数：
287
