回归与梯度下降： 回归在数学上来说是给定一个点集，能够用一条曲线去拟合之，如果这个曲线是一条直线，那就被称为线性回归，如果曲线是一条二次曲线，就被称为二次回归，回归还有很多的变种，如locally weighted回归，logistic回归，等等，这个将在后面去讲。 用一个很简单的例子来说明回归，这...
分类：
其他好文 时间：
2015-09-07 12:37:30
阅读次数：
261
一步了解常见的梯度下降法主要有两种：（1）批量梯度下降法 （2）随机梯度下降法为预测值，要拟合的函数设为，那么误差准则函数为 这是典型的线性回归问题，现在的目的是使得这个误差准则函数的值最小化，可以用如下两种梯度下降法。（1）批量梯度下降法批量梯度下降法需要把个样本全部带入计算，迭代一次计算量为，先...
分类：
编程语言 时间：
2015-08-19 13:01:00
阅读次数：
419
在机器学习的优化问题中，梯度下降法和牛顿法是常用的两种凸函数求极值的方法，他们都是为了求得目标函数的近似解。在逻辑斯蒂回归模型的参数求解中，一般用改良的梯度下降法，也可以用牛顿法。由于两种方法有些相似，我特地拿来简单地对比一下。下面的内容需要读者之前熟悉两种算法。梯度下降法梯度下降法用来求解目标函数的极值。这个极值是给定模型给定数据之后在参数空间中搜索找到的。迭代过程为：可以看出，梯度下降法更新参数...
分类：
其他好文 时间：
2015-08-10 20:04:38
阅读次数：
238
一、引言
在机器学习以及优化组合问题中，最常用的方法就是梯度下降法。比如BP神经网络，多层感知器的神经元(units)越多，对应的权矩阵也就越大，每个权可视为一个自由度或者变量。我们知道自由度越高，变量越多，模型越复杂，模型的能力越强。但是模型能力越强，模型就越容易过拟合，对噪声太敏感。另一方面，使用梯度下降进行最优解搜寻时，多变量的误差曲面很像是连绵起伏的山峰一样，变量越多，山峰和山谷也越多，...
分类：
其他好文 时间：
2015-08-10 12:02:38
阅读次数：
261
梯度下降法是机器学习和神经网络学科中我们最早接触的算法之一。但是对于初学者，我们对于这个算法是如何迭代运行的从而达到目的有些迷惑。在这里给出我对这个算法的几何理解，有不对的地方请批评指正！梯度下降法定义 （维基百科）梯度下降法，基于这样的观察：如果实值函数在点处可微且有定义，那么函数在点沿着梯度相反...
分类：
其他好文 时间：
2015-08-09 13:57:58
阅读次数：
173
一、引言
在机器学习以及优化组合问题中，最常用的方法就是梯度下降法。比如BP神经网络，多层感知器的神经元(units)越多，对应的权矩阵也就越大，每个权可视为一个自由度或者变量。我们知道自由度越高，变量越多，模型越复杂，模型的能力越强。但是模型能力越强，模型就越容易过拟合，对噪声太敏感。另一方面，使用梯度下降进行最优解搜寻时，多变量的误差曲面很像是连绵起伏的山峰一样，变量越多，山峰和山谷...
分类：
其他好文 时间：
2015-08-08 10:31:01
阅读次数：
270
最速下降法的影子在机器学习中正是无处不在，它简单实用。一、表示 在最速下降法中，对权值向量w的连续调整是在最速下降的方向上，即它是与梯度向量方向相反的，梯度向量记为（1），简记（2）： 其中，η是一个正常数，称为步长或学习率参数。g(n)是在w(n)处的梯度向量值。在从迭代n到n+1的过程中...
分类：
其他好文 时间：
2015-08-04 15:01:22
阅读次数：
107
以下内容转载自http://www.duzelong.com/wordpress/具体：概述：http://www.duzelong.com/wordpress/201507/archives1108/ 步长：http://www.duzelong.com/wordpress/201507/ar.....
分类：
其他好文 时间：
2015-07-29 15:52:21
阅读次数：
100
摘自知乎：其实, 在计算量方面, 两者有很大的不同, 因而在面对给定的问题时, 可以有选择性的根据问题的性质选择两种方法中的一个.具体来说, 最小二乘法的矩阵公式是, 这里的 A 是一个矩阵, b 是一个向量. 如果有离散数据点,, 而想要拟合的方程又大致形如, 那么, A 就是一个的矩阵, 第 i...
分类：
其他好文 时间：
2015-07-22 22:36:17
阅读次数：
128
前言最近在看斯坦福的《机器学习》的公开课，这个课程是2009年的，有点老了，不过讲的还是很好的，廓清了一些我以前关于机器学习懵懂的地方。我的一位老师曾经说过:什么叫理解？理解就是你能把同一个事情用自己的语言表达出来，并且能让别人听得懂。本着这样的原则，同时也为了证明自己是”理解”的，于是决定打算在学...
分类：
其他好文 时间：
2015-07-22 06:53:16
阅读次数：
199
