梯度下降优化算法综述 该文翻译自An overview of gradient descent optimization algorithms。 总所周知。梯度下降算法是机器学习中使用非常广泛的优化算法，也是众多机器学习算法中最经常使用的优化方法。差点儿当前每一个先进的(state-of-the-a ...
分类：
编程语言 时间：
2017-08-19 18:50:36
阅读次数：
311
高级优化在octave中有封装函数，需要代价函数和每个theta对应代价函数的偏导实现，算是一个比较高级的梯度下降算法，免除人·工设定学习率 ...
分类：
其他好文 时间：
2017-08-17 18:38:41
阅读次数：
290
转自：http://www.dataguru.cn/article-10174-1.html 梯度下降算法是机器学习中使用非常广泛的优化算法，也是众多机器学习算法中最常用的优化方法。几乎当前每一个先进的(state-of-the-art)机器学习库或者深度学习库都会包括梯度下降算法的不同变种实现。但 ...
分类：
编程语言 时间：
2017-07-27 20:31:41
阅读次数：
307
单一变量的线性回归 让我们依然以房屋为例，如果输入的样本特征是房子的尺寸，我们需要研究房屋尺寸和房屋价格之间的关系，假设我们的回归模型训练集如下 其中我们用 m表示训练集实例中的实例数量， x代表特征（输入）变量， y代表目标变量 （x,y）代表实例 根据线性回归模型hΘ(x） = Θ0+Θ1*x1 ...
分类：
编程语言 时间：
2017-07-24 16:22:03
阅读次数：
164
我们探讨的情况下，我们使用一个参数θ1和绘制其成本函数来实现梯度下降。我们对一个参数的公式是重复直至收敛： 不管斜坡的标志是什么，θ1最终收敛到最小值。下面的图表显示，当斜率为负，价值θ1增加当它是正的，对θ1值减 另一方面，我们应该调整参数α，以确保梯度下降算法在合理的时间内收敛。未能收敛或太多的 ...
分类：
其他好文 时间：
2017-07-23 11:32:49
阅读次数：
156
声明： 1，本篇为个人对《2012.李航.统计学习方法.pdf》的学习总结。不得用作商用，欢迎转载，但请注明出处（即：本帖地址）。 2，因为本人在学习初始时有非常多数学知识都已忘记。因此为了弄懂当中的内容查阅了非常多资料。所以里面应该会有引用其它帖子的小部分内容，假设原作者看到能够私信我。我会将您的 ...
分类：
编程语言 时间：
2017-07-19 17:40:42
阅读次数：
220
代价函数(cost function)：弄清楚如何用最接近的直线和数据相拟合 线性拟合实际上是一个最小化的问题，使代价函数 （平方误差函数）最小（最小二乘法），采用梯度下降算法可将代价函数J最小化 梯度下降模拟图 在假设函数的参数范围内随机选择一组特定参数，我们以最快下降的方向降低成本函数。每个步骤 ...
分类：
其他好文 时间：
2017-07-18 21:04:00
阅读次数：
155
对于某些线性回归问题，正规方程方法可能更加简单高效。 正规方程推导过程如下： 梯度下降法和正规方程的比较： 总结： 只要特征数量并不是特别大，对于线性回归问题正规方程是一个比梯度下降算法更快的替代算法。但是当特征数量非常多的时候或者模型更复杂的时候（比如logistic regression等），正 ...
分类：
其他好文 时间：
2017-07-14 23:07:02
阅读次数：
357
SGD 中 stochastic 什么意思： Mini-Batch。。。 随机梯度下降算法（SGD）是mini-batch GD的一个特殊应用。SGD等价于b=1的mini-batch GD。即，每个mini-batch中只有一个训练样本。full batch GD每一轮迭代需要所有样本参与，对于大 ...
分类：
其他好文 时间：
2017-06-27 08:06:21
阅读次数：
328
简介 H2O的深度学习基于多层前馈人工神经网络，该网络是由使用了反向传播的随机梯度下降算法训练而来该网络可以包含大量由携带tanh、rectifier、maxout激活函数的神经元组成的隐藏层。如自适应学习率、率退火、动量训练、dropout, L1 or L2 regularization, ch ...
分类：
其他好文 时间：
2017-06-25 17:03:58
阅读次数：
429
