对于一个线性回归问题有 为了使得预测值h更加接近实际值y，定义 J越小，预测更加可信，可以通过对梯度的迭代来逼近极值 批梯度下降（batch gradient descent）（the entire training set before taking a single step） 随机梯度下降（s ...
分类：
其他好文 时间：
2017-09-22 22:42:10
阅读次数：
236
一、梯度下降、随机梯度下降、批量梯度下降 梯度下降：梯度下降中，对于θ 的更新，所有的样本都有贡献，也就是参与调整θ 。其计算得到的是一个标准梯度。因而理论上来说一次更新的幅度是比较大的。如果样本不多的情况下，当然是这样收敛的速度会更快。 随机梯度下降：随机梯度下降法，随机用样本中的一个例子来近似总 ...
分类：
其他好文 时间：
2017-09-10 21:48:23
阅读次数：
162
上一章中我们遗留了一个问题，就是在神经网络的学习过程中，在更新参数的时候，如何去计算损失函数关于参数的梯度。这一章，我们将会学到一种快速的计算梯度的算法：反向传播算法。 这一章相较于后面的章节涉及到的数学知识比较多，如果阅读上有点吃力的话也可以完全跳过这一章，把反向传播当成一个计算梯度的黑盒即可，但 ...
分类：
编程语言 时间：
2017-08-25 15:56:17
阅读次数：
207
#include <iostream>#include <vector>#include <cmath>#include <cfloat>int main() { double datax[]={3.4,1.8,4.6,2.3,3.1,5.5,0.7,3.0,2.6,4.3,2.1,1.1,6.1, ...
分类：
编程语言 时间：
2017-08-20 12:23:53
阅读次数：
169
转自：http://www.cnblogs.com/Sinte-Beuve/p/6164689.html 本文主要讲了梯度下降法的两种迭代思路，随机梯度下降（Stochastic gradient descent）和批量梯度下降（Batch gradient descent）。以及他们在python ...
分类：
其他好文 时间：
2017-08-14 14:18:21
阅读次数：
128
声明： 1，本篇为个人对《2012.李航.统计学习方法.pdf》的学习总结。不得用作商用，欢迎转载，但请注明出处（即：本帖地址）。 2，因为本人在学习初始时有非常多数学知识都已忘记。因此为了弄懂当中的内容查阅了非常多资料。所以里面应该会有引用其它帖子的小部分内容，假设原作者看到能够私信我。我会将您的 ...
分类：
编程语言 时间：
2017-07-19 17:40:42
阅读次数：
220
1-参数估计与矩阵运算基础 2-凸优化 3- 广义线性回归和对偶优化 4-牛顿、拟牛顿、梯度下降、随机梯度下降(SGD) 5-熵、最大熵模型MaxEnt、改进的迭代尺度法IIS 6-聚类（k-means、层次聚类、谱聚类等） 7-K近邻、决策树、随机森林(random decision forest ...
分类：
其他好文 时间：
2017-07-18 15:35:12
阅读次数：
162
感知机 （一）概念 1，定义： （二），学习策略 1，线性可分 ：存在一个超平面将正实例和负实例划分开来，反之不可分 2，学习策略：寻找极小损失函数，通过计算误分点到超平面的距离 3，学习算法 即求解损失函数最优化的算法，借用随机梯度下降法 3.1 原始形式 学习率也叫步长（0,1] 例题： 特点： ...
分类：
其他好文 时间：
2017-07-01 01:10:54
阅读次数：
277
SGD 中 stochastic 什么意思： Mini-Batch。。。 随机梯度下降算法（SGD）是mini-batch GD的一个特殊应用。SGD等价于b=1的mini-batch GD。即，每个mini-batch中只有一个训练样本。full batch GD每一轮迭代需要所有样本参与，对于大 ...
分类：
其他好文 时间：
2017-06-27 08:06:21
阅读次数：
328
简介 H2O的深度学习基于多层前馈人工神经网络，该网络是由使用了反向传播的随机梯度下降算法训练而来该网络可以包含大量由携带tanh、rectifier、maxout激活函数的神经元组成的隐藏层。如自适应学习率、率退火、动量训练、dropout, L1 or L2 regularization, ch ...
分类：
其他好文 时间：
2017-06-25 17:03:58
阅读次数：
429
