(1) evaluate _lenet5中的导入数据部分 1 # 导入数据集，该函数定义在logistic_sgd中，返回的是一个list 2 datasets = load_data(dataset) 3 4 # 从list中提取三个元素，每个元素都是一个tuple（每个tuple含有2个元素，分
分类：
其他好文 时间：
2016-02-06 10:21:31
阅读次数：
323
在应用机器学习算法时，我们通常采用梯度下降法来对采用的算法进行训练。其实，常用的梯度下降法还具体包含有三种不同的形式，它们也各自有着不同的优缺点。 下面我们以线性回归算法来对三种梯度下降法进行比较。 一般线性回归函数的假设函数为：$h_{\theta}=\sum_{j=0}^{n}\thet...
分类：
系统相关 时间：
2015-12-30 21:39:13
阅读次数：
368
上文提到，到目前为止，caffe总共提供了六种优化方法：Stochastic Gradient Descent (type: "SGD"),AdaDelta (type: "AdaDelta"),Adaptive Gradient (type: "AdaGrad"),Adam (type: "Ada...
分类：
其他好文 时间：
2015-12-24 20:53:42
阅读次数：
701
Log-Linear 模型（也叫做最大熵模型）是 NLP 领域中使用最为广泛的模型之中的一个。其训练常採用最大似然准则。且为防止过拟合，往往在目标函数中增加（能够产生稀疏性的） L1 正则。但对于这样的带 L1 正则的最大熵模型，直接採用标准的随机梯度下降法（SGD）会出现效率不高和...
分类：
其他好文 时间：
2015-09-30 19:35:31
阅读次数：
237
在线最优化求解(Online Optimization)之四：RDA转载自：http://www.wbrecom.com/?p=394；作者是大牛不论怎样，简单截断、TG、FOBOS都还是建立在SGD的基础之上的，属于梯度下降类型的方法，这类型方法的优点就是精度比较高，并且TG、FOBOS也都能在稀...
分类：
编程语言 时间：
2015-08-25 18:38:29
阅读次数：
402
Natural Neural Networks
Google DeepMind又一神作
Projected Natural Gradient Descent algorithm (PRONG) better than SGD as evidenced by the boost in performance offered by batch normalization (BN)
Dee...
分类：
其他好文 时间：
2015-07-08 14:43:35
阅读次数：
136
你可以在[这里](http://xintq.net/2015/07/03/sgd-demo-stepbystep/)找到原文。 ## 前提条件 已经安装和配置好下列OS环境： - Oracle Linux 6.5 64bit - Hostname： *sgd.example.com* - IP： *192.168.56.110* 已...
分类：
数据库 时间：
2015-07-03 14:12:53
阅读次数：
282
在机器学习领域中，经常会听到“shuffling"这个术语。那么，shuffling到底是什么意思呢。通常，shuffling指的是在SGD怎样依赖训练数据输入顺序的算法中，将训练数据随机打乱，达到让SGD这样的算法得到与Batch算法类似结果的方法。如上图所示，如果训练数据按1，2，3，...，1...
分类：
其他好文 时间：
2015-06-30 21:48:48
阅读次数：
139
机器学习中梯度下降（Gradient Descent， GD）算法只需要计算损失函数的一阶导数，计算代价小，非常适合训练数据非常大的应用。梯度下降法的物理意义很好理解，就是沿着当前点的梯度方向进行线搜索，找到下一个迭代点。但是，为什么有会派生出 batch、mini-batch、online这些GD...
分类：
编程语言 时间：
2015-06-06 19:23:07
阅读次数：
237
f:\python_workspace\SGD>python gd.py
[ 5.68071667 -21.54721046]
[ 4.54457333 -17.23776836]
[ 3.63565867 -13.79021469]
[ 2.90852693 -11.03217175]
[ 2.32682155 -8.8257374 ]
[ 1.86145724 -7.060...
分类：
其他好文 时间：
2015-03-15 22:59:39
阅读次数：
155
