1.GBDT(Gradient Boosting Decision Tree)思想 Boosting : Gradient boosting Gradient boosting是 boosting 的其中一种方法，它主要的思想是，每一次建立单个学习器时，是在之前建立的模型的损失函数的梯度下降方向。 ...
分类：
编程语言 时间：
2018-12-21 21:20:35
阅读次数：
311
在第四讲中，主要学习了多变量线性回归(Linear Regression with Multiple Variables)的多维特征、多变量梯度下降、特征缩放、特征和多项式回归以及正规方程等。# 多维特征（Multiple Features）为房价模型增加更多的特征，如房间楼层数等，则构成了一个含有... ...
分类：
系统相关 时间：
2018-12-19 22:02:43
阅读次数：
265
在前面讲到的DQN系列强化学习算法中，我们主要对价值函数进行了近似表示，基于价值来学习。这种Value Based强化学习方法在很多领域都得到比较好的应用，但是Value Based强化学习方法也有很多局限性，因此在另一些场景下我们需要其他的方法，比如本篇讨论的策略梯度(Policy Gradien ...
分类：
其他好文 时间：
2018-12-18 19:49:21
阅读次数：
353
二、训练 接下来回到train.py第160行，通过调用sw.train_model方法进行训练： 方法中的self.solver.step(1)即是网络进行一次前向传播和反向传播。前向传播时，数据流会从第一层流动到最后一层，最后计算出loss，然后loss相对于各层输入的梯度会从最后一层计算回第一 ...
分类：
其他好文 时间：
2018-12-17 02:20:31
阅读次数：
229
大致总结一下学到的各个优化算法。 一、梯度下降法 函数的梯度表示了函数值增长速度最快的方向，那么与其相反的方向，就可看作函数减少速度最快的方向。 在深度学习中，当目标设定为求解目标函数的最小值时，只要朝梯度下降的方向前进，就可以不断逼近最优值。 梯度下降主要组成部分： 1、待优化函数f(x) 2、待 ...
分类：
编程语言 时间：
2018-12-17 02:07:53
阅读次数：
258
有这么一件事情，比如说在梯度下降过程中我们需要不断地调整θ的值来完成梯度下降，可是使用循环会很慢，因为我们现在的计算机大部分都是SIMD也就是单指令流多数据流。如果使用for循环的话，那么之一条指令的数据流就是for循环里所规定的，并没有进行并行运算，没有充分运用计算机资源。然而，在深度学习（dee ...
分类：
其他好文 时间：
2018-12-16 23:33:00
阅读次数：
145
一、背景 1）梯度消失问题 我们发现很深的网络层，由于参数初始化一般更靠近0，这样在训练的过程中更新浅层网络的参数时，很容易随着网络的深入而导致梯度消失，浅层的参数无法更新。 可以看到，假设现在需要更新b1，w2,w3,w4参数因为随机初始化偏向于0，通过链式求导我们会发现，w1w2w3相乘会得到更 ...
分类：
Web程序 时间：
2018-12-16 20:00:35
阅读次数：
740
概述 感知机在1957年由Rosenblatt提出，是神经网络和支持向量机的基础，它是一个二类分类的线性分类模型，属于判别模型。感知机学习旨在求出将训练数据进行线性划分的分离超平面，为此，导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。 感知机模型 1、定义 假设输入空 ...
分类：
其他好文 时间：
2018-12-15 13:58:06
阅读次数：
201
#!/usr/bin/envpython2#-*-coding:utf-8-*-"""CreatedonMonAug2711:16:322018@author:myhaspl"""importtensorflowastfx=tf.constant(1.)a=12*xb=2*ac=3*bg1=tf.gradients([a+b+c],[a,b,c])g2=tf.gradients([a+b+c],[
分类：
其他好文 时间：
2018-12-14 21:16:09
阅读次数：
183
1.Mini-batch 梯度下降（Mini-batch gradient descent) batch gradient descent :一次迭代同时处理整个train data Mini-batch gradient descent: 一次迭代处理单一的mini-batch (X{t} ,Y{ ...
分类：
编程语言 时间：
2018-12-14 15:37:14
阅读次数：
243
