反向传播原理比较简单，先定义损失函数，然后使用梯度下降算法找到最小化损失函数的W和b，梯度下降算法需要计算损失函数对w和b的偏导，求偏导只使用了一个链式法则。 1、反向转播 2、参数更新 η是学习率 ...
分类：
其他好文 时间：
2018-12-10 13:54:50
阅读次数：
318
算法介绍：梯度下降算法是一种利用一次导数信息求取目标函数极值的方法，也是目前应用最为广泛的局部优化算法之一。其具有实现简单、容易迁移、收敛速度较快的特征。在求解过程中，从预设的种子点开始，根据梯度信息逐步迭代更新，使得种子点逐渐向目标函数的极小值点移动，最终到达目标函数的极小值点。注意，沿梯度正向移 ...
分类：
编程语言 时间：
2018-12-07 01:33:36
阅读次数：
329
有了线性方程以及他的代价函数： 然后我们的目标就是通过调整 theta0, theta1 最小化 J 的值。 那么梯度下降算法的公式如下： alpha 是学习率，后面是对J和theta求偏导，以便得到这个点斜率，如果斜率为正就逐渐缩小theta，这样就逐步的调整到适合的theta 在Octave中表 ...
分类：
其他好文 时间：
2018-11-29 11:10:01
阅读次数：
176
四、特征缩放1.特征缩放的优点：Andrew在他的机器学习课程里强调，在进行学习之前要进行特征缩放，目的是保证这些特征都具有相近的尺度，这将帮助梯度下降算法更快地收敛。python里常用的是preprocessing.StandardScaler()，公式为：(X-mean)/std，得到的结果是， ...
分类：
其他好文 时间：
2018-11-22 14:39:01
阅读次数：
196
随机梯度下降算法训练时，使用滑动平均模型可以提高模型健壮性。在Tensorflow中提供了tf.train.ExponentialMovingAverage来实现滑动平均模型。在初始化ExponentialMovingAverage时，需要提供一个衰减率。控制模型更新速度，它对每个变量会维护一个影子变量，这个影子变量的初始值就是相应变量的初始值，而每次运行变量更新时，影子变量的值会更新为：$$sh
分类：
其他好文 时间：
2018-11-22 10:42:35
阅读次数：
299
近期在搞论文，须要用梯度下降算法求解，所以又一次整理分享在这里。主要包含梯度介绍、公式求导、学习速率选择、代码实现。 梯度下降的性质： 1.求得的解和选取的初始点有关 2.能够保证找到局部最优解，由于梯度终于会减小为0，则步长与梯度的乘积会自己主动越来越小。 梯度简单介绍 一个多元函数的在某点的梯度 ...
分类：
编程语言 时间：
2018-11-07 20:13:39
阅读次数：
291
看了很多博文，一谈到梯度下降，大多都在画图，类比“下山”。对于一开始想要了解“梯度下降”是个什么玩意儿时，这种类比法是非常有助于理解的。但是，当我大概知道了梯度下降是什么东西之后，我就好奇了，梯度下降究竟是怎样寻找到模型的最优参数的？不能一想到梯度下降，脑海中就只有“下山”的画面，“下山”不是目的， ...
分类：
编程语言 时间：
2018-11-05 12:23:54
阅读次数：
1894
Normal equation: Method to solve for θ analytically 正规方程：分析求解θ的方法 对于损失函数 \[J\left( {{\theta _0},{\theta _1},...,{\theta _n}} \right) = \frac{1}{{2m}}\ ...
分类：
编程语言 时间：
2018-10-24 01:02:04
阅读次数：
192
前馈神经网络：最简单的神经网络，每个神经元接收前一层的全连接输入然后输出到下一层，整个过程无反馈。BP神经网络：误差反向传播算法(ErrorBackPropagationTraining)，简称BP，系统解决了多层神经网络隐含层连接权学习问题，按照误差向前传播的训练方法训练的多层前馈神经网络。梯度下降算法：
分类：
其他好文 时间：
2018-10-10 10:45:06
阅读次数：
615
import numpy as np x0=np.ones((12,1))#生成（12,1）的元素为1的矩阵 print(x0) ...
分类：
编程语言 时间：
2018-10-04 09:25:39
阅读次数：
110
