梯度的衰减是有连续乘法导致的，如果在连续乘法中出现一个非常大的值，最后计算出的梯度就会很大，就想当优化到断崖处是，会获得一个很大的梯度值，如果以这个梯度值进行更新，那么这次迭代的步长就很大，可能会一下子飞出了合理的区域。 解决的方法是： 梯度裁剪： 把沿梯度下降方向的步长限制在一个范围之内，计算出来 ...
分类：
其他好文 时间：
2019-06-30 17:27:30
阅读次数：
422
一.写在前面 本节所讲的内容主要是讨论如何进一步提高通过机器学习获得fbest的准确度使其更进一步接近ftrue，为了解决这个问题我们必须先明确我们学习得到的fbest的误差来自于哪里。这里先提一下误差的主要两个来源分别是bias和variance,即偏差和方差，换句话说当你想进一步提高你模型的精确 ...
分类：
其他好文 时间：
2019-06-30 14:13:12
阅读次数：
101
NTP（NetworkTimeProtocol）作用：将网络中的各个主机的时间进行同步，局域网中的误差<0.1ms架构：C/S实验环境：两台有网络的Centos，其中134为服务端，135为客户端。134同步网络时间，其他服务器同步134时间。1、查看134的系统信息、时间和时区cat/etc/redhat-releasedatetimedatectl|grep"Timezone&
分类：
系统相关 时间：
2019-06-29 12:28:54
阅读次数：
127
1.随机森林（RF） RF是对bagging的进化版，首先都是有放回的进行采样，获得n个训练集从而训练n个弱分类器，但是RF在随机选取的训练集的基础上对于特征的选择也是随机的，随机的选取一部分的特征进行弱分类器的构建，同时在划分建树的过程中也是从这些随机选取的部分特征中选择最优的特征。(使用的为同质 ...
分类：
其他好文 时间：
2019-06-26 20:43:34
阅读次数：
171
1976年提出了CIELUV和CIELAB两个色彩空间。 CIELAB，它主要利用的是对立色理论。 适合于将数字输入的多样性转化为人类知觉上的差异 CIE1976其实就是均方误差 ...
分类：
其他好文 时间：
2019-06-25 20:55:23
阅读次数：
127
前提 神经网络中有合适的权重和偏置，调整权重和偏置以便拟合训练数据的过程称为学习。神经网络的学习分为下面4 个步骤。 步骤1（mini-batch） 从训练数据中随机选择一部分数据。步骤2（计算梯度） 计算损失函数关于各个权重参数的梯度。步骤3（更新参数） 将权重参数沿梯度方向进行微小的更新。步骤4 ...
分类：
其他好文 时间：
2019-06-24 21:14:50
阅读次数：
115
2.1 经验误差与过拟合 错误率和精度：通常我们把分类错误的样本占样本总数的比例称为“错误率”（error rate)，即如果在m个样本中有a个样本分类错误，则错误率E=a/m；相应的，1-a/m称为“精度”。（accuracy）.即“精度=1-错误率”。 误差：学习期的实际预测误差和样本的真实输出 ...
分类：
其他好文 时间：
2019-06-24 00:57:08
阅读次数：
175
1、线性回归 回归的目的是预测数值型数据的目标值。目标值的计算是通过一个线性方程得到的，这个方程称为回归方程，各未知量（特征）前的系数为回归系数，求这些系数的过程就是回归。 对于普通线性回归使用的损失函数一般为平方误差。把其用最小二乘法进行优化得到的关于系数w求导所得到的矩阵形式的表达式求得的w便为 ...
分类：
其他好文 时间：
2019-06-23 16:10:10
阅读次数：
139
定义：表示神经网络性能的“恶劣程度”的指标，即当前的神经网络对监督数据在多大程度上不拟合，在多大程度上不一致。 均方误差 yk 是表示神经网络的输出，tk 表示监督数据，k 表示数据的维数。 代码实现 交叉熵误差 代码实现： mini-batch使用损失函数 计算损失函数时必须将所有的训练数据作为对 ...
分类：
其他好文 时间：
2019-06-21 12:34:48
阅读次数：
125
恢复内容开始 1.1 尺有所短，寸有所长 1.2预测器 1.所有有用的计算机系统都有一个输入和输出，并在输入和输出之间进行某种类型的计算，神经网络也是如此。 2.机器接受了一个输入，并作出应有的预测，输出结果。我们称之为预测器。我们根据结果与已知的真实案例进行比较所得到的误差，调整内部参数，使预测更 ...
分类：
其他好文 时间：
2019-06-19 12:21:44
阅读次数：
96
