1. 线性回归 1.1 算法原理 （1）情景：给定一定数量的数据点，通过拟合得到其回归直线，使得所有点到这个直线的距离之和（损失函数）最小。 即：已知各个点的坐标，反求直线表达式的最优系数解。 假定直线参数为θ，则直线表达式为： 得到的直线（平面）表达式应使得损失函数最小，其中损失函数表达式： （2 ...
分类：
其他好文 时间：
2019-07-23 15:32:54
阅读次数：
113
Optimizer SGD Momentum Nesterov(牛顿动量) 二.自适应参数的优化算法 这类算法最大的特点就是，每个参数有不同的学习率，在整个学习过程中自动适应这些学习率。 AdaGrad RMSProp Adam 二阶近似的优化算法 牛顿法 共轭梯度法 BFGS LBFGS ...
分类：
编程语言 时间：
2019-07-23 15:21:57
阅读次数：
127
在word2vec原理中讲到如果每个词向量由300个元素组成，并且一个单词表中包含了10000个单词。回想神经网络中有两个权重矩阵——一个在隐藏层，一个在输出层。这两层都具有300 x 10000 = 3,000,000个权重！使用梯度下降法在这种巨大的神经网络下面进行训练是很慢的。并且可能更糟糕的 ...
分类：
其他好文 时间：
2019-07-21 22:33:34
阅读次数：
523
最近忙着实验室的项目，一直没有时间做仿真，所以就先写一下之前看的一篇文章，总结一下吧。这次要说的是Gated CNN，这也是第一次将门限控制引入到CNN中的文章，感觉十分有新意，效果也很棒。下面我们来看一下，文章的主要贡献包括： 提出一种新的门控机制 缓解梯度传播，降低梯度弥散等现象 相比LSTM， ...
分类：
Web程序 时间：
2019-07-21 18:11:44
阅读次数：
235
Sobel 算子是一个离散微分算子 (discrete differentiation operator)。 它结合了高斯平滑和微分求导，用来计算图像灰度函数的近似梯度。 图像边缘,相素值会发生显著的变化了。表示这一改变的一个方法是使用 导数 。 梯度值的大变预示着图像中内容的显著变化。用更加形象的 ...
分类：
其他好文 时间：
2019-07-21 16:47:52
阅读次数：
147
1 线性回归的模型 线性回归的模型十分的简单，就是对回归问题中每一个特征X乘以一个系数，使其拟合到输出Y，线性回归模型就是找到这样一组系数。 线性回归的模型如下： 其中x是数据的特征，是一个d维的列向量，是权重系数，也是一个d维的列向量，y是模型的输出 2 线性回归的损失函数 在做回归问题的时候，模 ...
分类：
其他好文 时间：
2019-07-21 13:24:18
阅读次数：
78
学习才能消去恐惧叭 Part 1: Basic Function warmUpExercise返回一个n为5的单位矩阵 Part 2: Plotting marker是图上画上点的地方表上符号，不如点，方框，圆框，十字，星号，等等后面的size就是其大小了，不知道值的话，可以画完图点编辑框上面的箭头 ...
分类：
其他好文 时间：
2019-07-20 21:17:53
阅读次数：
113
Logistics回归：实战，有两个特征X0,X1.100个样本，进行Logistics回归 1.导入数据 2. Logistics回归梯度上升优化算法 3. 画出决策边界，即画出数据集合Logistics回归最佳拟合直接的函数 4. 测试数据，画图 5. 结果如下 另外，还有 ...
分类：
其他好文 时间：
2019-07-20 13:00:08
阅读次数：
110
在循环神经网络(RNN)模型与前向反向传播算法中，我们总结了对RNN模型做了总结。由于RNN也有梯度消失的问题，因此很难处理长序列的数据，大牛们对RNN做了改进，得到了RNN的特例LSTM（Long Short-Term Memory），它可以避免常规RNN的梯度消失，因此在工业界得到了广泛的应用。... ...
分类：
其他好文 时间：
2019-07-19 21:08:16
阅读次数：
219
在梯度提升树(GBDT)原理小结中，我们对GBDT的原理做了总结，本文我们就从scikit-learn里GBDT的类库使用方法作一个总结，主要会关注调参中的一些要点。# 一、1.scikit-learn GBDT类库概述 在sacikit-learn中，GradientBoostingClassif... ...
分类：
其他好文 时间：
2019-07-19 19:07:58
阅读次数：
97
