1、回归是达尔文表弟发现的，就是说人类总体有一个平均身高。那个高个子生的孩子都个高，矮的孩子生的矮。但是他们的下一代大部分都往平均身高长，也就是说特别高的人，他们的孩子会很高，但是往往比他们自己矮。特别矮的人他们生的孩子会矮一些，但是会比自己的父母高，他们都有这种趋势。表弟管这个叫做回归。 2、一元 ...
分类：
其他好文 时间：
2019-11-17 01:55:43
阅读次数：
95
参考资料：梯度下降优化算法总结(必看！！！！！！！) 梯度下降法 (Gradient Descent Algorithm，GD) 是为目标函数J(θ)，如代价函数(cost function), 求解全局最小值（Global Minimum）的一种迭代算法。 为什么使用梯度下降法 我们使用梯度下降法 ...
分类：
编程语言 时间：
2019-11-13 22:30:05
阅读次数：
144
梯度下降法及一元线性回归的python实现 一、梯度下降法形象解释 设想我们处在一座山的半山腰的位置，现在我们需要找到一条最快的下山路径，请问应该怎么走？根据生活经验，我们会用一种十分贪心的策略，即在现在所处的位置上找到一个能够保证我们下山最快的方向，然后向着该方向行走；每到一个新位置，重复地应用上 ...
分类：
编程语言 时间：
2019-11-12 00:51:12
阅读次数：
209
线性回归之梯度下降法 1.梯度的概念 梯度是一个向量，对于一个多元函数$f$而言，$f$在点$P(x,y)$的梯度是$f$在点$P$处增大最快的方向，即以f在P上的偏导数为分量的向量。以二元函数$f(x,y)$为例，向量$\{\frac{\partial f}{\partial x},\frac{\ ...
分类：
编程语言 时间：
2019-11-07 23:24:10
阅读次数：
112
我是一个地地道道的技术人员，今天不跟大家讲复杂的数学原理，其实从图像就可以看出来一些蛛丝马迹，X是呱呱坠地的我们，W是指引我们前进的方向，B是我们生活的压力值，Func会根据W和B显示我们的轨迹，然而轨迹的平缓程度与好多复杂的因素有关，Y是我们的终点 很明显X,Y我们没办法控制，W和B的初始值也是随 ...
分类：
其他好文 时间：
2019-11-02 11:45:30
阅读次数：
80
线性回归 决定系数越接近一那么预测效果越好 对于多元线性回归和一元线性回归推导理论是一致的，只不过参数是多个参数而已 梯度下降 梯度下降法存在局部最小值 <!--StartFragment --> 太小迭代次数多，太大将无法迭代到最优质 <!--StartFragment --> 梯度下降发容易到达 ...
分类：
其他好文 时间：
2019-10-30 00:04:12
阅读次数：
200
sigmoid函数：越大的负数越接近0，越大的正数越接近1缺点：（1）造成梯度消失：该函数在靠近1和0的两端，梯度几乎变成0，梯度下降法：梯度乘上学习率来更新参数，如果梯度接近0，那么没有任何信息来更新参数，会造成模型不收敛另外，使用sigmoid函数，在初始化权重时，权重太大，经过激活函数会导致大 ...
分类：
其他好文 时间：
2019-10-28 20:43:09
阅读次数：
116
首先简介梯度法的原理。首先一个实值函数$R^{n} \rightarrow R$的梯度方向是函数值上升最快的方向。梯度的反方向显然是函数值下降的最快方向，这就是机器学习里梯度下降法的基本原理。但是运筹学中的梯度法略有不同，表现在步长的选择上。在确定了梯度方向(或反方向)是我们优化目标函数值的方向后， ...
分类：
编程语言 时间：
2019-10-28 14:50:22
阅读次数：
217
讲授卷积神经网络核心思想、卷积层、池化层、全连接层、网络的训练、反向传播算法、随机梯度下降法、AdaGrad算法、RMSProp算法、AdaDelta算法、Adam算法、迁移学习和fine tune等。 大纲： 卷积神经网络简介 视觉神经网络的核心思想 卷积神经网络的核心思想 卷积运算 卷积层的原理 ...
分类：
其他好文 时间：
2019-10-25 13:37:25
阅读次数：
104
GBDT算法： 所谓的GBDT(Gradient Boost Desicison Tree)就是值在每一步迭代时我们难以真正求得一个新的模型使得其加上原有模型得到的损失最小，但是我们可以用所谓的梯度下降法使得损失减小。 输入：训练数据集$D+\lbrace(x_{1},y_{1}),...,(x_{ ...
分类：
其他好文 时间：
2019-10-17 14:03:33
阅读次数：
83
