1.了解不同优化器 2.书写优化器代码3.Momentum4.二维优化，随机梯度下降法进行优化实现5.Ada自适应梯度调节法6.RMSProp7.Adam8.PyTorch种优化器选择 梯度下降法： 1.标准梯度下降法：GD每个样本都下降一次，参考当前位置的最陡方向迈进容易得到局部最优，且训练速度慢 ...
分类：
其他好文 时间：
2019-08-18 19:49:45
阅读次数：
94
1.numpy和pytorch实现梯度下降法 torch 2.设定初始值 神经网络的权重初始化方法对模型的收敛速度和性能有着至关重要的影响。主要有四种权重初始化方法： 把w初始化为0 在线性回归，logistics回归中，基本上把参数初始化为0，模型也能很好的工作。但是在神经网络中，这种方法是不可行 ...
分类：
其他好文 时间：
2019-08-09 19:06:05
阅读次数：
102
梯度下降法 [TOC] 梯度下降法，是一种基于搜索的最优化方法，最用是最小化一个损失函数。 一、什么是梯度下降？ ? 机器学习算法都需要最大化或最小化一个函数，这个函数被称为"目标函数"，其中我们一般把最小化的一类函数，称为"损失函数"。它能根据预测结果，衡量出模型预测能力的好坏。在求损失函数最小化 ...
分类：
其他好文 时间：
2019-08-08 19:42:49
阅读次数：
125
梯度下降法（Gradient Descent） 优化思想：用当前位置的负梯度方向作为搜索方向，亦即为当前位置下降最快的方向，也称“最速下降法”。越接近目标值时，步长越小，下降越慢。 如下图所示，梯度下降不一定能找到全局最优解，可能寻找到的是局部最优解。（当损失函数是凸函数时，梯度下降得到的解一定是全 ...
分类：
其他好文 时间：
2019-08-07 22:28:45
阅读次数：
186
1、梯度下降法 给定一个目标函数f（x）和初始点x0 △xt = -▽f(xt) xt+1 = x + η△xt 停止条件：当 |△xt| < ε时停止 三大问题：局部最小值、鞍点、停滞区。 1.1 局部最小值（极值） 1.2 停滞区 函数有一段很平的区域，这时梯度很小，权值就更新的特别慢。 1.3 ...
分类：
编程语言 时间：
2019-08-07 22:28:08
阅读次数：
135
1.梯度的理解 在机器学习过程中，经常使用梯度下降方法求解损失函数的最小值。梯度的值为函数在某一点，沿着各向量方向的偏导数。沿着梯度相反的方向，函数减小最快，更容易找到函数的最小值。 2.梯度下降法的矩阵表示 函数的表达式为$h_\theta(X)=X\theta$，损失函数的表达式为$J(\the ...
分类：
其他好文 时间：
2019-07-31 16:45:16
阅读次数：
131
七，专著研读（Logistic回归） 分类：k 近邻算法，决策树，朴素贝叶斯，Logistic回归，支持向量机，AdaBoost算法。 运用 k 近邻算法，使用距离计算来实现分类 决策树，构建直观的树来分类 朴素贝叶斯，使用概率论构建分类器 Logistic回归，主要是通过寻找最优参数来正确分类原始 ...
分类：
其他好文 时间：
2019-07-28 09:35:44
阅读次数：
116
Q1多维特征 上图中列数即为特征的个数，行数是样本数。函数假设如下： 其中x0=1。 Q2多变量梯度下降 和单变量的损失函数相同： 其中， 求导迭代如下： Q3梯度下降法实践1-特征缩放 特征之间的尺度变化相差很大（如一个是0-1000，一个是0-5），梯度算法需要非常多次的迭代才能收敛，如下图所示 ...
分类：
其他好文 时间：
2019-07-25 23:17:46
阅读次数：
127
1. 线性回归 1.1 算法原理 （1）情景：给定一定数量的数据点，通过拟合得到其回归直线，使得所有点到这个直线的距离之和（损失函数）最小。 即：已知各个点的坐标，反求直线表达式的最优系数解。 假定直线参数为θ，则直线表达式为： 得到的直线（平面）表达式应使得损失函数最小，其中损失函数表达式： （2 ...
分类：
其他好文 时间：
2019-07-23 15:32:54
阅读次数：
113
