1.Feature Scaling 对数据的自变量或特征范围进行标准化的一种方法。在数据处理中，它也称为数据规范化，通常在数据预处理步骤中执行。 为什么要进行Feature Scaling： 如果输入范围变化，在某些算法中，对象函数将不能正常工作。 梯度下降收敛得更快，与特征缩放完成。梯度下降法是逻 ...
分类：
其他好文 时间：
2020-02-18 14:49:08
阅读次数：
67
线性回归形如y=w*x+b的形式，变量为连续型（离散为分类）。一般求解这样的式子可采用最小二乘法原理，即方差最小化， loss=min（y_pred-y_true）^2。若为一元回归，就可以求w与b的偏导，并令其为0，可求得w与b值；若为多元线性回归， 将用到梯度下降法求解，这里的梯度值w的偏导数， ...
分类：
其他好文 时间：
2020-02-16 14:37:25
阅读次数：
59
逻辑回归可以用于处理二元分类问题，将输出值控制在[0，1]区间内，为确保输出值时钟若在0到1之间，采用sigmoid函数，其具有该特性，将线性回归训练得到的模型输出数据作z = x1*w1+x2*w2+...+xn*wn+b代入得到y,保证了y在0~1之间 逻辑回归中用到sigmoid函数，若用均方 ...
分类：
其他好文 时间：
2020-02-10 18:28:05
阅读次数：
343
梯度下降法用处：寻找目标函数最小化的方法。 也就是求函数的局部最小值。 梯度的数学解释：梯度：https://baike.baidu.com/item/%E6%A2%AF%E5%BA%A6/13014729?fr=aladdin 梯度下降法的简单解释： 梯度下降法就好比一个蒙着眼睛的人下山，每次在负 ...
分类：
其他好文 时间：
2020-02-09 12:07:03
阅读次数：
99
1. 感知机模型 输入为实例的特征向量， 输出为实例的类别， 取+1和-1；感知机对应于输入空间中将实例划分为正负两类的分离超平面， 属于判别模型；导入基于误分类的损失函数；利用梯度下降法对损失函数进行极小化；感知机学习算法具有简单而易于实现的优点， 分为原始形式和对偶形式；1957年由Rosenb ...
分类：
其他好文 时间：
2020-01-26 11:40:01
阅读次数：
130
梯度下降法 梯度下降法（英语：Gradient descent）是一个一阶最优化算法，通常也称为最速下降法。 要使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对应梯度（或者是近似梯度）的反方向的规定步长距离点进行迭代搜索。如果相反地向梯度正方向迭代进行搜索，则会接近函数的局部极大值点；这 ...
分类：
其他好文 时间：
2020-01-24 17:28:40
阅读次数：
113
基本概念 机器学习模型面临的两个主要问题是欠拟合与过拟合。 欠拟合 ，即模型具有较高的 偏差 ，说明模型没有从数据中学到什么，如下左图所示。而 过拟合 ，即模型具有较高的 方差 ，意味着模型的经验误差低而泛化误差高，对新数据的泛化能力差，如下右图所示。 通常，欠拟合是由于模型过于简单或使用数据集的特 ...
分类：
其他好文 时间：
2020-01-23 21:16:34
阅读次数：
135
1. 梯度：对于一元函数，梯度是导数/斜率；对于多元函数，梯度是由偏导数组成的向量 梯度的方向：是函数在给定点上升最快的方向 梯度的反方向：是函数在给定点下降最快的方向 多元函数的梯度：（偏导） 2. 梯度下降：函数在某一点处沿着梯度的反方向逐步迭代，求出函数的局部最小值的过程。我们的最终目的是找到 ...
分类：
其他好文 时间：
2020-01-23 16:57:12
阅读次数：
118
最陡下降法（steepest descent method）又称梯度下降法（英语：Gradient descent）是一个一阶最优化算法。 函数值下降最快的方向是什么？沿负梯度方向 d=?gk ...
分类：
其他好文 时间：
2020-01-05 10:09:13
阅读次数：
83
