17.1大型数据集的学习 首先通过学习曲线判断是否增大数据集有效： 高方差时（交叉验证集误差减去训练集误差大时）增加数据集可以提高系统。下图中左图增加数据集有效，右图无效。 17.2随机梯度下降法 随机梯度下降法是只使用一个样本来迭代，其损失函数为： 迭代过程为： 特点： (1)计算量小，迭代速度快 ...
分类：
其他好文 时间：
2018-07-07 17:45:50
阅读次数：
201
机器学习（一）—— 线性回归 目录 0. 回归（Regression）的由来 1. 回归关系 2. 线性回归的整体思路 （1）根据数据提出假设模型 （2）求解参数 1）梯度下降法 2）正规方程求解参数 （3）梯度下降法与正规方程比较 3. 回归的一般方法 4. 实例分析 5. 线性回归的特点及其优缺 ...
分类：
其他好文 时间：
2018-07-03 11:32:47
阅读次数：
195
7.1过拟合的问题 训练集表现良好，测试集表现差。鲁棒性差。以下是两个例子（一个是回归问题，一个是分类问题） 解决办法： （1）丢弃一些不能帮助我们正确预测的特征。可以使用工选择保留哪些特征，或者使用一些模型选择的算法来帮忙（PCA）； （2）正则化。保留素有的特征，但是减少参数的大小。 7.2代价 ...
分类：
其他好文 时间：
2018-07-02 00:03:49
阅读次数：
105
损失函数是机器学习中常用于优化模型的目标函数，无论是在分类问题，还是回归问题，都是通过损失函数最小化来求得我们的学习模型的。损失函数分为经验风险损失函数和结构风险损失函数。经验风险损失函数是指预测结果和实际结果的差别，结构风险损失函数是指经验风险损失函数加上正则项。通常表示为： θ*是我们通过损失函 ...
分类：
其他好文 时间：
2018-07-01 20:59:46
阅读次数：
244
4.1多维特征 上图中列数即为特征的个数，行数是样本数。函数假设如下： 其中x0=1。 4.2多变量梯度下降 和单变量的损失函数相同： 其中， 求导迭代如下： 4.3梯度下降法实践1-特征缩放 特征之间的尺度变化相差很大（如一个是0-1000，一个是0-5），梯度算法需要非常多次的迭代才能收敛，如下 ...
分类：
其他好文 时间：
2018-07-01 20:57:22
阅读次数：
173
阅读目录 1. 批量梯度下降法BGD 2. 随机梯度下降法SGD 3. 小批量梯度下降法MBGD 4. 总结 1. 批量梯度下降法BGD 2. 随机梯度下降法SGD 3. 小批量梯度下降法MBGD 4. 总结 在应用机器学习算法时，我们通常采用梯度下降法来对采用的算法进行训练。其实，常用的梯度下降法 ...
分类：
其他好文 时间：
2018-06-11 12:00:09
阅读次数：
181
一、梯度下降法的调试 1）疑问 / 难点 如何确定梯度下降法的准确性？ 损失函数的变量 theta 在某一点上对应的梯度是什么？ 在更负责的模型中，求解梯度更加不易； 有时候，推导出公式后，并将其运用到程序中，但当程序运行时，有时对梯度的计算可能会出现错误，怎么才能发现这种错误？ 2）梯度下降法的调 ...
分类：
其他好文 时间：
2018-06-08 14:18:24
阅读次数：
273
一、随机梯度下降法基础 # 梯度中的每一项计算：，要计算所有样本（共 m 个）； # 批量梯度下降法的思路：计算损失函数的梯度，找到优化损失函数的最近距离，或者称最直接的方向； # 批量梯度下降法的梯度计算：每一次都对数据集中的所有样本的所有数据进行计算； # 特点： # 计算每一个 theta 值 ...
分类：
其他好文 时间：
2018-06-06 15:29:22
阅读次数：
181
梯度下降法（Gradient Descendent） 是机器学习的核心算法之一， 自动微分 则是梯度下降法的核心； 梯度下降法用于求损失函数的最优值，前面的文章中我们说过 梯度下降 是通过计算参数与损失函数的梯度并在梯度的方向不断迭代求得极值；但是在机器学习、深度学习中很多求导往往是很复杂的，手动使 ...
分类：
其他好文 时间：
2018-05-17 11:47:20
阅读次数：
176
机器学习中往往需要刻画模型与真实值之间的误差，即损失函数，通过最小化损失函数来获得最优模型。这个最优化过程常使用梯度下降法完成。在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和模型参数值。 1. 梯度 解释梯度之前需要解释导数与偏导数。导数与偏导数的公式如下： ... ...
分类：
其他好文 时间：
2018-05-13 23:43:13
阅读次数：
1171
