1、综述 scikit-learn的线性回归模型都是通过最小化成本函数来计算参数的，通过矩阵乘法和求逆运算来计算参数。当变量很多的时候计算量会非常大，因此我们改用梯度下降法，批量梯度下降法每次迭代都用所有样本，快速收敛但性能不高，随机梯度下降法每次用一个样本调整参数，逐渐逼近，效率高，本节我们来利用 ...
分类：
其他好文 时间：
2017-03-13 13:15:21
阅读次数：
401
梯度下降法先随机给出参数的一组值，然后更新参数，使每次更新后的结构都能够让损失函数变小，最终达到最小即可。 在梯度下降法中，目标函数其实可以看做是参数的函数，因为给出了样本输入和输出值后，目标函数就只剩下参数部分了，这时可以把参数看做是自变量，则目标函数变成参数的函数了。 梯度下降每次都是更新每个参 ...
分类：
其他好文 时间：
2017-03-08 10:44:00
阅读次数：
117
1、主要内容 2、梯度下降 （1）、批量梯度下降 2、随机梯度下降 区别：就是更新变量时使用全部的数据还是一个样本进行更新 当都是凸函数的两者鲜果相同，当使用神经网络时使用SGD可以跳出局部最优解，批量梯度下降则不行； 3、mini-batch 梯度下降 噪声随着样本数量的增加而减少； 3、正则 b ...
分类：
其他好文 时间：
2017-02-19 12:18:19
阅读次数：
273
感知机是一种线性分类模型，属于判别模型 f(x) = sign(wx+b) ; f(x)∈{+1,-1}; 其中M为错分类点的集合M。 感知机学习算法是误分类驱动的，采用随机梯度下降法进行参数更新。 w< w + γyixi b< b + γyi γ为学习率，反复迭代直到所有样本均分类正确。 总结： ...
分类：
编程语言 时间：
2017-02-19 11:09:43
阅读次数：
213
1 为什么随机梯度下降法能work？ https://www.zhihu.com/question/27012077中回答者李文哲的解释 2 随机梯度下降法的好处？ （1）加快训练速度（2）噪音可以使得跳出局部最优 3 权衡方差和偏差： 偏差反映的是模型的准确度（对训练数据的吻合程度），方差则反映模 ...
分类：
其他好文 时间：
2016-12-19 08:48:18
阅读次数：
173
梯度下降（GD）是最小化风险函数、损失函数的一种常用方法，随机梯度下降和批量梯度下降是两种迭代求解思路，下面从公式和实现的角度对两者进行分析，如有哪个方面写的不对，希望网友纠正。 下面的h(x)是要拟合的函数，J(theta)损失函数，theta是参数，要迭代求解的值，theta求解出来了那最终要拟 ...
分类：
其他好文 时间：
2016-12-17 11:36:03
阅读次数：
194
本文总结自《Neural Networks and Deep Learning》第1章的部分内容。 使用梯度下降算法进行学习（Learning with gradient descent） 1. 目标 我们希望有一个算法，能让我们找到权重和偏置，以至于网络的输出y(x) 能够拟合所有的训练输入x。 ...
分类：
编程语言 时间：
2016-12-11 02:13:19
阅读次数：
259
测试代码（ｍａｔｌａｂ）如下： clear; load E:\dataset\USPS\USPS.mat; % data format: % Xtr n1*dim % Xte n2*dim % Ytr n1*1 % Yte n2*1 % warning: labels must range from ...
分类：
编程语言 时间：
2016-11-18 15:59:11
阅读次数：
614
第一节: 机器学习的基本概念和分类 第二节： 线性回归 批梯度下降(bgd)和随机梯度下降(sgd) 第三节: 过拟合，欠拟合 非参数学习算法：局部加权回归 ...
分类：
其他好文 时间：
2016-11-12 11:30:45
阅读次数：
140
Gradient Descent(Batch Gradient)也就是梯度下降法是一种常用的的寻找局域最小值的方法。其主要思想就是计算当前位置的梯度，取梯度反方向并结合合适步长使其向最小值移动。通过柯西施瓦兹公式可以证明梯度反方向是下降最快的方向。 经典的梯度下降法利用下式更新参量，其中J(θ)是关 ...
分类：
其他好文 时间：
2016-09-21 22:58:43
阅读次数：
277
