码迷,mamicode.com
首页 >  
搜索关键字:梯度    ( 2016个结果
【转】梯度下降法
以下内容转载自http://www.duzelong.com/wordpress/具体:概述:http://www.duzelong.com/wordpress/201507/archives1108/ 步长:http://www.duzelong.com/wordpress/201507/ar.....
分类:其他好文   时间:2015-07-29 15:52:21    阅读次数:100
【机器学习基础】梯度提升决策树
引言上一节中介绍了《随机森林算法》,该算法使用bagging的方式作出一些决策树来,同时在决策树的学习过程中加入了更多的随机因素。该模型可以自动做到验证过程同时还可以进行特征选择。 这一节,我们将决策树和AdaBoost算法结合起来,在AdaBoost中每一轮迭代,都会给数据更新一个权重,利用这个权重,我们学习得到一个g,在这里我们得到一个决策树,最终利用线性组合的方式得到多个决策树组成的G。...
分类:其他好文   时间:2015-07-26 12:38:46    阅读次数:149
共轭梯度法(conjugate gradient method)
该方法是快速求解Ax=b线性系统的方法,他要求矩阵A是对称正定矩阵。 算法执行过程: matlab实现:clear;%删除工作空间的所有变量,释放系统内存 clc;%清楚命名窗口 A=[4 1;1 3]; b=[1,2]'; N=length(b); %解向量的维数 fprintf('库函数计算结果:'); x=inv(A)*b %库函数计算结果 x=[2;1];...
分类:其他好文   时间:2015-07-25 18:35:23    阅读次数:175
机器学习——多变量线性回归
【多变量线性回归模型】多变量线性回归是指输入为多维特征的情况,例如: 在上图中可看出房子的价格price由四个变量(size、number of bedrooms、number of floors 、age of home)决定,为了能够预测给定条件(四个变量)下的房子的价格(y),我们需要建立相应的线性回归模型。假设有n个变量,则相应的多变量线性回归模型如下:注意上图中的x是指一个训练样本,即每...
分类:其他好文   时间:2015-07-23 23:50:38    阅读次数:337
机器学习之最小二乘法和梯度下降法的区别
摘自知乎:其实, 在计算量方面, 两者有很大的不同, 因而在面对给定的问题时, 可以有选择性的根据问题的性质选择两种方法中的一个.具体来说, 最小二乘法的矩阵公式是, 这里的 A 是一个矩阵, b 是一个向量. 如果有离散数据点,, 而想要拟合的方程又大致形如, 那么, A 就是一个的矩阵, 第 i...
分类:其他好文   时间:2015-07-22 22:36:17    阅读次数:128
线性回归与梯度下降法
前言最近在看斯坦福的《机器学习》的公开课,这个课程是2009年的,有点老了,不过讲的还是很好的,廓清了一些我以前关于机器学习懵懂的地方。我的一位老师曾经说过:什么叫理解?理解就是你能把同一个事情用自己的语言表达出来,并且能让别人听得懂。本着这样的原则,同时也为了证明自己是”理解”的,于是决定打算在学...
分类:其他好文   时间:2015-07-22 06:53:16    阅读次数:199
感知机模型
感知机(perceptron)是二类分类的线性分类模型,其输入为实例的特征向量,输出为实例的类别,取+1和-1二值。感知机对应于输入空间(特征空间)中将实例划分为正负两类的分离超平面,属于判别模型。感知机旨在求出将训练数据进行线性划分的分离超平面。为此,导入基于误分类的损失函数,利用梯度下降法对损失...
分类:其他好文   时间:2015-07-22 06:47:05    阅读次数:178
机器学习中的数学(1)-回归(regression)、梯度下降(gradient descent)
机器学习中的数学(1)-回归(regression)、梯度下降(gradient descent)版权声明: 本文由LeftNotEasy所有,发布于http://leftnoteasy.cnblogs.com。如果转载,请注明出处,在未经作者同意下将本文用于商业用途,将追究其法律责任。前言: 上次...
分类:其他好文   时间:2015-07-21 21:56:54    阅读次数:116
《机器学习实战》中Logistic回归几个算法的解析
《机器学习实战》第五章《Logistic回归》中讲到了梯度上升法,随机梯度上升法和改进的随机梯度上升法,下面把这几个算法思想总结一下。首先,梯度上升法比较简单,根据梯度上升的迭代公式计算出了回归系数。书中并没有采取最小二乘法之类的规则来作为迭代终止的条件,而是直接..
分类:编程语言   时间:2015-07-21 18:55:19    阅读次数:241
斯坦福CS229机器学习课程笔记一:线性回归与梯度下降算法
应该是去年的这个时候,我开始接触机器学习的相关知识,当时的入门书籍是《数据挖掘导论》。囫囵吞枣般看完了各个知名的分类器:决策树、朴素贝叶斯、SVM、神经网络、随机森林等等;另外较为认真地复习了统计学,学习了线性回归,也得以通过orange、spss、R做一些分类预测工作。可是对外说自己是搞机器学习的...
分类:编程语言   时间:2015-07-16 16:18:12    阅读次数:461
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!