一、线性回归问题 输入的是特征向量，输出为实数，对于，，模型函数为 衡量误差为平方错误，则Ein为， Eout为未来没有看过的数据资料在模型函数上所得的错误 二、线性回归算法 由Ein可得 目的是求得Ein最小，可知在最低点时Ein最小，即梯度为0的时候 由， 如同，可知 其中 令，可得 输入矩阵X ...
分类：
其他好文 时间：
2017-05-09 21:50:24
阅读次数：
180
一.背景 传统的线性回归算法用于拟合所有的数据，当数据量非常的大，特征之间的关联非常的复杂的时候，这个方法就不太现实。这个时候就可以采用对数据进行切片的方式，然后在对切片后的局部的数据进行线性回归，如果首次切片之后的数据还是不符合线性的要求，那么就继续执行切片。在这个过程中树结构和回归算法是非常有用 ...
分类：
其他好文 时间：
2017-04-26 17:14:59
阅读次数：
133
2. 逻辑回归 Logistic回归算法基于Sigmoid函数，或者说Sigmoid就是逻辑回归函数。Sigmoid函数定义如下： 11+e?z。函数值域范围(0,1)。 因此逻辑回归函数的表达式如下： hθ(x)=g(θTX)=11+e?θTX其中，g(z)=11+e?z 其导数形式为： g′(z ...
分类：
其他好文 时间：
2017-04-14 00:11:49
阅读次数：
209
支持向量机原理(一) 线性支持向量机 支持向量机原理(二) 线性支持向量机的软间隔最大化模型 支持向量机原理(三)线性不可分支持向量机与核函数 支持向量机原理(四)SMO算法原理 支持向量机原理(五)线性支持回归 在前四篇里面我们讲到了SVM的线性分类和非线性分类，以及在分类时用到的算法。这些都关注 ...
分类：
其他好文 时间：
2017-04-07 18:30:01
阅读次数：
278
逻辑回归是一个分类算法，它可以处理二元分类以及多元分类。虽然它名字里面有“回归”两个字，却不是一个回归算法。那为什么有“回归”这个误导性的词呢？个人认为，虽然逻辑回归是分类模型，但是它的原理里面却残留着回归模型的影子，本文对逻辑回归原理做一个总结。 1. 从线性回归到逻辑回归 我们知道，线性回归的模 ...
分类：
其他好文 时间：
2017-04-05 22:05:42
阅读次数：
228
scikit-learn对于线性回归提供了比较多的类库，这些类库都可以用来做线性回归分析，本文就对这些类库的使用做一个总结，重点讲述这些线性回归算法库的不同和各自的使用场景。 线性回归的目的是要得到输出向量YY和输入特征XX之间的线性关系，求出线性回归系数θθ,也就是 Y=XθY=Xθ。其中YY的维 ...
分类：
编程语言 时间：
2017-04-05 22:02:10
阅读次数：
302
7.1.1 回归与现代预测 7.1.2 最小二乘法 7.1.3 代码实现 （1）导入数据 （3）主函数 资料来源：郑捷《机器学习算法原理与编程实践》 仅供学习研究 ...
分类：
编程语言 时间：
2017-02-17 14:56:47
阅读次数：
256
转载于：http://www.cnblogs.com/pinard/p/6050306.html （楼主总结的很好，就拿来主义了，不顾以后还是多像楼主学习） 决策树算法在机器学习中算是很经典的一个算法系列了。它既可以作为分类算法，也可以作为回归算法，同时也特别适合集成学习比如随机森林。本文就对决策树 ...
分类：
编程语言 时间：
2017-02-06 19:45:17
阅读次数：
533
（上接第三章） 3.4 Scikit-Learn与回归树 3.4.1 回归算法原理 在预测中，CART使用最小剩余方差（squared Residuals Minimization）来判断回归时的最优划分，这个准则期望划分之后的子树与样本点的误差方差最小。这样决策树将数据集切分成很多子模型数据，然后 ...
分类：
编程语言 时间：
2017-01-04 18:34:00
阅读次数：
577
看机器学习看到了回归函数，看了一半看不下去了，看到能用方差进行函数回归，又手痒痒了，自己推公式写代码验证：常见的最小二乘法是一阶函数回归回归方法就是寻找方差的最小值y = kx + bxi, yiy-yi = kxi+b-yi方差为∑(kxi + b - yi )^2f = k^2∑xi^2 + b... ...
分类：
编程语言 时间：
2017-01-01 21:34:40
阅读次数：
297
