Ordinary Least Squares 普通最小二乘法 当达到最小值的时候，就达到最佳拟合直线 求关于系数w 最小二次方程的最小值，可以利用求对w偏导数 同上面等价的另外一种形式的表示： 也可以简化成 推导过程： Ridge Regression 岭回归 Ridge Regression 岭回 ...
分类：
其他好文 时间：
2016-08-05 07:44:12
阅读次数：
133
传统线性模型的假设之一是因变量之间相互独立，并且如果自变量之间不独立，会产生共线性，对于模型的精度也是会有影响的。虽然完全独立的两个变量是不存在的，但是我们在分析中也可以使用一些手段尽量减小这些问题产生的影响，例如采用随机抽样减小因变量间的相关性，使其满足假设；采用岭回归、逐步回归、主成分回归等解决 ...
分类：
其他好文 时间：
2016-07-03 15:42:39
阅读次数：
476
本章内容□ 线性回归□ 局部加权线性回归□ 岭回归和逐步线性回归□ 预测鲍鱼年龄和玩具售价 8.1用线性回归找到最佳拟合直线 ...
分类：
其他好文 时间：
2016-05-01 20:25:38
阅读次数：
314
多元线性回归的最小二乘解（无偏估计） 岭回归(Ridge Regression，RR) 当自变量间存在复共线性时，｜X′X｜≈0，我们设想给X′X加上一个正常数矩阵kI，（k＞0)， 那么X′X+kI接近奇异癿程度就会比X′X接近奇异癿程度小得多。岭回归做为β癿估计应比最小二乘估计稳定，当k=0时癿 ...
分类：
其他好文 时间：
2016-04-23 18:02:04
阅读次数：
128
那几年。我学习机器学习的主要内容：1.机器学习基本导论，机器学习入门了解；2.线性回归与Logistic。xx业绩预測系统。智能交互统计系统等。3.岭回归。Lasso，变量选择技术。维度的技巧等技术；4.降维技术。xx指标设计，详细规范。5.线性分类器，Knn算法，朴素贝叶斯分类器。文本挖掘。XX智...
分类：
其他好文 时间：
2015-12-19 17:55:21
阅读次数：
141
多元线性回归模型 的最小二乘估计结果为 如果存在较强的共线性，即 中各列向量之间存在较强的相关性，会导致的从而引起对角线上的 值很大 并且不一样的样本也会导致参数估计值变化非常大。即参数估计量的方差也增大，对参数的估计会不准确。 因此，是否可以删除掉一些相关性较强的变量呢？如果p个变量之间具有较强的...
分类：
其他好文 时间：
2015-12-12 12:22:27
阅读次数：
13446
1、机器学习概论。 2、线性回归与Logistic。案例：电子商务业绩预测 3、岭回归，Lasso，变量选择技术。从一团乱麻中识别有用维度的技巧 4、降维技术。案例：业绩综合指标设计 5、线性分类器，Knn算法，朴素贝叶斯分类器，文本挖掘，案例：智能判断垃圾短信，通过文本挖掘给用户加标签，评论自动分...
分类：
编程语言 时间：
2015-11-26 01:23:58
阅读次数：
240
尽管有些内容还是不懂，先截取的摘录。1.变量选择问题：从普通线性回归到lasso 使用最小二乘法拟合的普通线性回归是数据建模的基本方法。其建模要点在于误差项一般要求独立同分布（常假定为正态）零均值。t检验用来检验拟合的模型系数的显著性，F检验用来检验模型的显著性（方差分析）。如果正态性不成立，...
分类：
其他好文 时间：
2015-11-08 19:25:44
阅读次数：
1650
本文分别介绍了线性回归、局部加权回归和岭回归，并使用python进行了简单实现。
分类：
其他好文 时间：
2015-09-26 22:35:07
阅读次数：
322
通用文件处理：importnumpyasnp
//文件名和文件中每行的分隔符
defloadDataSet(fileName,dotSplit):
numFeat=len(open(fileName).readline().split(dotSplit))
dataMat=[];labelMat=[]
fr=open(fileName)
//该数据集默认是最后一列是因变量
forlineinfr.readlines():
lineArr=[..
分类：
其他好文 时间：
2015-09-10 11:15:39
阅读次数：
364
