码迷,mamicode.com
首页 > 编程语言 > 详细

线性回归算法

时间:2018-01-15 22:19:13      阅读:195      评论:0      收藏:0      [点我收藏+]

标签:rman   pos   stat   错误   最小   物理   text   顺序   用途   

回归是指利用样本(已知数据),产生拟合方程,从而对(未知数据)进行预测。

 

用途:预测、判别合理性。

困难:①选定变量(多元);②避免多重共线性;③观察拟合方程,避免过度拟合;④检验模型的合理性。

因变量与自变量的关系:①相关关系(非确定性关系,比如物理与化学成绩相关性),使用相关系数衡量线性相关性的强弱;②函数关系(确定性关系)

相关系数求解:Pearson样本积矩相关系数

技术分享图片

 

注意,如果样本是两组配对的顺序数据时,则采用Spearman等级相关系数(秩相关或名次相关)

技术分享图片

公式中,技术分享图片分别表示技术分享图片的名次(从大到小或从小到大)。

 

线性回归中最小二乘法的应用

判断直线拟合程度,如果是通过点向直线引垂线,由解析几何点到直线的距离公式可知,涉及到开方,这样不好求极值,所以改为由点向直线引竖直线求长度技术分享图片,去绝对值,技术分享图片

这回归误差/残差平方和技术分享图片(二乘数)

 

为了使得二乘数RSS最小,则求RSS的极小值,该方法称为最小二乘法

技术分享图片

解二元一次方程组,得到a, b的估计值。

注意:回归问题擅长于内推插值,而不擅长于外推归纳,在使用回归模型做预测时要注意x适用的取值范围。


 

(1)多元线性回归模型

①   判定系数(模型对样本数据的解释程度)

技术分享图片

②回归系数检验统计量技术分享图片(变量的显著性)

 

③线性回归方程拟合程度检验统计量(模型的拟合程度)

技术分享图片

技术分享图片

④简单线性回归(一元),样本Pearson积矩相关系数
技术分享图片

 

 

(2)含虚拟变量的多元线性回归模型

技术分享图片

如果直接定义黄、白、黑分别为1,2,3,这样是错误的

技术分享图片

 

虚拟变量技术分享图片在这里起到调整截距作用

(3)逐步回归

向前引入法:从一元回归开始,逐步增加变量,使指标值达到最优为止;

向后剔除法:从全变量回归开始,逐步删去某个变量,使指标值。。。;

逐步筛选法:同时向前引入和向后删除

 

(4)回归诊断

①样本是否符合正态分布假设,如果不符合,则检验和区间预测没法做,这是因为很多检验和预测方法都是基于正态分布的假定之上;

②是否存在离群值导致模型产生较大误差,比如输入错误;

③线性模型是否合理;

④误差是否满足独立性、等方差性、正态分布等假设条件,即不会随y的改变而改变,误差项不受y的影响

⑤是否存在多重共线性,这会导致矩阵行列式值为0,则矩阵的逆会趋于无穷大,多元回归模型的系数也会失真变大。

技术分享图片

 

对应的解决方法:

①   拟合度检验,卡方统计量;

②   散点图观察等;

③   统计量是否合理;

④   残差图是否合理;

⑤   逐步回归,解决多重共线性的一种方法

 

(5)多重共线性

若存在多重共线性,则技术分享图片至少一个特征值近似接近于0。

技术分享图片经过中心化和标准化得到的向量,记技术分享图片技术分享图片

技术分享图片

 

因此,如果存在多重共线性,则技术分享图片是没办法求解的,或者求解结果不稳定。

出现模型不稳定情况(鲁棒性较低),当数据发生一小点变化时,结果就会发生很大变化,比如系数求出来很大,几千万、几百万;系数正负符号也会经常发生切变。

   (注意:矩阵技术分享图片出现奇异性原因有两个:①变量个数比样本多;②出现多重共线性。)

 

多重共线性度量指标

技术分享图片

 

如何找出哪些变量是多重共线性

技术分享图片

 

线性回归算法

标签:rman   pos   stat   错误   最小   物理   text   顺序   用途   

原文地址:https://www.cnblogs.com/ws0751/p/8289871.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!