码迷,mamicode.com
首页 > 其他好文 > 详细

关于线性回归

时间:2018-06-11 20:31:22      阅读:177      评论:0      收藏:0      [点我收藏+]

标签:SQ   个数   应用   red   linear   方向   ...   size   分析   

线性回归($linear\  regression$),目标就是用一个(n-1)维的东西,来拟合一些在(n)维图形上的点,并且使得点集与拟合函数间的误差最小。

如果自变量的个数只有一个,就称为一元线性回归;如果自变量的个数多于一个,就称为多元线性回归。

比如,我们想得到房屋的价格与房间个数、大小、状况等多种因素之间的关系时,将这些因素作为自变量,将房屋价格作为因变量,这就是多元线性回归。

其实,我们平常说的数据挖掘,就是拟合出来一个线性回归模型。

 举个栗子

给定一个大小为$n$ 的数据集

$$\{ y_{i},x_{i1},...,x_{ia}\}_{i=1}^{n}$$

$\text{其中}\ x_{i1},...x_{id}$是第$i$个样本的$d$个属性值,$y_{i}$ 是 是该样本待预测的目标。线性回归模型假设目标$y_{i}$ 可以被属性间的线性组合描述,即

$$y_{i}=\sum_{j=1}^{d}w_{j}x_{ij}+b,i=1,...,n$$

例如,我们现在要买一套房子,然后呢,我们统计了一下每个房源的大小,方向,作用点 ,位置,环境等信息,对于每个信息每个档次,打出一个分,最后根据各个因素的影响的大小决定每个因素所占有的权重,之后我们的估价就是这些权重*分值的和了。这样的话,我们就可以根据我们的估算去买房子了。


线性回归模型有形式简单和易于建模分析的优点,它在实际问题中得到了大量的应用。


线性回归模型

线性回归的一般模型为:

$$\widehat{y}=w_{0}+\sum_{i=1}^{n}w_{i}x_{i}$$

其中$\widehat{Y}$ 表示模型的预测结果,用来和真实值$Y$ 区分。模型要学习的参数(不严谨的说,就是每个因素所占有的权重)为 $w_{0},...,w_{n}$  即:$W$。

如果我们构造:
 $$\widehat{Y}=\widehat{y}$$

 $$X=[1,x_{1},...,,x_{n}]^{T}$$

 $$W=[w_{0},w_{1},...,w_{n}]^{T}$$

那么该模型可以写为矩阵形式:

 $$\widehat{Y}=W^{T}X$$

模型的评价标准

假设集合数据为 $D=(X_{1},Y_{1}),...,(X_{n},Y_{n})$ ,将集合的 $X$ 代入到模型中即可求得模型的预测值 $\widehat{Y}$。

我们需要给模型一个优化目标,使得学到的参数能够让预测值 $\widehat{Y}$ 。 尽可能地接近真实值$Y$。

这里我们引入损失函数Loss Function这个概念。

输入任意一个数据样本的目标值 $Y_{i}$  和模型给出的预测值 $\widehat{Y_{i}}$,损失函数输出一个非负的实值。这个实值通常用来反映模型误差的大小。

对于线性回归模型来讲,最常见的损失函数就是均方误差Mean  Squared  Error,MSE),它的形式是:

 $$J(W)=MSE=\frac{1}{n}\sum_{i=1}^{n}(\widehat{Y_{i}}-Y_{i})^{2}$$

即对于一个大小为 $n$ 的集合,$MSE$是$n$ 个数据预测结果误差平方的均值。

 模型的求解方法

对于小数量级样本以及矩阵满秩的特殊情况,线性回归模型是有解析解的。

将集合中的变量写成矩阵形式:令
 $$X=[X_{1},...,X_{n}]^{T},Y=[Y_{1},...,Y_{n}]^{T}$$

根据线性回归模型,可以得到预测值 $\widehat{Y}=XW$

那么损失函数可以表示为:

 $$J(W)=MSE=\frac{1}{n}\sum_{i=1}^{n}(\widehat{Y_{i}}-Y_{i})^{2}\frac{1}{n}(XW-Y)^{T}(XW-Y)$$

将损失函数$J$对变量$W$ 求导,并令其等于$0$可得:

 $$\frac{∂J(W)}{∂W}=\frac{1}{n}(XW-Y)^{T}X=0$$

 $$X^{T}XW=X^{T}Y$$

在$X^{T}X$的逆存在时可得

 $$W=(X^{T}X)^{-1}X^{T}Y$$

关于线性回归

标签:SQ   个数   应用   red   linear   方向   ...   size   分析   

原文地址:https://www.cnblogs.com/cn-suqingnian/p/9168196.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!