线性回归原理篇

介绍

经典线性模型自变量的线性预測就是因变量的预计值。

广义线性模型：自变量的线性预測的函数是因变量的预计值。常见的广义线性模型有：probit模型、poisson模型、对数线性模型等等。对数线性模型里有：logistic regression、Maxinum entropy。

1.线性回归原理

当中，为偏置參数。M为特征数目。为基函数（径向基函数(rbf)、sigmoid基函数等），

特别地，当 = ,即为简单的多元线性回归。当然，依据须要我们也能够在后面正则项。

2.參数学习

使用一般的平方和误差作为Loss function，主要有以下两种方法学习參数

（1）依据梯度下降不断迭代，此处会涉及到learing rate（学习速率）

（2）直接利用公式计算。得到一维精确解
平方和误差定义 ：

令这个梯度等于零。

终于我们能够得到 (加黑表示为向量)

当然。我们也能够依据实际的情况定义其它的Loss function。

3.思考存在的意义

我们能够利用平方和误差对进行求导，

终于解得

当中， ,

因此，偏置补偿了目标值的平均值（在训练集）与基函数的值的加权求和之间的差。

4.从最根本的广义线性模型角度，导出经典线性模型

1）指数家族

当固定T时，这个分布属于指数家族中的哪种分布就由a和b两个函数决定。以下这样的是伯努利分布，相应于逻辑回归问题

注：从上面可知 ，从而，在后面用GLM导logistic regression的时候会用到这个sigmoid函数。

以下这样的是高斯分布，相应于经典线性回归问题

2）GLM（广义线性模型）

指数家族的问题能够通过广义线性模型来解决。怎样构建GLM呢？在给定x和參数后，y的条件概率p(y|x,θ) 须要满足以下三个如果：

assum1) y | x; θ ～ ExponentialFamily(η).

assum2) h(x) = E[y|x]. 即给定x，目标是预測T(y)的期望，通常问题中T(y)=y

assum3) η = θTx。即η和x之间是线性的

3）经典线性回归

经典线性回归：预測值y是连续的，如果给定x和參数，y的概率分布服从高斯分布（相应构建GLM的第一条如果）。

由上面高斯分布和指数家族分布的相应关系可知，η=μ。依据构建GLM的第2、3条如果可将model表示成：

5.加快模型收敛速度

能够将训练集中的数据处理到某个特征的范围内（当然这样对终于的结果有一定的影响，这个须要依据集体的目标、数据分布等来分析），从而加快模型收敛，此法不仅限于线性回归。主要有以下几种方法
（1）
（2）[X-mean(X)]/std(X);
（3）sigmod
（4）tan
（5）log

6.长处

（1）训练速度快
（2）对趋势比較明显的数据预測效果比較好

7.缺点

（1）easy欠拟合
（2）针对线性不可分的情况效果往往不佳

8.注意事项

（1）特征之间应相互独立（防止多元共线性，对于多元共线性问题，我们也能够通过逐步回归、岭回归的方法解决。从某种意义上来说相似于加入正则项）
（2）特征不宜过多
（3）做下One-hot处理效果还不错
（4）特征与预測变量之间应有一定相关性（能够使用皮尔逊方法检測）
（5）残差e 服从正态分布N(0,σ2) 。

其方差σ2 = var (ei) 反映了回归模型的精度。 σ 越小，用所得到回归模型预測y的准确度愈高
（6） e 的大小不随全部变量取值水平的改变而改变，即方差齐性
參考文献
1.Pattern Recognition And Machine Learning
2.http://blog.csdn.net/lilyth_lilyth/article/details/10032993