机器学习——多变量线性回归

【一、多变量线性回归模型】

多变量线性回归是指输入为多维特征的情况，例如：

在上图中可看出房子的价格price由四个变量(size、number of bedrooms、number of floors 、age of home)决定，为了能够预测给定条件（四个变量）下的房子的价格（y），我们需要建立相应的线性回归模型。

假设有n个变量，则相应的多变量线性回归模型如下：

注意上图中的x是指一个训练样本，即每个训练样本都是一个（n+1）维向量（包含附加的x0=1）

【二、代价函数】

多变量线性回归的代价函数如下：

其中x(i)代表第i个样本

【三、梯度下降法寻找最佳theta】

下面列出单变量线性回归梯度下降法（左）与多变量线性回归梯度下降法（右）

其中α为学习率。

【梯度下降法的两个细节处理】：
1. Feature Normalization

By looking at the values, note that house sizes are about 1000 times the number of bedrooms. When features differ by orders of magnitude, first performing feature scaling can make gradient descent converge much more quickly。

也就是说当特征之间相差很大时，例如房子的大小与卧室的数量，这样会导致梯度下降收敛比较慢，如下图（左边）所示，当对特征进行正规后，梯度下降收敛变快，如下图（右边）所示。

正规化方法可以使用mean value and the standard deviation 法，或者其他方法。

2. Selecting learning rates

学习率的正确选择应该保证每一步迭代后cost function都是下降的，如下图所示：

如果学习率α过大，可能会使得代价函数上升，而不是一直呈现下降趋势，如下图。

但是学习率α过小，那个梯度下降的收敛速度会太慢。

【选取学习率的方法】

【四、正规方程解最佳theta】

，j=0,1，…………n
由

则

注意出现下列情况时：

这时可以进行冗余feature的删除