标签：
多元线性回归是最简单的机器学习模型，通过给定的训练数据集，拟合出一个线性模型，进而对新数据做出预测。
对应的模型如下：
n: 特征数量。
一般选取残差平方和最小化作为损失函数，对应为：
M:训练样本数量。
通过最小化代价损失函数，来求得 值，一般优化的方法有两种，第一是梯度下降算法（Gradient Descent），第二种是矩阵法（The normal equations）。
给一个初始值，然后逐步的迭代改变的值，是代价损失函数逐次变小，使每次都往梯度下降的方向改变：
表示下降速度。
为了求偏导数，当只有一个样本时，即
；
即：
当有多个训练样本时，下降梯度算法即为：
由于每次迭代都需要计算所有样本的残差并加和，因此此方法也叫做批下降梯度法（batch
gradient descent），当有大规模数据时，此方法不太适合，可采取它得一个变种，即每次更新权重时，不是计算所有的样本，而是选取其中一个样本进行计算梯度，这个方法叫做随机下降梯度法（stochastic gradient descent）：
随机下降梯度法与下降梯度法对比可能收敛更快，但是可能找不到最优点而在最优点附近徘徊。
?
由于梯度下降算法需要多次迭代，并且需要指定下降速率，如果下降速度过快则可能错过最优点，如果过慢则需要迭代多次，因此还可选用矩阵法求解。
首先，需要定义一些用到的线性代数知识：
对于一个函数
，表示一个输入mxn的矩阵，输入为一个实数，即输入x为矩阵，则对此函数求导数为：
即对矩阵中每个元素求导，结果也为一个m*n的矩阵。
另外，定义矩阵的迹trace，为矩阵主对角线元素之和：
如果A为实数a，则 tr a=a。
以下是关于矩阵迹的一些性质：
对于多元线性回归，将训练数据的特征作为一个矩阵：
同时将其对应的y值也作为一个矩阵：
因此，
，
对
求导数，且：
，
则：
令上式为0，则
以上即为矩阵法的推导，其中涉及到线性代数的知识没有证明，只要将给定的公式带入求导即可得出此结论。
矩阵法与下降梯度法对比好处是不需要多次迭代，一次计算即可得出精确结果，但当数据量过大时，即设计矩阵X过大时，对矩阵的乘法即求逆有很大计算复杂度，因此此方法适用于小规模数据。另外，用矩阵法时不需要对输入特征数据中心化。
?
?
以上就是简单多元线性回归，及其对应的下降梯度算法与矩阵算法，虽然简单，但是其他一些复杂算法的基础。
标签：
原文地址：http://www.cnblogs.com/shibalang/p/4859645.html
