PRML读书笔记（一）：重访曲线拟合（最小二乘法的统计学原理）

学过一点统计的人都会知道最小二乘法，最简单的曲线拟合方式。最小二乘法是通过最小化误差平方和来求解模型参数$\omega$的，记为：

$$Min\frac{1}{2}\sum_{i=1}^{n}\{y(x,\omega)-t\}^{2}$$
但这一优化目标难免出现模型过拟合的情况，所以通常会在误差平方和之上在加上一项$\lambda\omega^{T}\omega$，以惩罚过于复杂的模型（以多项式模型为例，系数$\omega$的平方和越大，说明模型的复杂程度越高，而$\lambda$表明这个惩罚的力度），记为：
$$Min \frac{1}{2}\sum_{i=1}^{n}\{y(x,\omega)-t\}^{2}+\lambda\omega^{T}\omega$$
但不知道大家考虑过没有，这个优化目标只是我们直觉上认为最好的目标，它的统计学原理在哪里呢？
通常我们认为因变量t是由某个系统方程$y(x,\omega)$加上一个服从零均值正态分布的随机扰动，记为：
$$p(t|x,\omega,\beta)=N\{t|y(x,\omega）,\beta^{-1})\}$$
注意这里的$\beta=\frac{1}{\sigma^{2}}$，代表随机扰动的强度，$\beta$的值越大，扰动越弱。

那么如果整个训练集有n个样本点，那么从极大似然估计的角度看，基于该训练集的似然函数是：
$$p(t|x,\omega,\beta)=\prod_{i=1}^{n}N(t_i|y(x_i,w),\beta^{-1})$$
相应的对数似然函数为：
$$lnp(t|x,\omega,\beta)=-\frac{\beta}{2}\sum_{i=1}^{n}\{y(x_i,w)-t_i\}^{2}+\frac{n}{2}ln\beta-\frac{n}{2}ln(2\pi)$$
那么如果只对$\omega$求似然函数极大值，对数似然函数等式右侧的后两项不包含$\omega$，可以先去除，而第一项的系数$\frac{\beta}{2}$替换成1不影响参数$\omega$的极值点位置，而将第一项的负号变成正号，那么就由原来求对数似然函数的极大值就变成了求以下函数的极小值：
$$Min\sum_{i=1}^{n}\{y(x_i,\omega)-t_i\}^{2}$$
而这恰恰是最小二乘法的优化目标。所以说最小二乘法的统计学原理即是在默认因变量受到的干扰为零均值正态分布的情况下，由最大似然估计推导出的优化目标。
而进一步将贝叶斯方法引入对参数的估计。我们先验地认为参数$\omega$服从均值为0方差相同且相互独立的正态分布，参数$\alpha$代表着先验的认为参数的波动程度，$\alpha$越大，波动越小，记为：
$$p(\omega|\alpha)=N(\omega|0,\alpha^{-1}I)=(\frac{\alpha}{2\pi})^{\frac{M+1}{2}}exp\{-\frac{\alpha}{2}\omega^{T}\omega\}$$
其中（M+1）代表着一个有M+1个参数。
由贝叶斯定理知，后验分布同先验分布和似然函数的乘积成正比，记为：
$$p(\omega|x,t,\alpha,\beta)\propto p(t|x,\omega,\beta)p(\omega|\alpha)$$
得到后验分布后取对数似然函数（与参数$\omega$无关的项先去除），记为：
$$lnp(\omega|x,t,\alpha,\beta)=-\frac{\beta}{2}\sum_{i=1}^{n}\{y(x_i,\omega)-t_i\}^{2}-\frac{\alpha}{2}\omega^{T}\omega$$
方程左右同时除以$\beta$，取相反值之后就变成了带惩罚项的最小二乘法（岭回归）的优化目标。注意在最开始的地方衡量对模型复杂度惩罚力度的$\lambda$参数，现在变成了$\frac{\alpha}{\beta}$，即与先验分布参数$\omega$的波动程度$\alpha$成正比，$\alpha$越大，先验的认为参数波动越小，对模型复杂程度的惩罚力度就应该越强，而与$\beta$成反比关系，$\beta$越小，因变量围绕均值的波动越大，对模型复杂程度的惩罚力度越大。就后一点说明一下，如果因变量受到的随机扰动越强，那么样本点的散布状况很有可能是随机扰动造成的，我们就不能允许模型通过提高复杂程度去捕捉这种散布状况，所以说$\beta$和$\lambda$成反比关系。