机器学习—广义线性模型(GLM)

逻辑回归是广义线性模型的一种特殊情况，但是在前面这篇http://blog.csdn.net/zhangzhengyi03539/article/details/46574803 讲逻辑回归的时候没有说明为什么要采用单极型函数，这篇文章将会从浅入深的讲解一下广义线性模型。

一、指数分布族(ExponentialFamily)。
如果一个分布函数可以写成如下的形式

$p(y,\eta)=b(y)e^{\eta^TT(y)-a(\eta)} \tag{1}$

$\eta$：自然参数，标准参数，规范参数
$T(y)$：充分统计量
$a(\eta)$：对数分函数

其中，$T,a,b$ 确定了参数为$\eta$的一种分布函数。
例如，对于伯努利分布~$Bernouli(\phi),p(y=1;\phi)=\phi,p(y=0,\phi)=1-\phi$ ,对于不同的$\phi$ 我们得到不同的伯努利分布函数，这就是伯努利分布族。下面我们可以推导一下，证明伯努利分布~$Bernouli(\phi)$ 满足上式。
$p(y;\phi)=\phi^y(1-\phi)^{1-y}$
　　　　$=e^{ylog\phi+(1-y)log(1-\phi)}$
　　　　$=e^{ylog\frac{\phi}{1-\phi}+log(1-\phi)}$
对比式(1)可得
$\eta=log\frac{\phi}{1-\phi}$
$T(y)=y$
$a(\eta)=log(1-\phi)$
$b(y)=1$
如果我们求解$\phi$ 便可得到$\phi=\frac{1}{1+e^{-\eta}}$，这就是我们前面为什么选择单极性函数的原因，当然到这里你可能还不是特别明白，为什么要这样做，不要着急，继续往下看就会明白了。

二、GLM的三个假设
广义线性模型，顾名思义，线性模型，肯定是基于特征的线性组合的模型。对于y关于x的条件概率和模型设定三个假设：

1、$y|x;\theta$~$ExponentialFamily(\eta)$ 对于给定的$x$ 和$\theta$ ,$y$ 的分布服从参数为$\eta$ 的指数分布族
2、对于给定的$x$ ,目标是预测给定$x$ 下$T(y)$ 的期望。
3、自然参数$\eta$ 和输入$x$ 是线性关系：$\eta=\theta^Tx$ (如果$\eta$ 是向量，那么$\eta_i=\theta_i^Tx$ )。

对于假设1，没啥难理解的，这个主要是用来限制$y|x,\theta$ 的分布的，这个分布要能够写成指数分布族的形式。注意这里的$\theta$ 与$\eta$
对于假设2，由于，在大多数例子中$T(y)=y$ ,$h_\theta(x)=E(y|x)$ 。因此，预测$T(y)$ 就是预测$y$ ，简单说就是预测因变量(分类就对应类别标签，回归就是因变量值)。可以看出来这个说的是决策函数。
对于假设3，意味着在任何出现$\eta$ 的地方，我们都需要用$\eta=\theta^Tx$ 或者$\eta_i=\theta_i^Tx$ 替换。$\eta$ 根据假设1应该是指数分布族里面的参数，这里需要全部换成$\theta$

注意到GLM的三个假设只是给了我们一个框架，告诉我们怎么做决策，模型里面的参数$\theta$ GLM并没有告诉我们怎么求，但是只要知道每个样本的概率求法(带入GLM框架)，我们可以根据极大似然法求解。

三、最小二乘法
讲最小二乘法之前先来看看高斯分布的指数分布族变换
令$y|x$~$N(\mu,\sigma^2)$ ，我们考虑简单情况$\sigma^2=1$ 所以有下式
$p(y,\mu)=\frac{1}{\sqrt{2\pi}}exp(-\frac{1}{2}(y-\mu)^2)$
　　　　$=\frac{1}{\sqrt{2\pi}}exp(-\frac{1}{2}y^2)exp(\mu y-\frac{1}{2}\mu^2)$

$\eta=\mu$
$T(y)=y$
$a(\eta)=\frac{1}{2}\mu^2=\frac{1}{2}\eta^2$
$b(y)=\frac{1}{\sqrt{2\pi}}exp(-\frac{1}{2}y^2)$

接下来，根据GLM的三个假设可以得到
$h_\theta(x)=E[y|x;\theta]$
　　 　$=\mu$
　　 　$=\eta$
　　 　$=\theta^Tx$

第一行根据是GLM假设2，第二行根据是高斯分布性质，第三行根据是高斯分布的指数分布族形式，最后一行根据是GLM假设3。
这个就得到了和线性回归里面最小二乘的概率解释相同的公式。