高斯判别分析 Gaussian Discriminant Analysis

标签：

如果在我们的分类问题中，输入特征xx是连续型随机变量，高斯判别模型(Gaussian Discriminant Analysis,GDA)就可以派上用场了。

以二分类问题为例进行说明，模型建立如下：

1. 样本输入特征为x∈Rnx∈Rn,其类别y∈{0,1}y∈{0,1}；
2. 样本类别yy服从参数为??的伯努力分布，即y∼Bernoulli(?)y∼Bernoulli(?)；
3. 两类样本分别服从不同的高斯分布，即x|y=0∼N(μ0,Σ),x|y=1∼N(μ1,Σ)x|y=0∼N(μ0,Σ),x|y=1∼N(μ1,Σ)；

对应的概率分布形式如下：

我们模型的参数包括?,μ0,μ1,Σ?,μ0,μ1,Σ。这里的两个高斯分布具有不同的均值μ0μ0和μ1μ1，但在实际应用中一般取相同的方差ΣΣ。

给定包含mm个样本的训练集S={(x(1),y(1)),(x(2),y(2)),?,(x(m),y(m))}S={(x(1),y(1)),(x(2),y(2)),?,(x(m),y(m))}，似然函数形式如下：

通过最大似然进行参数估计，用似然函数LL对各个参数求偏导：

同理，可得

仔细分析一下估计出的四个参数，我们会发现??就是在训练集上统计出的y=1y=1的样本出现的概率，μ0μ0和μ1μ1则分别为两类样本各自的均值，ΣΣ为整个训练集上的样本方差。

有了这些参数，我们怎样进行预测呢？这就很简单了，将各参数带入p(x|y)p(x|y)和p(y)p(y)，利用p(x|y)p(y)=p(x,y)p(x|y)p(y)=p(x,y)可导出联合概率，我们取使联合概率p(x,y)p(x,y)最大的类别yy即可

最后，我们来分析高斯判别模型和Logistic回归之间的情缘。如果x|yx|y服从高斯分布N(μ,Σ)N(μ,Σ)(只针对yy取两个离散值的情况)，则p(y|x)p(y|x)具有logistic函数的形式；反过来，p(y|x)p(y|x)形式上为logistic函数并不能说明x|y∼N(μ,Σ)x|y∼N(μ,Σ)。实际上，有很多组假设都能使p(y|x)p(y|x)有logistic函数的形式，只要假设满足x|yx|y服从指数族分布(Exponential Family Distribution)。例如，x|y=0∼Poisson(λ0)x|y=0∼Poisson(λ0)和x|y=1∼Poisson(λ1)x|y=1∼Poisson(λ1)，则p(y|x)p(y|x)在形式上同样为logistic函数。以高斯判别分析为例，简单证明一下：