PCA数学角度解析

标签：处理   统计   lin   images   保存   import   最小值   a算法   线性   

转：http://blog.csdn.net/passball/article/details/24037593

主成分分析（PCA）是多元统计分析中用来分析数据的一种方法，它是用一种较少数量的特征对样本进行描述以达到降低特征空间维数的方法，它的本质实际上是K-L变换。PCA方法最著名的应用应该是在人脸识别中特征提取及数据维，我们知道输入200*200大小的人脸图像，单单提取它的灰度值作为原始特征，则这个原始特征将达到40000维，这给后面分类器的处理将带来极大的难度。著名的人脸识别Eigenface算法就是采用PCA算法，用一个低维子空间描述人脸图像，同时用保存了识别所需要的信息。下面先介绍下PCA算法的本质K-L变换。

1、K-L变换（卡洛南-洛伊（Karhunen-Loeve）变换）：最优正交变换  

• 一种常用的特征提取方法；
• 最小均方误差意义下的最优正交变换；
• 在消除模式特征之间的相关性、突出差异性方面有最优的效果。

 

                                                             

取得最小值。

因此，K-L变换定义：当取矩阵R的d个最大特征值对应的特征向量来展开x时，其截断均方误差最小。这d个特征向量组成的正交坐标系称作x所在的D维空间的d维K-L变换坐标系， x在K-L坐标系上的展开系数向量y称作x的K-L变换。

 

---

总结下，K-L变换的方法：对相关矩阵R的特征值由大到小进行排队，

则均方误差最小的x近似于：

                                                               

矩阵形式：

 

上式两边乘以U的转置，得

                                             

 

向量y就是变换（降维）后的系数向量，在人脸识别Eigenface算法中就是用系数向量y代替原始特征向量x进行识别。

                                                     

设有N个人脸训练样本，每个样本由其像素灰度值组成一个向量x_i，则样本图像的像素点数即为x_i的维数，M=width*height ，由向量构成的训练样本集为。

求出协方差矩阵的特征向量u_i和对应的特征值，这些特征向量组成的矩阵U就是人脸空间的正交基底，用它们的线性组合可以重构出样本中任意的人脸图像，（如果有朋友不太理解这句话的意思，请看下面的总结2。）并且图像信息集中在特征值大的特征向量中，即使丢弃特征值小的向量也不会影响图像质量。

将协方差矩阵的特征值按大到小排序：。由大于的对应的特征向量构成主成分，主成分构成的变换矩阵为：

                               

这样每一幅人脸图像都可以投影到构成的特征脸子空间中，U的维数为M×d。有了这样一个降维的子空间，任何一幅人脸图像都可以向其作投影，即并获得一组坐标系数，即低维向量y，维数d×1,为称为KL分解系数。这组系数表明了图像在子空间的位置，从而可以作为人脸识别的依据。

有朋友可能不太理解，第一部分讲K-L变换的时候，求的是相关矩阵的特征向量和特征值，这里怎么求的是协方差矩阵?

，可以看出其实用代替x就成了相关矩阵R，相当于原始样本向量都减去个平均向量，实质上还是一样的，协方差矩阵也是实对称矩阵。

1、在人脸识别过程中，对输入的一个测试样本x，求出它与平均脸的偏差，则在特征脸空间U的投影，可以表示为系数向量y：

                                     

U的维数为M×d，的维数为M×1，y的维数d×1。若M为200*200=40000维，取200个主成分，即200个特征向量，则最后投影的系数向量y维数降维200维。

                                

PCA数学角度解析

标签：处理   统计   lin   images   保存   import   最小值   a算法   线性   

原文地址：http://www.cnblogs.com/jojo123/p/6732819.html