码迷,mamicode.com
首页 > 其他好文 > 详细

最大方差和最小协方差解释(线性代数看PCA)

时间:2018-07-04 16:03:15      阅读:339      评论:0      收藏:0      [点我收藏+]

标签:维数   机器   最大   独立   数学   存在   形式   变换   ali   

PCA降维

                        ——最大方差和最小协方差联合解释(线性代数看PCA)

   注:根据网上资料整理而得,欢迎讨论

      机器学习算法的复杂度和数据的维数有着密切关系,甚至与维数呈指数级关联。因此我们必须对数据进行降维。

      降维当然意味着信息的丢失,不过鉴于实际数据本身常常存在的相关性,我们可以想办法在降维的同时将信息的损失尽量降低。

      PCA是一种具有严格数学基础并且已被广泛采用的降维方法。

协方差矩阵及优化目标

      如果我们必须使用一维来表示这些数据,又希望尽量保留原始的信息,你要如何选择?

通过上一节对基变换的讨论我们知道,这个问题实际上是要在二维平面中选择一个方向,将所有数据都投影到这个方向所在直线上,用投影值表示原始记录。这是一个实际的二维降到一维的问题。

那么如何选择这个方向(或者说基)才能尽量保留最多的原始信息呢?一种直观的看法是:希望投影后的投影值尽可能分散。

方差

      上文说到,我们希望投影后投影值尽可能分散,而这种分散程度,可以用数学上的方差来表述。被形式化表述为:寻找一个一维基,使得所有数据变换为这个基上的坐标表示后,方差值最大,(即:投影之后的点比较分散,没有相关性。以达到一个很好的降维效果)

协方差

      当协方差为0时,表示两个字段完全独立。为了让协方差为0,我们选择第二个基时只能在与第一个基正交的方向上选择。因此最终选择的两个方向一定是正交的。

至此,我们得到了降维问题的优化目标:将一组N维向量降为K维(K大于0,小于N),其目标是选择K个单位(模为1)正交基,使得原始数据变换到这组基上后,各字段两两间协方差为0,而字段的方差则尽可能大(在正交的约束下,取最大的K个方差)。即:投影之后的点比较分散,没有相关性。以达到一个很好的降维效果)

协方差矩阵

在数学上研究计算方案。

设我们有m个n维数据记录,将其按列排成n乘m的矩阵X,设C=1/m*XXT,则C是一个对称矩阵,其对角线分别个各个字段的方差,而第i行j列和j行i列元素相同,表示i和j两个字段的协方差

协方差矩阵对角化

      根据上述推导,我们发现要达到优化目前,等价于将协方差矩阵对角化:即除对角线外的其它元素化为0,并且在对角线上将元素按大小从上到下排列,这样我们就达到了优化目的。这样说可能还不是很明晰,我们进一步看下原矩阵与基变换后矩阵协方差矩阵的关系:

设原始数据矩阵X对应的协方差矩阵为C,而P是一组基按行组成的矩阵,设Y=PX,则Y为X对P做基变换后的数据。设Y的协方差矩阵为D,我们推导一下D与C的关系:

D = 1/m*YYT= 1/m*(PX)(PX)T=1/m*PXXTP=P(1/m*XXT)P=PCPT

现在事情很明白了!我们要找的P不是别的,而是能让原始协方差矩阵对角化的P。换句话说,优化目标变成了寻找一个矩阵P,满足PCPT是一个对角矩阵,并且对角元素按从大到小依次排列,那么P的前K行就是要寻找的基,用P的前K行组成的矩阵乘以X就使得X从N维降到了K维并满足上述优化条件

      至此,我们离“发明”PCA还有仅一步之遥!

现在所有焦点都聚焦在了协方差矩阵对角化问题上,有时,我们真应该感谢数学家的先行,因为矩阵对角化在线性代数领域已经属于被玩烂了的东西,所以这在数学上根本不是问题。

      由上文知道,协方差矩阵C是一个是对称矩阵,在线性代数上,实对称矩阵有一系列非常好的性质:

1)实对称矩阵不同特征值对应的特征向量必然正交。

2)设特征向量λ重数为r,则必然存在r个线性无关的特征向量对应于λ,因此可以将这r个特征向量单位正交化。

由上面两条可知,一个n行n列的实对称矩阵一定可以找到n个单位正交特征向量,设这n个特征向量为e1,e2,?,en,我们将其按列组成矩阵:

E=(e1,e2,?en)

      则对协方差矩阵C有如下结论:

ETCE=Λ;

      其中Λ为对角矩阵,其对角元素为各特征向量对应的特征值(可能有重复)。

      到这里,我们发现我们已经找到了需要的矩阵P:P=ET

      P是协方差矩阵的特征向量单位化后按行排列出的矩阵,其中每一行都是C的一个特征向量。如果设P按照Λ中特征值的从大到小,将特征向量从上到下排列,则用P的前K行组成的矩阵乘以原始数据矩阵X,就得到了我们需要的降维后的数据矩阵Y。

进一步讨论

       PCA本质上是将方差最大的方向作为主要特征,并且在各个正交方向上将数据“离相关”,也就是让它们在不同正交方向上没有相关性。

因此,PCA也存在一些限制,例如它可以很好的解除线性相关,但是对于高阶相关性就没有办法了,对于存在高阶相关性的数据,可以考虑Kernel PCA,通过Kernel函数将非线性相关转为线性相关,关于这点就不展开讨论了。

另外,PCA假设数据各主特征是分布在正交方向上,如果在非正交方向上存在几个方差较大的方向,PCA的效果就大打折扣了。

最大方差和最小协方差解释(线性代数看PCA)

标签:维数   机器   最大   独立   数学   存在   形式   变换   ali   

原文地址:https://www.cnblogs.com/azhenwang/p/9263369.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!