一、引入
主成分分析（PCA）是一种降维算法，能大大加速你的无监督特征学习算法。更重要的是，理解PCA能让我们后面实现白化，这是一个对所有算法适用的重要的预处理步骤。
假设你在图像上训练你的算法。不过输入稍微有点冗余，因为图像中相邻的像素值是高度相关的。具体来说，假设我们在16*16的灰度图像块上训练。那么x∈R256是256维的向量，一个特征xj对应着图像中每个像...
分类：
其他好文 时间：
2016-08-14 10:23:40
阅读次数：
365
UFLDL上的ICA为什么一定要做PCA whitenAndrew Ng先生的UFLDL教程真可谓deep learning入门的首选课程。在两年前我看教程里讲ICA部分的（链接）时候，里面提到使用教程所述的ICA模型时，输入数据必须经过PCA白化操作，页面上有个TODO问为什么要这样做。以当年的我...
分类：
其他好文 时间：
2015-06-11 21:10:02
阅读次数：
186
白化是一种重要的预处理过程，其目的就是降低输入数据的冗余性，使得经过白化处理的输入数据具有如下性质：(i)特征之间相关性较低；(ii)所有特征具有相同的方差。
白化处理分PCA白化和ZCA白化，PCA白化保证数据各维度的方差为1，而ZCA白化保证数据各维度的方差相同。PCA白化可以用于降维也可以去相关性，而ZCA白化主要用于去相关性，且尽量使白化后的数据接近原始输入数据。
1...
分类：
其他好文 时间：
2014-12-25 16:25:46
阅读次数：
312
在前面的讨论中，用到的激励函数都是sigmoid函数：以为最终的输出层所有输出的范围是[0,1],而我们在自编码学习的动机就是使得输出等于输入，于是所有输入必须调整到[0,1]范围内，但是问题来了，有些数据集输入范围容易调整，比如Minist，但是PCA白化处理的输入并不满足[0,1],所以需要找到...
分类：
其他好文 时间：
2014-10-26 13:07:31
阅读次数：
240
