第一步：下载pca_exercise.zip，里面包含有图像数据144*10000，每一行代表一幅12*12的图像块，首先随见展示200幅：第二步：0均值处理，确保数据均值为0或者接近0第三步：执行PCA，将原始数据映射到不同的特征向量方向上去第四步：验证上面PCA计算出来结果是否正确，若果正确的话...
分类：
其他好文 时间：
2014-10-20 19:13:27
阅读次数：
207
在很多情况下，我们要处理的数据的维度很高，需要提取主要的特征进行分析这就是PAC（主成分分析），白化是为了减少各个特征之间的冗余，因为在许多自然数据中，各个特征之间往往存在着一种关联，为了减少特征之间的关联，需要用到所谓的白化（whitening）.首先下载数据pcaData.rar，下面要对这里面...
分类：
其他好文 时间：
2014-10-20 16:45:05
阅读次数：
303
从10幅图像中采样出10000幅小图像块，每个小图像块大小是8*8,利用采样出的图像作为样本学习，利用LBFGS进行优化.下面是对10幅图像白化之后的结果：train.m%% CS294A/CS294W Programming Assignment Starter Code% Instructio....
分类：
其他好文 时间：
2014-10-17 18:17:38
阅读次数：
486
数据预处理在众多深度学习算法中都起着重要作用，实际情况中，将数据做归一化和白化处理后，很多算法能够发挥最佳效果。当我们开始处理数据时，首先要做的事是观察数据并获知其特性。本部分将介绍一些通用的技术，在实际中应该针对具体数据选择合适的预处理技术。例如一种标准的预处理方法是对每一个数据点都减去它的均值（...
分类：
其他好文 时间：
2014-10-14 00:34:07
阅读次数：
450
上一节介绍了主成分分析应用于2维数据。现在使用高维的图像数据来试试效果。
原始图像如图1所示。
图1
每个图片都是12*12的小patch，原始数据是一个144*10000的矩阵x。
在使用了PCA旋转之后，可以检查一下此时的协方差矩阵是否已经成功变成对角阵了，如图2所示。
avg=mean(x,1);
x=x-repmat(avg,size(x,1),1);
xRot = ze...
分类：
其他好文 时间：
2014-08-11 21:28:52
阅读次数：
429
参考文献：Learning Multiple Layers of Features from Tiny Images：附录
设数据集 X 的维数为 d×n ，且已经中心化
则协方差矩阵为
1/(n-1)*X*X'
我们想让这n个d维向量中任意两维都不相关，则假定去相关矩阵为W
Y = W*X
为了使W达到去相关的目的，Y*Y‘必须是对角阵，可以进一步约束Y满足
Y * Y’ = (n...
分类：
其他好文 时间：
2014-08-04 11:06:27
阅读次数：
403
