深度学习入门教程UFLDL学习实验笔记二：使用向量化对MNIST数据集做稀疏自编码

时间：2015-05-13 18:35:31 阅读：607 评论：0 收藏：0 [点我收藏+]

标签：

今天来做UFLDL的第二个实验，向量化。我们都知道，在matlab里面基本上如果使用for循环，程序是会慢的一逼的（可以说基本就运行不下去）所以在这呢，我们需要对程序进行向量化的处理，所谓向量化就是将matlab里面所有的for循环用矩阵运算的方法实现，在这里呢，因为之前的实验我已经是按照向量化的形式编写的代码，所以这里我只把我对代码修改的部分发上来供大家参考吧。本文为本人原创，参考了UFLDL的教程，是我自己个人对于这一系列教程的理解以及自己的实验结果。非盈利性质网站转载请在文章开头处著名本文作者：77695，来源http://www.cnblogs.com/cj695/。盈利性质网站转载请与作者联系，联系方式在文章后面。如未联系，本人将通过一切可能且合法的途径追缴相应稿酬。请在转载时保留此声明。

这是我们使用的数据集，采用的是MNIST数据库里面的手写字符。读取数据集有一定的方法，这个现成的代码在UFLDL的教程里面是可以下载的。读取完数据集显示效果如下：

最后训练得到的结果如下

代码第一处要修改的是在train的地方，要把参数修改为这次实验的参数：

visibleSize = 28*28;   % number of input units 
hiddenSize = 14*14;     % number of hidden units 
sparsityParam = 0.1;   % desired average activation of the hidden units.
                     % (This was denoted by the Greek alphabet rho, which looks like a lower-case "p",
		     %  in the lecture notes). 
lambda = 0.003;     % weight decay parameter       
beta = 3;            % weight of sparsity penalty term

其次在computeNumericalGradient的地方，把梯度检测数目减小：

for i=1 :min(size(theta,1),2)
    e = zeros(size(theta));
    e(i)=EPSILON;
    cha=(J(theta+e)-J(theta-e));
    numgrad(i)=cha/(2*EPSILON);
end

最后，取样图片，使用UFLDL提供的现成的读取MNIST数据库的函数即可：

function patches = sampleIMAGES()

img=loadMNISTImages(‘train-images.idx3-ubyte‘);
patches=img(:,10001:20000);
% patches = normalizeData(patches);
% 在实现手写字符识别时，是不需要对其做归一化处理的
end

注意：在做手写字符识别时，使用MNIST的数据库是不需要再对数据做归一化处理的，如果做了归一化处理，结果可能反而会出错。