L2范数 除了L1范数，还有一种更受宠幸的规则化范数是L2范数: ||W||2。它也不逊于L1范数，它有两个美称，在回归里面，有人把有它的回归叫“岭回归”（Ridge Regression），有人也叫它“权值衰减weight decay”。这用的很多吧，因为它的强大功效是改善机器学习里面一个非常.....
分类：
其他好文 时间：
2014-08-27 12:46:08
阅读次数：
377
自我学习就是稀疏编码器串联一个Softmax分类器，上一节看到，训练400次，准确率为98.2%
在此基础上，我们可以搭建我们的第一个深度网络：栈式自编码（2层）+Softmax分类器
简单地说，我们把稀疏自编码器的输出作为更高一层稀疏自编码器的输入。
和自我学习很像，似乎就是新加了一层，但是其实不然：
新技巧在于，我们这里有个微调的过程，让残差从最高层向输入层传递，微调整个网络权重...
分类：
其他好文 时间：
2014-08-16 12:37:40
阅读次数：
220
自我学习就是把稀疏自编码器与Softmax回归分类器串联起来。
稀疏编码器是用来无监督学习的，使用无标签数据。
Softmax回归分类器是有监督学习，使用标签数据。
实际生活中，我们能轻松获得大量无标签数据（如从网上随机下载海量图片）
难以获得大量有标签数据（有标签的数据库通常不会太大，而且很贵）
如果我们手头上只有少量标签数据，但是有大量的无标签数据，这是就可以采用自我...
分类：
其他好文 时间：
2014-08-13 13:03:36
阅读次数：
493
UFLDL 教程答案 稀疏编码篇与softmax篇的答案已经传到资源，大家可以免费下载~
另外，关于资源里面描述的低效率的代码的问题，逗比的博主已经找到了解决方案，大家需要修改两个文件的两处代码，绿色是需要被注释的
softmaxCos.m文件
%% 非向量化
%for i = 1 : numCases
% thetagrad = thetagrad + (groundTruth(...
分类：
其他好文 时间：
2014-07-30 09:59:23
阅读次数：
696
一直犹豫稀疏编码怎么写，来来回回看了好几遍的UFLDL。因为这不仅是DL深度学习的重要概念，也是我这段时间一直在研究的stacked ISA 深度特征学习的支柱。
这章将主要介绍一下稀疏编码的主要概念，及主成分分析的方法。
稀疏编码算法是一种无监督（unsupervised）学习方法，它用来寻找一组“超完备”基向量来更高效地表示样本数据。（设x的维数为n，则k>n）
超完备基能更有效地找...
分类：
其他好文 时间：
2014-07-26 02:23:36
阅读次数：
614
