自动编码线性解码器
自动编码线性解码器主要是考虑到稀疏自动编码器最后一层输出如果用sigmoid函数，由于稀疏自动编码器学习是的输出等于输入，simoid函数的值域在[0,1]之间，这就要求输入也必须在[0,1]之间，这是对输入特征的隐藏限制，为了解除这一限制，我们可以使最后一层用线性函数及a
= z
习题答案：
SparseAutoEncoderLinerCost.m
functio...
分类：
其他好文 时间：
2015-06-11 23:01:59
阅读次数：
158
UFLDL上的ICA为什么一定要做PCA whitenAndrew Ng先生的UFLDL教程真可谓deep learning入门的首选课程。在两年前我看教程里讲ICA部分的（链接）时候，里面提到使用教程所述的ICA模型时，输入数据必须经过PCA白化操作，页面上有个TODO问为什么要这样做。以当年的我...
分类：
其他好文 时间：
2015-06-11 21:10:02
阅读次数：
186
此次主要由自我学习过度到深度学习，简单记录如下：
(1)深度学习比浅层网络学习对特征具有更优异的表达能力和紧密简洁的表达了比浅层网络大的多的函数集合。
(2)将传统的浅层神经网络进行扩展会存在数据获取、局部最值和梯度弥散的缺点。
(3)栈式自编码神经网络是由多层稀疏自编码器构成的神经网络(最后一层采用的softmax回归或者logistic回归分类)，采用逐层贪婪的训练方法得到初始的参数，这...
分类：
其他好文 时间：
2015-06-11 14:41:24
阅读次数：
594
1：softmax回归
当p(y|x,theta)满足多项式分布，通过GLM对其进行建模就能得到htheta(x)关于theta的函数，将其称为softmax回归。教程中已经给了cost及gradient的求法。需要注意的是一般用最优化方法求解参数theta的时候，采用的是贝叶斯学派的思想，需要加上参数theta。
习题答案：
(1) 数据加载——————代码已给
(2) %% STEP ...
分类：
其他好文 时间：
2015-06-09 21:54:11
阅读次数：
226
首先将本节主要内容记录下来，然后给出课后习题的答案。
笔记：
1：首先我想推导用SVD求解PCA的合理性。
PCA原理：假设样本数据X∈Rm×n，其中m是样本数量，n是样本的维数。PCA降维的目的就是为了使将数据样本由原来的n维降低到k维(k＜n)。方法是找数据随之变化的主轴，在Andrew
Ng的网易公开课上我们知道主方向就是X的协方差所对应的最大特征值所对应的特征向量的...
分类：
其他好文 时间：
2015-06-09 11:56:02
阅读次数：
200
1. ufldl教程：http://ufldl.stanford.edu/tutorial/ Andrew Ng的教程，matlab代码。2. Neural Network and Deep Learning：http://neuralnetworksanddeeplearning.com/inde...
分类：
其他好文 时间：
2015-06-08 22:55:15
阅读次数：
144
最近想研究下深度学习，一开始就看UFLDL(unsuprisedfeature learning and deep learning)教程了，特将课后习题答案放在这里，作为一个笔记。
笔记：
1：自编码算法是一个无监督学习算法，它通过学习hw,b(x) = x,
因此最后的outputlayer单元数与inputlayer单元数量相等，而中间的hiddenlayer可以很大，这是加个稀疏惩罚...
分类：
其他好文 时间：
2015-06-07 21:39:08
阅读次数：
521
这个exercise需要完成cnn中的forward pass,cost,error和gradient的计算。需要弄清楚每一层的以上四个步骤的原理，并且要充分利用matlab的矩阵运算。大概把过程总结了一下如下图所示：STEP 1：Implement CNN ObjectiveSTEP 1a: Fo...
分类：
Web程序 时间：
2015-05-30 12:03:11
阅读次数：
220
Spark MLlib Deep Learning Neural Net(深度学习-神经网络)1.1
http://blog.csdn.net/sunbow0/
Spark MLlib Deep Learning工具箱，是根据现有深度学习教程《UFLDL教程》中的算法，在SparkMLlib中的实现。具体Spark MLlib Deep Learning(深度学习)目录结构：
第一章Ne...
分类：
Web程序 时间：
2015-05-28 21:40:22
阅读次数：
338
要实现的部分为：forward prop, softmax函数的cost function，每一层的gradient，以及penalty cost和gradient。forwad propforward prop是输入sample data，使sample data通过神经网络后得到神经网络输出的过...
分类：
Web程序 时间：
2015-05-25 21:58:07
阅读次数：
203
