笔者实力有限,诸多错误之处还望指出。
SAE与DBN两个都可以用于提取输入集特征。
SAE
SAE是由多个Spase AutoEncoder堆叠而成,单个Spase AutoEncoder的结构如下:
在堆叠成SAE时的结构如下:
以上SAE的结构可以化分为两个sparse autoencoder和一个 softmax(这里不讨论softmax).其中的两个sparse autoencoder结构如图:
第一层:
第二层:
在训练SAE的时候,也是一层一层的进行训练,首先将原始数据输入训练第一层sparse autoencoder,获得了第一层的features(也就是训练获得的参数权重W1和偏置b1),而后根据:
z2 = W1*data+repmat(b1,1,m);
activation = sigmoid(z2);
获得activation作为输入训练第二层sparse autoencoder,以此类推。
RBM 的训练过程,实际上是求出一个最能产生训练样本的概率分布。
RBM:
原文地址:http://blog.csdn.net/meanme/article/details/45967571