标签：ide ges const 网络 back solution border fine str
这是一篇发表于2008年初的论文。
文章主要讲了利用 denosing autoencoder来学习 robust的中间特征。。进上步，说明，利用这个方法，可以初始化神经网络的权值。。这就相当于一种非监督学习的方法来训练神经网络。
当我们在用神经网络解决各种识别任务时，如果我们想要网络的性能更好，就需要更深层或更wider的神经网络来建模，Model出更复杂的分布。 网络变深以后，如何训练是一个很重要问题，如果训练不好，深层网络的性能真的不如浅层的神经网络。。
在训练深层网络的解决方法的道路上，已有的方法：
1.随机初始化权值， 不过这样的效果很不好，网络很容易 stuck in poor solutions
2. 利用stacking的受限的波尔兹曼机预训练网络，然后再fine-tune with UP-down。
3. 使用stacking的 自动编码器初始化网络权值，然后再进行fine-tune with gradient descent.
方法3中的基本的autoencoder的图是这样的：
现在的问题是：我们能不能改进一下它呢？？让它学习到的中间特征更具有代表性？（即可以学习到对输入不变的中间特征）。
下图为文中提出的降噪编码器。。它的主要思想为：给定一个输入 X，首先进行一定的destroy,得到corrupted的 -X，然后利用它学习到中间特征来reconstruct 输入。
改进的 denosing autoencoder
然后，我们就可以利用它逐层来训练网络的初始权值了。
具体过程
1.训练第一层的权值：给定输入X，加噪得到-X, 然后利用这个autoencoder得到了第一层的权值；
2.训练第二层的权值： 固定第一层的权值，然后给定输入X得到了第一层的输出Y，然后把这个Y当作为降噪编码器的原始的输入，然后在Y的基础上加噪，得到了-Y,然后利用autoencoder得到了第二层的初始权值；
3.训练第三层的权值：固定前两层的权值，然后给定输入X，得到了第二层的输出Z，然后把这个Z当作为降噪编码器的原始的输入，在Z的基本加噪，………………,得到了第三层的初始权值；
等等……
这变样，把整个网络的初始权值训练完毕了。
有一个注意的地方就是：我们在训练后面几层的权值时，我们的输入X是不加噪声的，我们只是把前一层的输出作为降噪编码器的原始输入，在它的基础上加上噪声的；这个别错了；
文中给出了从不同的角度来说明了降噪编码器。
包括：什么流形啊、什么信息论、生成模型等等相关的东西，我看了一遍，也没有怎么看明白，需要很深的数学知识、统计知识啊，所以没有深入去看了；
文中通过试验，证明了它的有效性；
另外，文中的参考文献很有价值的；
参考：Extracting and composing robust features with denosing autoencoders 论文；
Extracting and composing robust features with denosing autoencoders 的对应的PPT
Extracting and composing robust features with denosing autoencoders 论文
标签：ide ges const 网络 back solution border fine str
原文地址：http://www.cnblogs.com/yinheyi/p/6847456.html
