径向基函数

a). AutoEncoder

最简单的一种方法是利用人工神经网络的特点，人工神经网络（ANN）本身就是具有层次结构的系统，如果给定一个神经网络，我们假设其输出与输入是相同的，然后训练调整其参数，得到每一层中的权重，自然地，我们就得到了输入I的几种不同表示（每一层代表一种表示），这些表示就是特征，在研究中可以发现，如果在原有的特征中加入这些自动学习得到的特征可以大大提高精确度，甚至在分类问题中比目前最好的分类算法效果还要好！这种方法称为AutoEncoder。当然，我们还可以继续加上一些约束条件得到新的Deep Learning方法，如：如果在AutoEncoder的基础上加上L1的Regularity限制（L1主要是约束每一层中的节点中大部分都要为0，只有少数不为0，这就是Sparse名字的来源），我们就可以得到Sparse AutoEncoder方法。

 

由于输入和输出相同，所以中间层节点的输出值，就代表中间的特征。也就是这个输入的高层抽象特征。

 

来源：

http://baike.baidu.com/link?url=Rh3o0P84n7tOmoqlI-hhVLoxx3SqIBR6PXG7sLTnucQlweW733Lols7YmX6vvVpvV3x1-0Jbhlw2cXORsajValNOLHv0FPpn-3LKQhG1XjdaB5vhndg2QNvICyKEUogc