受限波尔茨曼机

标签：

受限波尔茨曼机(RBM)是一种可以在输入数据集上学习概率分布的生成的随机神经网络。由隐含层，可见层，偏置层组成。可见层与隐含层无方向性，可以相互传播。每个当前层的神经元与下一层的每个神经元都有连接。

算法主要想法是正向过程中影响了网络内部对于真实数据的表示。同时，反向过程尝试通过这个被影响过的表示方法重建数据。主要目的是可以可以使生成的数据与原数据尽可能相似，这个差异影响权重更新。这样的网络具感知对输入数据表示的程度的能力，而且通过这个能力重建数据。辛顿提出一种叫做对比散度(contrastive divergence)的近似方法，在逆学习过程，只需采样很少的次数就可以更新权重，且对学习效果无影响。

BP算法存在以下几个主要问题

梯度越来越稀疏：从顶层越往下，误差校正信号越来越小

收敛到局部最小值：尤其从远离最优区域开始的时候

一般只能用有标签的数据来训练：大部分数据无标签

自编码器

自编码器(autoencoder)是含有一个隐含层的神经网络。训练目标是重新建立输入数据，比如压缩，输入输出相同。隐含层通常神经元数目较输入输出层少，主要学习重要的特征并进行降维。

受限波尔茨曼机

标签：

原文地址：http://www.cnblogs.com/who-a/p/5402737.html