标签：
2016-07-20 11:21:33
受限玻尔兹曼机（Restricted Boltzmann Machines, RBM）[1]由深度学习专家Hinton提出，有很多方面的应用，最成熟的有图像领域的图像识别和手写体数字识别，作为协同过滤算法对某一个未知值做预测，针对具有高维时间序列属性的数据，如人体移动的特征，同样也是做预测，还有针对文档数据分类和音频数据识别等等。
受限玻尔兹曼机RBM是一种特殊的马尔科夫随机场（Markov Random Field, MRF）。一个RBM包含一个由随机的隐单元构成的隐藏层（一般是伯努利分布）和一个由随机的可见（观测）单元构成的可见（观测）层（一般是伯努利分布或高斯分布）。RBM可以表示成一个二分图模型（如图1所示），所有可见单元和隐单元之间存在连接，而隐单元两两之间和可见单元两两之间不存在连接，也就是层间全连接，层内无连接（这也是和玻尔兹曼机BM模型的区别，层间、层内全连接）。每一个可见层节点和隐藏层节点都有两种状态：处于激活状态时值为1，未被激活状态值为0。这里的0和1状态的意义是代表了模型会选取哪些节点来使用，处于激活状态的节点被使用，未处于激活状态的节点未被使用。节点的激活概率由可见层和隐藏层节点的分布函数计算。
图1 受限玻尔兹曼机
一个RBM中，v表示所有可见单元，h表示所有隐单元。要想确定该模型，只要能够得到模型三个参数 
即可。分别是权重矩阵W，可见层单元偏置A，隐藏层单元偏置B。假设一个RBM有n个可见单元和m个隐单元，用
表示第i个可见单元，
表示第j个隐单元，它的参数形式为：
： 
表示第i个可见单元和第j个隐单元之间的权值。
： 
表示第i个可见单元的偏置阈值。
： 
表示第j个隐单元的偏置阈值。
对于一组给定状态下的（v, h）值，假设可见层单元和隐藏层单元均服从伯努利分布，RBM的能量公式是：
其中，令
是RBM模型的参数（均为实数），能量函数表示在每一个可见节点的取值和每一个隐藏层节点的取值之间都存在一个能量值。
对该能量函数指数化和正则化后可以得到可见层节点集合和隐藏层节点集合分别处于某一种状态下（v, h）联合概率分布公式：
其中，
为归一化因子或配分函数（partition function），表示对可见层和隐藏层节点集合的所有可能状态的（能量指数）求和。
对于参数的求解往往采用似然函数求导的方法。已知联合概率分布
，通过对隐藏层节点集合的所有状态求和，可以得到可见层节点集合的边缘分布
：
边缘分布表示的是可见层节点集合处于某一种状态分布下的概率，边缘分布往往被称为似然函数（如何对模型参数求解在下面章节阐述）。
由于RBM模型的特殊的层间连接、层内无连接的结构，它具有以下重要性质：
1）在给定可见单元的状态时，各隐藏层单元的激活状态之间是条件独立的。此时，第j个隐单元的激活概率为：
标签：
原文地址：http://www.cnblogs.com/jhding/p/5687696.html
