受限玻尔兹曼机 RBM 由于使用梯度下降发来对参数进行更新，因此关键是梯度如何求取，这里的推到结果显示了和BP神经网络类似的结果，可以非常容易的得到梯度的求取方式。 上面的$$实际上就是使用当前的参数，以$v_{i}$作为输入，得到的输出是$h_{j}$ $H = V*W+b$ 从输出层反推输入层 ...
分类：
其他好文 时间：
2015-09-13 17:17:47
阅读次数：
329
基于能量模型(EBM)基于能量模型将关联到感兴趣的变量每个配置的标量能量。学习修改的能量函数使他它的形状具有最好的性能。例如，我们想的得到最好的参量拥有较低的能量。EBM的概率模型定义通过能量函数的概率分布，如下所示： 规则化系数Z称为分区函数和物理系统的能量模型相似。 ...
分类：
其他好文 时间：
2015-05-16 18:05:44
阅读次数：
154
欢迎转载，转载请注明：本文出自Bin的专栏blog.csdn.net/xbinworld。
技术交流QQ群：433250724，欢迎对算法、技术、应用感兴趣的同学加入。
上篇讲到，如果用Gibbs Sampling方法来训练rbm会非常慢，本篇中介绍一下对比散度contrastive divergence， CD算法。
我们希望得到P(v)P(\textbf{v})分布下的样本，而我们有训...
分类：
其他好文 时间：
2015-04-26 00:04:25
阅读次数：
375
欢迎转载，转载请注明：本文出自Bin的专栏blog.csdn.net/xbinworld。
技术交流QQ群：433250724，欢迎对算法、技术、应用感兴趣的同学加入。
本篇重点讲一下RBM模型求解方法，其实用的依然是梯度上升方法，但是求解的方法需要用到随机采样的方法，常见的有：Gibbs Sampling和对比散度(contrastive divergence, CD)算法。
RBM...
分类：
其他好文 时间：
2015-04-23 00:04:29
阅读次数：
665
欢迎转载，转载请注明：本文出自Bin的专栏blog.csdn.net/xbinworld。
技术交流QQ群：433250724，欢迎对算法、技术、应用感兴趣的同学加入。上解上一篇RBM（一）基本概念，本篇记叙一下RBM的模型结构，以及RBM的目标函数（能量函数），通过这篇就可以了解RBM到底是要求解什么问题。在下一篇（三）中将具体描述RBM的训练/求解方法，包括Gibbs sampling和对比...
分类：
其他好文 时间：
2015-04-17 08:27:04
阅读次数：
318
最近在复习经典机器学习算法的同时，也仔细看了一些深度学习的典型算法。深度学习是机器学习的“新浪潮”，它的成功主要得益于深度“神经网络模型”的优异效果。这个小系列打算深入浅出地记录一下深度学习中常用的一些算法。第一篇先写一下“受限玻尔兹曼机“RBM。...
分类：
其他好文 时间：
2015-04-06 21:52:38
阅读次数：
346
RBM用到了能量模型。简单的概括一下能量模型。假设一个孤立系统（总能量$E$一定，粒子个数$N$一定），温度恒定为1，每个粒子有$m$个可能的状态，每个状态对应一个能量$e_i$。那么，在这个系统中随机选出一个粒子，这个粒子处在状态$k$的概率，或者说具有状态$k$的粒子所占的比例为：$$p(sta...
分类：
其他好文 时间：
2014-12-21 12:37:13
阅读次数：
221
实现我们构造了RBM类. 网络的参数可以通过构造器或者是输入参数初始化.这样RBM可以用作构造一个深度网络, 在这种情况下, 权值矩阵和隐层偏置是和一个MLP网络的sigmoidal层共享的.写好构造函数, 对一些参数的默认值进行设置, 并完成一系列的初始化权值初始化成均匀分布偏置初始化成0定义与(...
分类：
其他好文 时间：
2014-07-23 16:49:11
阅读次数：
455
基于能量的模型(EBM)基于能量的模型将每一个我们感兴趣的变量构造联系到一个标量能量上. 学习就是修改能量方程从而使得它的外形有我们需要的特点. 举例来说, 我们希望的是: 期望构造的能量低. 基于能量的概率性模型定义了一个概率分布, 它是由能量方程决定的:归一化因子Z被称为配分函数, 类比于物理系...
分类：
其他好文 时间：
2014-07-23 15:47:59
阅读次数：
382
