1，受限玻尔兹曼机，思想似乎是源自于热力学，因为有一个玻尔兹曼分布律的东西，具体还没学习，不过可见机器学习中不同学科的思想融合，往往是idea/innovation 的发源地。2，想迅速入门，受知乎指引看了Hugo Larochelle在YouTube上的神经网络课第五章的Restricted Boltzmann machine. 在[5.2]中讲到了P(h|x)的条件概率的推导，感觉不错，截图如下...
分类：
系统相关 时间：
2016-04-29 19:08:06
阅读次数：
297
1，受限玻尔兹曼机，思想似乎是源自于热力学，因为有一个玻尔兹曼分布律的东西，具体还没学习，不过可见机器学习中不同学科的思想融合，往往是idea/innovation 的发源地。2，想迅速入门，受知乎指引看了Hugo Larochelle在YouTube上的神经网络课第五章的Restricted Boltzmann machine. 在[5.2]中讲到了P(h|x)的条件概率的推导，感觉不错，截图如下...
分类：
系统相关 时间：
2016-04-26 21:21:37
阅读次数：
317
1.RBM简介 受限玻尔兹曼机（Restricted Boltzmann Machines，RBM）最早由hinton提出，是一种无监督学习方法，即对于给定数据，找到最大程度拟合这组数据的参数，其网络结构如下： 以上的RBM的贝叶斯网络图，该网络可网络结构有 n个可视节点和m个隐藏节点 ，其中每个可 ...
分类：
Web程序 时间：
2016-04-14 19:23:01
阅读次数：
302
受限玻尔兹曼机 RBM 由于使用梯度下降发来对参数进行更新，因此关键是梯度如何求取，这里的推到结果显示了和BP神经网络类似的结果，可以非常容易的得到梯度的求取方式。 上面的$$实际上就是使用当前的参数，以$v_{i}$作为输入，得到的输出是$h_{j}$ $H = V*W+b$ 从输出层反推输入层 ...
分类：
其他好文 时间：
2015-09-13 17:17:47
阅读次数：
329
一、引言
在机器学习以及优化组合问题中，最常用的方法就是梯度下降法。比如BP神经网络，多层感知器的神经元(units)越多，对应的权矩阵也就越大，每个权可视为一个自由度或者变量。我们知道自由度越高，变量越多，模型越复杂，模型的能力越强。但是模型能力越强，模型就越容易过拟合，对噪声太敏感。另一方面，使用梯度下降进行最优解搜寻时，多变量的误差曲面很像是连绵起伏的山峰一样，变量越多，山峰和山谷也越多，...
分类：
其他好文 时间：
2015-08-10 12:02:38
阅读次数：
261
基于能量模型(EBM)基于能量模型将关联到感兴趣的变量每个配置的标量能量。学习修改的能量函数使他它的形状具有最好的性能。例如，我们想的得到最好的参量拥有较低的能量。EBM的概率模型定义通过能量函数的概率分布，如下所示： 规则化系数Z称为分区函数和物理系统的能量模型相似。 ...
分类：
其他好文 时间：
2015-05-16 18:05:44
阅读次数：
154
欢迎转载，转载请注明：本文出自Bin的专栏blog.csdn.net/xbinworld。
技术交流QQ群：433250724，欢迎对算法、技术、应用感兴趣的同学加入。
上篇讲到，如果用Gibbs Sampling方法来训练rbm会非常慢，本篇中介绍一下对比散度contrastive divergence， CD算法。
我们希望得到P(v)P(\textbf{v})分布下的样本，而我们有训...
分类：
其他好文 时间：
2015-04-26 00:04:25
阅读次数：
375
欢迎转载，转载请注明：本文出自Bin的专栏blog.csdn.net/xbinworld。
技术交流QQ群：433250724，欢迎对算法、技术、应用感兴趣的同学加入。
本篇重点讲一下RBM模型求解方法，其实用的依然是梯度上升方法，但是求解的方法需要用到随机采样的方法，常见的有：Gibbs Sampling和对比散度(contrastive divergence, CD)算法。
RBM...
分类：
其他好文 时间：
2015-04-23 00:04:29
阅读次数：
665
欢迎转载，转载请注明：本文出自Bin的专栏blog.csdn.net/xbinworld。
技术交流QQ群：433250724，欢迎对算法、技术、应用感兴趣的同学加入。上解上一篇RBM（一）基本概念，本篇记叙一下RBM的模型结构，以及RBM的目标函数（能量函数），通过这篇就可以了解RBM到底是要求解什么问题。在下一篇（三）中将具体描述RBM的训练/求解方法，包括Gibbs sampling和对比...
分类：
其他好文 时间：
2015-04-17 08:27:04
阅读次数：
318
