1. 玻尔兹曼分布：$$p(E) \thicksim e^{-E/kT} $$推导： 封闭系统能量守恒，总能量 $\mathcal E$。共有$N$个状态，每个状态$i$的能量 $E_i$，对应概率 $p_i$ 则有约束条件：$$\sum_ip_i = 1 \\ \sum_i p_i E_i =.....
分类：
其他好文 时间：
2015-04-13 14:11:37
阅读次数：
119
最近在复习经典机器学习算法的同时，也仔细看了一些深度学习的典型算法。深度学习是机器学习的“新浪潮”，它的成功主要得益于深度“神经网络模型”的优异效果。这个小系列打算深入浅出地记录一下深度学习中常用的一些算法。第一篇先写一下“受限玻尔兹曼机“RBM。...
分类：
其他好文 时间：
2015-04-06 21:52:38
阅读次数：
346
RBM用到了能量模型。简单的概括一下能量模型。假设一个孤立系统（总能量$E$一定，粒子个数$N$一定），温度恒定为1，每个粒子有$m$个可能的状态，每个状态对应一个能量$e_i$。那么，在这个系统中随机选出一个粒子，这个粒子处在状态$k$的概率，或者说具有状态$k$的粒子所占的比例为：$$p(sta...
分类：
其他好文 时间：
2014-12-21 12:37:13
阅读次数：
221
约束玻尔兹曼机（RBM）是一类具有两层结构、对称连接无自反馈的随机神经网络模型，层与层之间是全连接，层内无连接，它是一种有效的特征提取方法，常用于初始化前馈神经网络，可明显提高泛化能力。而由多个RBM结构堆叠而成的深度信念网络（DBN）能提取出更好更抽象的特征，从而用来分类。...
分类：
其他好文 时间：
2014-07-27 11:48:43
阅读次数：
221
实现我们构造了RBM类. 网络的参数可以通过构造器或者是输入参数初始化.这样RBM可以用作构造一个深度网络, 在这种情况下, 权值矩阵和隐层偏置是和一个MLP网络的sigmoidal层共享的.写好构造函数, 对一些参数的默认值进行设置, 并完成一系列的初始化权值初始化成均匀分布偏置初始化成0定义与(...
分类：
其他好文 时间：
2014-07-23 16:49:11
阅读次数：
455
基于能量的模型(EBM)基于能量的模型将每一个我们感兴趣的变量构造联系到一个标量能量上. 学习就是修改能量方程从而使得它的外形有我们需要的特点. 举例来说, 我们希望的是: 期望构造的能量低. 基于能量的概率性模型定义了一个概率分布, 它是由能量方程决定的:归一化因子Z被称为配分函数, 类比于物理系...
分类：
其他好文 时间：
2014-07-23 15:47:59
阅读次数：
382
最近想学RBM（限制玻尔兹曼机），找来Hinton在coursera上的神经网络课程，首先复习Hopfield 网络吧。Hopfield Nets with
hidden Unithttps://class.coursera.org/neuralnets-2012-001/lecture/125简单...
分类：
Web程序 时间：
2014-05-26 18:01:20
阅读次数：
292
稍后补上Restricted Boltzmann Machines的东西，其实Boltzmann Machines搞懂了，Restricted Boltzmann Machines很简单的，就是加了几个限制条件而已。
计划再写一篇将DBN的，感觉只要Boltzmann Machines搞懂了，其他的都不是什么难题。...
分类：
其他好文 时间：
2014-05-14 15:04:53
阅读次数：
239
