图论一直是数学里十分重要的学科，其以图为研究对象，通常用来描述某些事物之间的某种特定关系。而在机器学习的世界里，我们希望从数据中挖掘出隐含信息或模型。因此，如果我们将图中的结点作为随机变量，连接作为相关性关系，那么我们就能构造出图模型，并期望解决这一问题。本文将为构造该模型提供最基础的概念。 我们都 ...
分类：
其他好文 时间：
2017-09-30 14:58:21
阅读次数：
167
对于概率图模型，整个过程分为三个步骤： Reprentation：如何建模以表示现实世界中的不确定性和各个量之间的关系。 Inference：如何从我们建立的模型中去推知我们要求的问题（概率）。 Learnig：对于我的数据来说，什么模型是相对正确的？ 之前都是对Repretation的学习，从本篇 ...
分类：
其他好文 时间：
2017-09-11 22:58:02
阅读次数：
157
本章总结几个模板模型：动态贝叶斯、隐马尔科夫和Plate模型 1 OverView of Template Models 为了达到不用每一都对问题建立模型，而是每次都对某一类问题有一个统一的模型进行处理，而提出了模板模型。模板模型（template model）编码了具有重复结构和共享参数的模型。从 ...
分类：
其他好文 时间：
2017-09-09 22:27:56
阅读次数：
173
书接上文 ：从朴素贝叶斯分类器到贝叶斯网络（上） 三、贝叶斯网络贝叶斯网络（Bayesian Network）是一种用于表示变量间依赖关系的数据结构。有时它又被称为信念网络（Belief Network）或概率网络（Probability Network）。在统计学习领域。概率图模型（PGM，Pro ...
分类：
其他好文 时间：
2017-08-20 21:25:41
阅读次数：
347
学术潜规则： 概率图模型提出的意义在于将过去看似零散的topic/model以一种统一的方式串联了起来，它便于从整体上看待这些问题，而非具体解决了某个细节。 举个例子：梯度下降，并非解决神经网络收敛问题而专门提出的什么算法，其实是凸优化理论中的一部分。凸优化理论的作用就是概率图模型的贡献所在。 统计 ...
分类：
其他好文 时间：
2017-06-01 10:39:11
阅读次数：
349
2006年以前的一些经典的网络及之间的区别： 1.自编码器： 2.深度信念网络： 3.深层玻尔兹曼机器： 震惊！郭博昨天来广州竟然做了这种事! ...
分类：
其他好文 时间：
2017-04-03 19:36:16
阅读次数：
139
gibbs采样关键字一关键字二参数估计与预测机器学习的一般思路为：1.从问题的本质中构建模型，定义样本的产生，有联合概率(图模型)。2.进行模型参数的估计：MLE、MAP、Bayes。3.使用模型对新样本进行估计。MLE：极大似然估计估计：解优化函数预测：MAP：极大后验估计估计：解优化函数预测：对... ...
分类：
其他好文 时间：
2017-03-30 19:21:03
阅读次数：
221
无向图模型： We have now presented three sets of independence assertions associated with a network structure H. For general distributions, Ip(H) is strictly ...
分类：
其他好文 时间：
2017-03-30 14:55:02
阅读次数：
177
受限玻尔兹曼机（RBM）学习笔记 1）这篇文章中有一部分把MCMC采样法讲的比较形象。 2）RBM，个人感觉是一种通过神经网络来表示概率图模型的方法，或者说通过神经网络来表示观察到的样本发生概率的方法。而与神经网络的主要不同之处在于使用了能量函数作为目标函数。 ...
分类：
其他好文 时间：
2017-03-26 18:46:37
阅读次数：
155
一、一些概念 互信息： 两个随机变量x和Y的互信息，定义X, Y的联合分布和独立分布乘积的相对熵。 贝叶斯公式： 贝叶斯带来的思考： 给定某些样本D，在这些样本中计算某结论出现的概率，即 给定样本D 所以可以推出，再假定p(Ai)相等，可以推出，这个就是最大似然估计做的事情，看下取哪个参数的时候，D ...
分类：
其他好文 时间：
2016-12-18 18:06:26
阅读次数：
256
