原文链接：http://blog.sina.com.cn/s/blog_78fd98af0100xk7k.html通俗的说说最大似然估计吧，文绉绉的概念和严谨的公式推导总是记不住，又让人昏昏欲睡....1.什么是最大似然估计如果我们知道样本（数据）所服从的概率分布的模型，而不知道该模型中的参数，例如...
分类：
其他好文 时间：
2016-01-13 19:17:50
阅读次数：
150
CPD是conditional probability distribution的缩写，翻译成中文叫做 条件概率分布。在概率图中，条件概率分布是一个非常重要的概念。因为概率图研究的是随机变量之间的练习，练习就是条件，条件就要求条件概率。 对于简单的条件概率而言，我们可以用一个条件概率表来表达。...
分类：
其他好文 时间：
2016-01-12 23:12:33
阅读次数：
515
参考文献：http://blog.csdn.net/zouxy09/article/details/8537620极大似然估计已知样本满足某种概率分布，但是其中具体的参数不清楚，极大似然估计估计就是把待估参数看做是确定性的量，只是其取值未知。最佳估计就是使得产生当前样本的概率最大下的参数值。贝叶斯估...
分类：
编程语言 时间：
2016-01-07 01:10:05
阅读次数：
252
参考文献：http://blog.csdn.net/zouxy09/article/details/8195017生成方法由数据学习联合概率密度分布P(X,Y)，然后求出条件概率分布P(Y|X)作为预测的模型，即生成模型：P(Y|X)= P(X,Y)/ P(X)。基本思想是首先建立样本的联合概率概率...
分类：
其他好文 时间：
2016-01-06 17:45:44
阅读次数：
165
同类数据具有一定的统计规律性。随机变量->数据特征；概率分布->数据规律步骤如下： 过拟合——学习时选择的模型所包含的参数过多，以至于出现这一模型对已知数据预测得很好，但对未知数据预测得很差的现象。M次多项式函数拟合问题泛化能力——指学习方法对未知数据的预测能力。 选择经验风险与模型复杂度同时较.....
分类：
其他好文 时间：
2015-12-29 12:31:27
阅读次数：
212
1.LDALDA是一种三层贝叶斯模型，三层分别为：文档层、主题层和词层。该模型基于如下假设：1）整个文档集合中存在k个互相独立的主题；2）每一个主题是词上的多项分布；3）每一个文档由k个主题随机混合组成；4）每一个文档是k个主题上的多项分布；5）每一个文档的主题概率分布的先验分布是Dirichlet...
分类：
编程语言 时间：
2015-12-21 15:52:13
阅读次数：
919
本文主要译自：MCMC:The Metropolis-Hastings Sampler上一篇文章中，我们讨论了Metropolis 采样算法是如何利用马尔可夫链从一个复杂的，或未归一化的目标概率分布进行采样的。Metropolis 算法首先在马尔可夫链中基于上一个个状态 \(x^{(t-1)}\) ...
分类：
其他好文 时间：
2015-12-21 14:04:27
阅读次数：
309
主要两个方面 Probabilistic modeling 概率建模，神经网络模型尝试去预测一个概率分布 Cross-entropy作为误差函数使得我们可以对于观测到的数据 给予较高的概率值 同时可以解决saturation的问题 前面提到的线性隐层的降维作用(减少训练参数) 这是一个最初版的神经网...
分类：
编程语言 时间：
2015-12-16 21:16:45
阅读次数：
1080
By Yunduan Cui这是我自己的PRML学习笔记，目前持续更新中。第二章 Probability Distributions 概率分布本章介绍了书中要用到的概率分布模型，是之后章节的基础。已知一个有限集合 \(\{x_{1}, x_{2},..., x_{n}\}\), 概率分布是用来建立一...
分类：
系统相关 时间：
2015-12-10 21:23:20
阅读次数：
434
对于常规线性模型来说，其精确的模型可定义如下： 其中，模型中的第一部分描述了通过待预测值随自变量的变化趋势，而第二部分描述了线性模型不能建模的误差项。 最小二乘方法采用损失代价和最小来获得线性模型的参数。在此，我们通过假设误差项的概率分布，并用最大似然估计的方法寻求模型参数Θ。 在此，我们假设误差项...
分类：
其他好文 时间：
2015-11-18 16:00:10
阅读次数：
138
