前面介绍的参数估计和假设检验的方法在统计上都隶属于参数统计的范畴，它们的共同点都是假定已知总体的分布的具体形式（如假定总体服从正太分布），只是存在一些待估计或检验的未知参数，我们根据抽取的样本建立估计量或假设检验统计量以得到总体中未知参数的某种推断。但是很多的情况下我们并不知道总体分布的具体形式，随...
分类：
其他好文 时间：
2015-11-01 21:19:40
阅读次数：
207
在现实生活中人们经常希望能根据一些已知的信息来推断未知的信息或某一结论下定论，如医生一般根据以往病人的治疗结果来对当前病人的治愈成功率来下定论。这就是统计推断，即利用样本提供的信息对总体的某些统计特性进行估计或判断，从而认识总体。统计推断分为两大类，一类是参数估计。另一类是假设检验。首先说一下参数估...
分类：
其他好文 时间：
2015-11-01 20:53:51
阅读次数：
197
为什么要用参数估计？在贝叶斯方法中，要事先估计先验概率和条件密度函数，然后再设计分类器。但是多数情况下训练样本数总是太少，而且当用于表示特征维数较高时，对条件密度函数的估计就会计算复杂度较高。因此，如果我们已经事先知道参数的个数，并且先验知识允许我们能够把条件概率密度参数化，就可以使问题难度显著降低...
分类：
其他好文 时间：
2015-10-26 22:16:15
阅读次数：
166
最大似然估计：现在已经拿到了很多个样本（你的数据集中所有因变量），这些样本值已经实现，最大似然估计就是去找到那个（组）参数估计值，使得前面已经实现的样本值发生概率最大。因为你手头上的样本已经实现了，其发生概率最大才符合逻辑。这时是求样本所有观测的联合概率最大化，是个连乘积，只要取对数，就变成了线性加...
分类：
其他好文 时间：
2015-10-17 17:47:03
阅读次数：
177
目录0基于文本分析的参数估计... 11 参数估计方法... 11.1最大似然估计MLE. 21.2最大后验概率... 31.3贝叶斯推理... 42 共轭分布... 72.1 随机生成过程及共轭分布... 72.2 Multinomial分布和 Dirichlet分布... 83 unigram ...
分类：
其他好文 时间：
2015-09-29 13:06:39
阅读次数：
1471
EM是我一直想深入学习的算法之一，第一次听说是在NLP课中的HMM那一节，为了解决HMM的参数估计问题，使用了EM算法。在之后的MT中的词对齐中也用到了。在Mitchell的书中也提到EM可以用于贝叶斯网络中。下面主要介绍EM的整个推导过程。1. Jensen不等式 回顾优化理论中的一些概念。设f....
分类：
编程语言 时间：
2015-09-13 22:48:35
阅读次数：
236
【机器学习】EM算法详细推导和讲解 今天不太想学习，炒个冷饭，讲讲机器学习十大算法里有名的EM算法，文章里面有些个人理解，如有错漏，还请读者不吝赐教。 众所周知，极大似然估计是一种应用很广泛的参数估计方法。例如我手头有一些东北人的身高的数据，又知道身高的概率模型是高斯分布，那么利用极大化似然函数的....
分类：
编程语言 时间：
2015-08-29 21:34:37
阅读次数：
303
简介Naive和BayesNaive：假定向量中的所有特征是相互独立的
Bayes：面向的问题NB主要用于解决有监督分类问题。相比于其他模型，其具备简单（不需要复杂的迭代式参数估计，由此方便处理大数据）、可解释性强（生成模型）、效果佳的特点。目标针对二分类问题，利用训练集数据学习一个判断阈值α，对于新来的数据做判定，大于α的数据属于正类，小于α的数据属于负类。有监督分类中存在两大流派 diagno...
分类：
编程语言 时间：
2015-08-12 10:18:11
阅读次数：
206
EM 算法是求参数极大似然估计的一种方法，它可以从非完整数据集中对参数进行估计，是一种非常简单实用的学习算法。这种方法可以广泛地应用于处理缺损数据、截尾数据以及带有噪声等所谓的不完全数据，可以具体来说，我们可以利用EM算法来填充样本中的缺失数据、发现隐藏变量的值、估计HMM中的参数、估计有限混合分布中的参数以及可以进行无监督聚类等等。贴相关几个好文章：从最大似然到EM算法浅解混合高斯模型（Mixtu...
分类：
编程语言 时间：
2015-08-06 22:21:12
阅读次数：
326
回答1：最大似然估计：现在已经拿到了很多个样本（你的数据集中所有因变量），这些样本值已经实现，最大似然估计就是去找到那个（组）参数估计值，使得前面已经实现的样本值发生概率最大。因为你手头上的样本已经实现了，其发生概率最大才符合逻辑。这时是求样本所有观测的联合概率最大化，是个连乘积，只要取对数，就变成...
分类：
其他好文 时间：
2015-07-23 17:19:13
阅读次数：
519
