已经介绍了统计参数的举估计，下面介绍另外一种估计，并且比较这两者。
对于一组样本，它们无条件是独立的。那么考虑到联合分布函数与边缘分布函数的关系，利用乘法原理，我们发现，样本的联合分布函数是：
（离散）
（连续）
又发现，它们是与总体同分布的：，那么连续的情况还可以写作：
现如今上面的式子中存在未知的参数，。把 L 换做以众多未知参数为元，就得到了：
...
分类：
其他好文 时间：
2015-01-18 13:13:01
阅读次数：
188
极大似然估计又称最大似然估计，对于一个已知的模型来说，还有些参数是不确定的，但是有了真实数据，那么这些参数可不可计算出呢？或者估计出最有可能的情况？举个例子，例如有一组来自正态分布（也叫高斯分布）的样本数据，每个样本的数据都独立同分布，比如是正态分布，但正态分布的参数μ,σ都不知道，如果用极大似然估...
分类：
其他好文 时间：
2015-01-16 23:40:51
阅读次数：
238
求解最大似然估计时发现有两种表示方法
from:Gregor Heinrich - Parameter estimation for text analysis
from:http://blog.csdn.net/pipisorry/article/details/42649657
有上述两种方法表示的原因
p(x|theta)不总是代表条...
分类：
其他好文 时间：
2015-01-14 21:27:13
阅读次数：
213
下面是转载http://blog.csdn.net/yanqingan/article/details/6125812博客的内容最大似然估计学习总结1. 作用在已知试验结果（即是样本）的情况下，用来估计满足这些样本分布的参数，把可能性最大的那个参数作为真实的参数估计。2. 离散型设为离散型随机变量，...
分类：
其他好文 时间：
2015-01-13 12:15:27
阅读次数：
246
一．问题：1.Svm是什么2.什么是支持向量3.什么是最优间隔分类法4.最优间隔分类法与最小二乘、最大似然法的比較5.什么是拉格朗日6.什么是对偶7.为什么要做对偶8.什么是KKT条件9.为什么满足KKT条件强对偶成立10.Svm怎样解决非线性问题？神经网络呢？11.什么是核函数12.Svm怎样面对...
分类：
其他好文 时间：
2015-01-11 10:58:19
阅读次数：
715
古德-图灵估计可以解决n元语法模型(n-gram)中的数据的稀疏问题。主要的思想是把非零的n元语法的概率降低匀给一些低概率n元语法，以修改最大似然估计与真实概率之间的偏离。是实用比较多的平滑算法。 图：从左到右的变化：把一部分看得见的事件的概率匀给未看见的事件 ...
分类：
其他好文 时间：
2014-12-20 23:16:52
阅读次数：
548
先列明材料：高斯混合模型的推导计算（英文版）：http://www.seanborman.com/publications/EM_algorithm.pdf这位翻译写成中文版：http://www.cnblogs.com/jerrylead/archive/2011/04/06/2006936.ht...
分类：
编程语言 时间：
2014-11-29 20:14:51
阅读次数：
182
本文内容主要参考Steven M.Kay的《统计信号处理基础——估计与检测理论》，该书中译本分类为“国外电子与通信教材系列”，应该会有一定局限性。本文是我看过该书后的一点点总结。1.从最大似然估计看经典估计理论 最大似然估计（Maximum Likelihood Estimation，MLE）是一种...
分类：
其他好文 时间：
2014-11-23 21:37:52
阅读次数：
193
从最大似然到EM算法浅解zouxy09@qq.comhttp://blog.csdn.net/zouxy09 机器学习十大算法之一：EM算法。能评得上十大之一，让人听起来觉得挺NB的。什么是NB啊，我们一般说某个人很NB，是因为他能解决一些别人解决不了的问题。神为什么是神，因为神能做很多人做不了的事...
分类：
编程语言 时间：
2014-11-23 15:52:09
阅读次数：
311
逻辑回归（Logistic Regression）是机器学习中十分常用的一种模型，属于广义线性模型。在互联网领域得到了广泛的应用，尤其是在广告系统中用来估计CTR。本文主要介绍逻辑回归的模型形式，求解策略和算法。接着介绍逻辑回归的最大似然估计，最后说明为什么逻辑回归要采用sigmoid函数做变换。模...
分类：
其他好文 时间：
2014-11-21 18:26:10
阅读次数：
360
