标签：
极大似然估计又称最大似然估计，对于一个已知的模型来说，还有些参数是不确定的，但是有了真实数据，那么这些参数可不可计算出呢？或者估计出最有可能的情况？
举个例子，例如有一组来自正态分布（也叫高斯分布）的样本数据，每个样本的数据都独立同分布，比如是正态分布，但正态分布的参数μ,σ都不知道，如果用极大似然估计的方法就可以用这些样本数据就可估计出正态分布中参数。概括起来说，就是用样本来估计总体情况，（调查问卷、人口普查等等其实就暗含这个原理）。
假设总体X的分布为f(x:θ1,...θn),其中θ是未知的参数，（x1,x2,...xn）是来自总体X的样本（X1,X2,...Xn）的一个观察值，称
为参数θ1,...θn的似然函数。
若（X1,X2,...Xn）是来自总体X的简单随机样本，似然函数L(θ1,...θn)就是样本（X1,X2,...Xn）的联合概率分布，将一组样本的分布看成联合概率分布f(X1,X2,...Xn)，那么由于每个变量是独立同分布对的，所以可以写成边缘分布乘积的形式，f(X1,X2,...Xn)=f(X1)f(X2)..f(Xn)，比如f(X1)就是固定X2..Xn了之后单一变量的分布函数，对于样本值（x1,x2,...xn）的概率也就是f(x1,x2,...xn)=f(x1)f(x2)..f(xn)=L(θ1,...θn)，为了找到一组参数(θ1,...θn)，使得样本值（x1,x2,...xn）出现的概率最大，也就是f(x1,x2,...xn)求最大，其实这就是似然函数的来源。求变成了求似然函数的最大值，可以使用求导或者求偏导的方式求解。
借用其他博客的一个举例，假设盒中白球的比例是a，那么黑球的比例就是1-a。因为每抽一个球出来，在记录颜色之后，我们把抽出的球放回了罐中并摇匀，所以每次抽出来的球的颜 色服从同一独立分布。比如，我们进行了10次抽取，7次白球，每次看成一个变量，由于是相互独立，所以可以得到的这个样本组发生的概率为P= a7(1-a)3，这实际就是10个边缘分布相乘得到了联
那么p在取什么值的时候，P的值最大呢？将a^7(1-a)^3对p求导，并其等于零。
解方程可以得到p=0.7。在边界点a=0,1，P=0。所以当a=0.7时，P的值最大。这和我们常识中按抽样中的比例来计算的结果是一样的。
例子参看了：http://blog.sina.com.cn/s/blog_6163bdeb0102drgd.html
标签：
原文地址：http://www.cnblogs.com/coolalan/p/4229900.html
