《统计学习方法》第9章 EM算法及其推广 EM算法是一种迭代算法，用于含有隐含变量（hidden variable）的概率模型参数的极大似然估计，或极大后验概率估计。 EM算法的每次迭代由两步组成： E步，求期望（expectation）； M步，求极大（maximization）。 所以这一算法成...
分类：
编程语言 时间：
2015-06-24 16:00:38
阅读次数：
194
逻辑分布（Logistic distribution）公式 P(Y=1│X=x)=exp(x‘β)/(1+exp(x‘β)) 其中参数β常用极大似然估计。 Logit模型是最早的离散选择模型，也是目前应用最广的模型。 Logit模型的应用广泛性的原因主要是因为其...
分类：
其他好文 时间：
2015-06-11 09:40:08
阅读次数：
133
决策树的分类过程和人的决策过程比较相似，就是先挑“权重”最大的那个考虑，然后再往下细分。比如你去看医生，症状是流鼻涕，咳嗽等，那么医生就会根据你的流鼻涕这个权重最大的症状先认为你是感冒，接着再根据你咳嗽等症状细分你是否为病毒性感冒等等。决策树的过程其实也是基于极大似然估计。那么我们用一个什么标准来衡...
分类：
编程语言 时间：
2015-06-09 09:46:17
阅读次数：
196
一：背景：当给出我们一些样本点，我们可以用一条直接对其进行拟合，如y= a0+a1x1+a2x2,公式中y是样本的标签，{x1,x2,x3}是特征，当我们给定特征的大小，让你预测标签，此时我们就需要事先知道参数{a1,a2}。而最小二乘法和最大似然估计就是根据一些给定样本(包括标签值)去对参数进行估计参数估计的方法>。
二：最小二乘法：
基本思想：
简单地说，最小二乘的思想就是要使得观...
分类：
其他好文 时间：
2015-04-13 22:58:32
阅读次数：
173
极大似然估计又称最大似然估计，对于一个已知的模型来说，还有些参数是不确定的，但是有了真实数据，那么这些参数可不可计算出呢？或者估计出最有可能的情况？举个例子，例如有一组来自正态分布（也叫高斯分布）的样本数据，每个样本的数据都独立同分布，比如是正态分布，但正态分布的参数μ,σ都不知道，如果用极大似然估...
分类：
其他好文 时间：
2015-01-16 23:40:51
阅读次数：
238
机器学习问题方法总结大类名称关键词有监督分类决策树信息增益分类回归树Gini指数，Χ2统计量，剪枝朴素贝叶斯非参数估计，贝叶斯估计线性判别分析Fishre判别，特征向量求解K最邻近相似度度量：欧氏距离、街区距离、编辑距离、向量夹角、Pearson相关系数逻辑斯谛回归（二值分类）参数估计（极大似然估计...
分类：
其他好文 时间：
2014-11-27 12:34:58
阅读次数：
369
1.引言以前我们讨论的概率模型都是只含观测变量(observable variable), 即这些变量都是可以观测出来的，那么给定数据，可以直接使用极大似然估计的方法或者贝叶斯估计的方法；但是当模型含有隐变量(latent variable)的时候, 就不能简单地使用这些估计方法。如在高斯混合和EM...
分类：
编程语言 时间：
2014-11-20 15:15:09
阅读次数：
512
1. 极大似然与最大概率 因为不是科班出身，所以最初接触极大似然的时候，总是很奇怪为什么叫极大似然，而不直接叫做最大概率？ 后来才知道极大似然是用来估计未知参数的，而最大概率的表述更适合于已知参数的情况下，求解出现最大概率的变量的，举例如下： Max L(θ) =θ1x1+θ2x2+θ3x3 ...
分类：
其他好文 时间：
2014-10-29 10:27:57
阅读次数：
137
EM：最大期望算法（Expectation Maximization Algorithm，又译期望最大化算法），是一种迭代算法，用于含有隐变量（hidden variable）的概率参数模型的最大似然估计或极大后验概率估计。1 极大似然估计 假设有如图1的X所示的抽取的n个学生某门课程的成绩，又知....
分类：
编程语言 时间：
2014-10-19 21:17:00
阅读次数：
339
这个暂时还不太明白，先写一点明白的。EM:最大期望算法，属于基于模型的聚类算法。是对似然函数的进一步应用。我们知道，当我们想要估计某个分布的未知值，可以使用样本结果来进行似然估计，进而求最大似然估计就可以估计出要求的参数。但是有时候还会有未知参数，这样就不能使用极大似然估计。当然这个参数与我们要估计...
分类：
其他好文 时间：
2014-08-05 18:17:09
阅读次数：
180
