众所周知，极大似然估计是一种应用很广泛的参数估计方法。例如我手头有一些东北人的身高的数据，又知道身高的概率模型是高斯分布，那么利用极大化似然函数的方法可以估计出高斯分布的两个参数，均值和方差。这个方法基本上所有概率课本上都会讲，我这就不多说了，不清楚的请百度。 然而现在我面临的是这种情况，我手上的数 ...
分类：
编程语言 时间：
2018-11-24 18:01:30
阅读次数：
173
第一种形式：y=0/1 第二种形式：y=+1/-1 第一种形式的损失函数可由极大似然估计推出: 第二种形式的损失函数： ， 参考：https://en.wikipedia.org/wiki/Loss_functions_for_classification ...
分类：
其他好文 时间：
2018-10-08 00:50:01
阅读次数：
893
贝叶斯决策 首先来看贝叶斯分类，我们都知道经典的贝叶斯公式： 其中：p(w)：为先验概率，表示每种类别分布的概率，P（X|W）：类条件概率，表示在某种类别前提下，某事发生的概率；而P（W|X）为后验概率，表示某事发生了，并且它属于某一类别的概率，有了这个后验概率，我们就可以对样本进行分类。后验概率越 ...
分类：
其他好文 时间：
2018-08-30 00:13:00
阅读次数：
165
一、EM算法简介 在 "EM算法之一 问题引出" 中我们介绍了硬币的问题，给出了模型的目标函数，提到了这种含隐变量的极大似然估计要用EM算法解决，继而罗列了EM算法的简单过程，当然最后看到EM算法时内心是懵圈的，我们也简要的分析了一下，那回过头来，重新看下EM算法的简单介绍： 输入：观测变量数据Y， ...
分类：
编程语言 时间：
2018-08-28 00:51:30
阅读次数：
185
最大似然估计（Maximum likelihood estimation, 简称MLE）和最大后验概率估计（Maximum aposteriori estimation, 简称MAP）是很常用的两种参数估计方法。 1、最大似然估计（MLE） 在已知试验结果（即是样本）的情况下，用来估计满足这些样本分 ...
分类：
其他好文 时间：
2018-08-07 21:57:53
阅读次数：
3439
极大似然估计思想的最简单解释 https://blog.csdn.net/class_brick/article/details/79724660?from=timeline 极大似然估计法的理解可以从三个角度入手，一个是整体性的思想，然后两个分别是离散状态的极大似然估计和连续状态的极大似然估计的简 ...
分类：
其他好文 时间：
2018-08-06 12:55:27
阅读次数：
153
title: 最大似然估计和EM算法 date: 2018 06 01 16:17:21 tags: [算法，机器学习] categories: 机器学习 mathjax: true 本文是对最大似然估计和EM算法做的一个总结。 一般来说，事件A发生的概率与某个未知参数$\theta?$有关，$\t ...
分类：
编程语言 时间：
2018-08-05 17:01:24
阅读次数：
225
王健, 孙志礼, 于震梁, 柴小冬 东北大学 机械工程与自动化学院， 辽宁 沈阳 110819 收稿日期: 2015-04-28 基金项目: 国家科技重大专项(2013ZX04011-011). 作者简介: 王健（1988-），男，辽宁锦州人，东北大学博士研究生;孙志礼(1957-)，男，山东巨野人 ...
分类：
其他好文 时间：
2018-07-31 17:19:21
阅读次数：
201
关键词：先验概率；条件概率和后验概率；特征条件独立；贝叶斯公式；朴素贝叶斯；极大似然估计；后验概率最大化； 期望风险最小化；平滑方法 朴素贝叶斯分类的定义如下： 1. 设 x = a1,a2, ...,am为一个待分类项，而每个a是x的一个特征属性。 2.待分类项的类别集合C={y1，y2，..., ...
分类：
其他好文 时间：
2018-07-15 19:28:01
阅读次数：
451
一、基本思想 “模型已定，参数未知” 假如有一个罐子，里面有黑白两种颜色的球，数目多少不知，两种颜色的比例也不知。我们想知道罐中白球和黑球的比例，但我们不能把罐中的球全部拿出来数。现在我们可以每次任意从已经摇匀的罐中拿一个球出来，记录球的颜色，然后再放回罐中。这个过程可以重复，我们可以用记录的球的颜 ...
分类：
其他好文 时间：
2018-06-03 23:38:46
阅读次数：
210
