概述 EM算法是一种迭代算法，用于含有隐变量(hidden variable)的概率模型参数的极大似然估计，或极大后验概率估计。 EM算法的每次迭代由两步组成：E步，求期望(expectation)；M步，求极大( maximization )，所以这一算法称为期望极大算法(expectation ...
分类：
编程语言 时间：
2018-12-23 22:15:30
阅读次数：
298
原 极大似然估计详解 2017年05月28日 00:55:10 知行流浪 阅读数：124758 所属专栏： 人工智能相关 2017年05月28日 00:55:10 知行流浪 阅读数：124758 所属专栏： 人工智能相关 所属专栏： 人工智能相关 版权声明：本文为博主原创文章https://极大似然 ...
分类：
其他好文 时间：
2018-12-23 15:18:04
阅读次数：
152
着重介绍hige loss 和 softmax loss。 "svm回顾" $C_1,C_2$是要区分的两个类别，通过分类函数执行时得到的值与阈值的大小关系来决定类别归属，例如： $$g(x) = g(w^Tx+b)$$ 我们取阈值为0，此时$f(x)=sgn[g(x)]$就是最终的判别函数。对于同 ...
分类：
其他好文 时间：
2018-12-22 13:06:44
阅读次数：
409
这涉及到数学的概率问题。 二元变量分布： 伯努利分布，就是0-1分布(比如一次抛硬币，正面朝上概率) 那么一次抛硬币的概率分布如下： 假设训练数据如下： 那么根据最大似然估计（MLE）,我们要求u： 求值推导过程如下： 所以可以求出： 以上的推导过程就是极大似然估计，我们可以看出u就是样本出现的频率 ...
分类：
其他好文 时间：
2018-12-19 23:24:42
阅读次数：
257
线性回归是机器学习中最基础的模型，掌握了线性回归模型，有利于以后更容易地理解其它复杂的模型。 线性回归看似简单，但是其中包含了线性代数，微积分，概率等诸多方面的知识。让我们先从最简单的形式开始。 一元线性回归（Simple Linear Regression）： 假设只有一个自变量x（indepen ...
分类：
系统相关 时间：
2018-12-19 14:18:00
阅读次数：
201
最大似然估计（Maximum likelihood estimation, 简称MLE）和最大后验概率估计（Maximum a posteriori estimation, 简称MAP）是很常用的两种参数估计方法，如果不理解这两种方法的思路，很容易弄混它们。下文将详细说明MLE和MAP的思路与区别。 ...
分类：
其他好文 时间：
2018-12-16 11:10:07
阅读次数：
114
1. 前言 概率模型有时既含有观测变量(observable variable)，又含有隐变量或潜在变量（latent variable），如果仅有观测变量，那么给定数据就能用极大似然估计或贝叶斯估计来估计model参数；但是当模型含有隐变量时，需要一种含有隐变量的概率模型参数估计的极大似然方法估计 ...
分类：
编程语言 时间：
2018-12-15 17:14:12
阅读次数：
244
由k个高斯模型加权组成，α是各高斯分布的权重，Θ是参数。对GMM模型的参数估计，就要用EM算法。更一般的讲，EM算法适用于带有隐变量的概率模型的估计，即不同的高斯分布所对应的类别变量。 为何不能使用极大似然估计，如果直接使用极大似然估计，没有考虑数据中的隐变量，很明显是不合适的。 那我们将隐变量考虑 ...
分类：
编程语言 时间：
2018-12-10 11:45:11
阅读次数：
234
1）平滑技术：拉普拉斯平滑 2）对极大似然式子取对数 判断一个样本x属于哪个类别y1, y2, y3……, 即是判断max( P(y1|x), P(y2|x), P(y3|x)….)，若最大值是P(yi|x), 那么样本x就属于i类别。 那么该如何求解P(yk|x)？ 这里c = yk, 因为分母对 ...
分类：
其他好文 时间：
2018-12-10 11:40:07
阅读次数：
137
假设函数： 更为一般的表达式： （1） 似然函数： （2） 对数似然函数： 如果以上式作为目标函数，就需要最大化对数似然函数，我们这里选择最小化负的对数似然函数 （3） 对J(w)求极小值，对求导 （4） 上述中 表示第i个样本的第j个属性的取值。 于是的更新方式为： （5） 将（5）式带入（4）式 ...
分类：
编程语言 时间：
2018-12-03 01:01:55
阅读次数：
1561
