这一节课主要讲如何用logistic regression做分类。 在误差衡量问题上，选取了最大似然函数误差函数，这一段推导是难点。 接下来是如何最小化Ein，采用的是梯度下降法，这个比较容易。 参考：http://beader.me/mlnotebook/section3/logistic-re....
分类：
其他好文 时间：
2015-06-25 22:56:17
阅读次数：
226
在 聚类算法K-Means, K-Medoids, GMM, Spectral clustering，Ncut一文中我们给出了GMM算法的基本模型与似然函数，在EM算法原理中对EM算法的实现与收敛性证明进行了具体说明。本文主要针对怎样用EM算法在混合高斯模型下进行聚类进行代码上的分析说明。1. GM...
分类：
编程语言 时间：
2015-06-23 17:21:55
阅读次数：
258
简单易学的机器学习算法——EM算法一、机器学习中的参数估计问题 在前面的博文中，如“简单易学的机器学习算法——Logistic回归”中，采用了极大似然函数对其模型中的参数进行估计，简单来讲即对于一系列样本，Logistic回归问题属于监督型学习问题，样本中含有训练的特征以及标签，在Logistic....
分类：
编程语言 时间：
2015-06-21 11:50:17
阅读次数：
417
文章《EM算法学习笔记1：简介》中介绍了EM算法的主要思路和流程，我们知道EM算法通过迭代的方法，最后得到最大似然问题的一个局部最优解。本文介绍标准EM算法背后的原理。我们有样本集X，隐变量Z，模型参数θ\theta，注意他们3个都是向量，要求解的log似然函数是lnp(X|θ)lnp(X|\theta)，而这个log似然函数难以求解，我们假设隐变量Z已知，发现lnp(X,Z|θ)lnp(X,Z|\...
分类：
编程语言 时间：
2015-06-18 22:14:56
阅读次数：
209
在 聚类算法K-Means, K-Medoids, GMM, Spectral clustering，Ncut一文中我们给出了GMM算法的基本模型与似然函数，在EM算法原理中对EM算法的实现与收敛性证明进行了具体说明。本文主要针对怎样用EM算法在混合高斯模型下进行聚类进行代码上的分析说明。1. GM...
分类：
编程语言 时间：
2015-06-09 19:40:33
阅读次数：
1154
先验概率Prior probability在贝叶斯统计中，先验概率分布，即关于某个变量 p 的概率分布，是在获得某些信息或者依据前，对 p 的不确定性进行猜测。例如， p 可以是抢火车票开始时，抢到某一车次的概率。这是对不确定性（而不是随机性）赋予一个量化的数值的表征，这个量化数值可以是一个参数，或...
分类：
其他好文 时间：
2015-05-23 11:18:24
阅读次数：
716
多项变量(Multinomial Variables)二元变量是用来描述只有两种可能值的量，而当我们遇到一种离散变量，其可以有K种可能的状态。我们可以使用一个K维的向量x表示，其中只有一维xk为1，其余为0。对应于xk=1的参数为μk，表示xk发生时的概率。其分布可以看做是伯努利分布的一般化。
现在我们考虑N个独立的观测D={x1,…,xN}，得到其似然函数。如图：
多项式分布(The Mult...
分类：
其他好文 时间：
2015-05-12 00:13:08
阅读次数：
143
在统计计算中，最大期望（EM）算法是在概率模型中寻找参数最大似然估计或者最大后验估计的算法，其中概率模型依赖于无法观测的隐藏变量（Latent Variable）。最大期望经常用在机器学习和计算机视觉的数据聚类（Data Clustering）领域。...
分类：
编程语言 时间：
2015-05-10 17:23:37
阅读次数：
342
逻辑回归是一种回归的方法，可以说是线性回归映射到（0， 1）之间的线性回归，适合两类分类，以及在给出分类的时候能够一同给出分到该类别的概率大小。线性回归模型如下：用sigmoid函数映射到(0, 1)区间如下：那么可以得到以下条件概率：那么给定一个样本x，它的似然函数为对数似然函数为接下来对w求导，...
分类：
其他好文 时间：
2015-05-05 23:20:02
阅读次数：
133
区别于线性回归，不是把每个特征直接乘以系数，而是用一个S型函数（Logistic函数）。如下：
使用这种形式函数的原因（概率、求导）。
代价函数，也不是线性回归中的误差平方和，而是基于对数似然函数，如下：
单个样本的后验概率为：（y = 0， 1） 类似于二项分布的概率密度函数。
整个样本集的后验概率：
对数似然函数对于代价函数，如下：
梯度下降法...
分类：
编程语言 时间：
2015-03-05 10:52:23
阅读次数：
239
