生成模型与判别模型 给定样本 $x$ ,需要对 $p(y|x)$ 建模，生成模型与判别模型分别使用了不同的方式 1. 生成模型 直接对 $p(x,y)$ 建模，通过贝叶斯公式得到 $y$ 的后验分布即可： \[p(y|x) = \frac{p(x,y)}{p(x)}\] 生成模型反映了不同类型数据各... ...
分类：
其他好文 时间：
2016-08-21 16:40:12
阅读次数：
190
统计学习三要素：模型、策略、算法 模型分为概率模型（由条件概率表示的模型）和非概率模型（决策函数） 策略包括1、损失函数和风险函数；2、经验风险最小化与结构风险最小化 算法：根据相应的策略求解最优解，即求解最优化问题。 生成模型与判别模型 分类、回归、标注问题 K-近邻算法（KNN） 算法原理 优点 ...
分类：
其他好文 时间：
2016-08-08 07:40:06
阅读次数：
206
说明生成算法和判别算法之间的区别。判别算法主要包括：SVM，逻辑回归等；生成算法主要包括：朴素贝叶斯，HMM等...
分类：
其他好文 时间：
2016-06-21 07:09:53
阅读次数：
343
如果在我们的分类问题中，输入特征xx是连续型随机变量，高斯判别模型(Gaussian Discriminant Analysis,GDA)就可以派上用场了。 以二分类问题为例进行说明，模型建立如下： 对应的概率分布形式如下： p(y)=?y(1??)1?y(1)(1)p(y)=?y(1??)1?y ...
分类：
其他好文 时间：
2016-05-22 20:07:02
阅读次数：
378
感知机(Perceptron)是二分类问题的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值。 感知机于输入空间（特征空间）中将实例划分为正负两类的分离超平面，属于判别模型。感知机于1957年由Rosenblatt提出，是神经网络和支持向量机的基础。 在这里，不用《统计学习方 ...
分类：
其他好文 时间：
2016-05-08 16:51:49
阅读次数：
785
1、概率模型
机器学习中的很多模型可以根据概率分布形式分为生成模型和判别模型，其中生成模型以输入输出的联合分布P(X,Y)为基础建模，如朴素贝叶斯、隐马尔可夫模型；判别模型以条件概率分布P(Y|X)为基础建模，如最大熵模型、条件随机场等。这几个模型之间有一定的关系，它们的关系如下：
其中，NB表示朴素贝叶斯，ME表示最大熵，HMM表示隐马尔科夫，CRF表示条件随机场。joint联合分布，co...
分类：
其他好文 时间：
2016-04-17 23:10:02
阅读次数：
392
第2章 感知机
感知机(perceptron)是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值。感知机对应于输入空间(特征空间)中将实例划分为正负两类的分离超平面，属于判别模型。
感知机学习旨在求出将训练数据进行线性划分的分离超平面，为此，导入基于误分类的损失函数，利用梯度
下降法对损失函数进行极小化求得感知机模型。
2.1 感知机模型
定义(感知...
分类：
其他好文 时间：
2016-03-30 13:16:48
阅读次数：
193
第11章 条件随机场
条件随机场(conditional random field, CRF)是给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型，其特点是假设输出随机变量构成马尔可夫随机场。条件随机场可以用于不同的预测问题，本章主要讲述线性链(linear chain)条件随机场在标注问题的应用，这时问题变成了由输入序列对输出序列预测的判别模型，形式为对数线性模型，其学习方法通常是...
分类：
其他好文 时间：
2016-03-30 13:14:33
阅读次数：
290
【摘要】 - 生成模型：无穷样本==》概率密度模型 = 产生模型==》预测 - 判别模型：有限样本==》判别函数 = 预测模型==》预测【简介】简单的说，假设o是观察值，q是模型。如果对P(o|q)建模，就是Generative模型。其基本思想是首先建立样本的概率密度模型，再利用模型进行推理预测。要...
分类：
其他好文 时间：
2015-11-23 16:19:00
阅读次数：
183
最经典的莫过于 Andrew Ng在NIPS2001年有一篇专门比较判别模型和产生式模型的文章： On Discrimitive vs. Generative classifiers: A comparision of logistic regression and naive Bayes (http://robotics.stan...
分类：
其他好文 时间：
2015-10-10 17:23:50
阅读次数：
138
