码迷,mamicode.com
首页 > 编程语言 > 详细

斯坦福《机器学习》Lesson5感想———1、成学习算法

时间:2017-04-28 10:24:37      阅读:197      评论:0      收藏:0      [点我收藏+]

标签:导出   概率分布   思想   article   style   enter   好的   .net   最大化   

    在前面几课里的学习算法的思路都是给定数据集以后。确定基于此数据集的最佳如果H函数,通过学习算法确定最佳如果H的各个參数,然后通过最佳如果函数H得出新的数据集的结果。在这一课里介绍了一种新的思路,它的核心思想是直接计算各种如果的最高概率,然后拟合各个如果的最高概率參数,并利用拟合得到的如果概率,计算出新的数据集的概率,选取概率最高的如果直接得出分类类别。

    整个生成学习算法的精髓在于条件概率的使用。在二元分类里,也能够称为分别算法。在给定的数据集里确定p(y) 和p(x|y),然后根据贝叶斯定理。得到

 技术分享

当中x|y=1)p(y=1)+p(x|y=0)p(y=0)。

为得到每种如果的最高概率,所以可知

 技术分享

 

1、高斯分别算法(Gaussian discriminant analysis,GDA)

     多元正太分布的函数这里就不具体展开了,以后会另开一个关于机器学习中的经常使用数学的博客专题。高斯分别算法面对的是连续变量x。在高斯分别分析模型

y~Bernoulli(φ )

 x|y=0 ~N(μ0,Σ )

x|y=1~ N(μ1,Σ)

所以它们的概率分布函数是:

技术分享

在概率分布函数里的參数φ, Σ, μ0 and μ1 ,能够通过最大似然概率计算。似然概率函数为

 技术分享

最大化似然概率,可确定各參数值例如以下:

 技术分享

 

2、高斯分别算法和logistic回归算法的比較

     两者都是针对分类问题。可是如果p(x|y)满足多元高斯分布,则能够推导出p(y|x)满足logistic回归。反之则不然。这说明高斯分别算法具有更好的模型如果性,在训练的时候须要更少的数据。在数据集大的时候,高斯分别算法比logistic回归算法更有效,一般而言。我们也觉得在数据集小的时候,高斯分别算法也更有效。logsitic回归算法具有更好的鲁棒性,在数据集明显不符合高斯分布的时候,logistic回归算法的效率比高斯分别算法的效率好。因此。实践中用到的很多其它的是logistic回归算法。

    此外,当x|y = 0 ~ Poisson(λ0) ,x|y = 1 ~ Poisson(λ1) (满足指数簇)时,p (y|x)满足logistic回归。

斯坦福《机器学习》Lesson5感想———1、成学习算法

标签:导出   概率分布   思想   article   style   enter   好的   .net   最大化   

原文地址:http://www.cnblogs.com/brucemengbm/p/6780085.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!