码迷,mamicode.com
首页 > 系统相关 > 详细

CS281: Advanced Machine Learning 第二节 probability theory 概率论

时间:2015-07-29 23:03:39      阅读:1124      评论:0      收藏:0      [点我收藏+]

标签:machine learning   probability   概率论   beta分布   高斯分布   

概率论基本概念

离散变量

概率论中的两个基本法则:加法法则和乘法法则,加法法则定义了随机变量X与条件变量Y之间的直接联系。乘法法则定义了概率学中最重要的条件概率,同时也可以叫做联合概率,因为它描述了事件X和Y同时发生的概率。
技术分享

通过上面公式可以推到出条件概率公式:
技术分享

进而可以得到著名的贝叶斯公式,贝叶斯公式广泛的应用于科学界,这也被称为后验概率,因为它在咱们知道了p(Y=y)这个先验概率之后才能计算出来。
技术分享

如果两个随机变量x,y满足以下公式,那么说明他们是互相独立的:
技术分享
如果三个随机变量x,y,z满足以下公式,那么说明x与y是条件独立的:
技术分享

连续随机变量

对于连续随机变量X落在区间(a,b)的概率为:
技术分享
连续随机变量也具有以下性质,概率非负性,以及随机变量在所有范围内发生的概率为1.
技术分享
以下是连续型随机变量的CDF(cumulative distribution function ),表示了在随机变量x属于区间a到b的概率。
技术分享

期望和方差

对于离散型随机变量,其期望就相当于各个随机变量的加权平均,而权值就是各个随机变量的概率:
技术分享
对于连续型随机变量,和离散型随机变量类似,只是累加符号改为了积分:
技术分享
方差衡量的是整个随机变量的离散度,越大代表随机变量的取值范围越宽。
技术分享
技术分享

协方差可以用来衡量两个随机变量之间的关系,是相关系数的重要组成部分:
技术分享

离散随机分布

伯努利分布 Bernoulli distribution

伯努利分布是最简单的二元分布,随机变量取值0或者1,其分布表达如下:
技术分享

当x=1的时候,其概率为μ, 当x=0的时候,概率为1-μ。
伯努利分布的期望和方差如下:
技术分享

二项分布 binomial distribution 
 技术分享

二项分布,表示的是做n次试验,其中每次发生的概率为theta,用于计算n次中发生k次的概率。其中:
技术分享
上公式表示的常用的组合公式,n次中取k次,二项分布的平均值和方差是:
技术分享

多项分布  multinomial  distribution

二项分布可以很好的来模拟连续掷一个双面色子的结果分布,但是如果咱们手里有个多面色子怎么搞呢?多项式分布帮了我们的忙:
技术分享
技术分享

技术分享
表示的是n次试验中,每一面分别发生了m1,m2 .......mk次。

特别的当n=1,就是之前伯努利分布的延伸:
技术分享

泊松分布 Poisson distribution

泊松分布表示为以下形式,它常常用来模拟一些较少发生的事情:
技术分享
技术分享

连续随机分布

高斯分布(正态分布)

正态分布是自然界最伟大也是最漂亮的分布,其表达式如下:
技术分享
其cdf如下:
技术分享
它的平均值如下:
技术分享
方差是:
技术分享
以下是一个正态分布的示例图:
技术分享

Degenerate pdf 

当高斯分布中的方差变得很小,趋近于0时,在均值附近,曲线会变得异常陡峭。其中δ叫做Dirac delta function, 可以很好的来表示当高斯分布中方差很小的情况。
技术分享

技术分享

student T 分布

高斯分布有一个明显的问题就是对异常点较为敏感,如下图,红色的曲线是真正的分布曲线,蓝色密虚线是高斯分布,我们可以看到右图,高斯分布由于异常点的影响偏离正常分布较大,而我们可以用另外一种分布,T分布来更好的模拟异常点存在的情况:
技术分享
T分布表达如下:
技术分享
μ表示的整个分布的均值,v是自由度 degrees offreedom 。

t分布有以下性质:
技术分享
特别的,当v=1时,该分布也被称作:Cauchy 或者 Lorentz 分布
使用时候需注意通常我们需要v>2,当v=4的时候可以很好的模拟一些分布,但是当v>>5之后会更加趋近于正态分布,从而失去的稳健性。

Laplace distribution

除了T分布,拉普拉斯分布也有很长的尾巴,它表达式如下:
技术分享
它又以下性质,同时它也对异常点有很好的忍耐力,在0点比高斯分布有更高的概率。
技术分享

gamma distribution 

伽马分布也是一个参数分布,如下:
技术分享
其中:
技术分享
伽马分布有以下性质:
技术分享
以下是一些伽马分布的实例:
技术分享
关于伽马函数有一篇很好的文章:神奇的伽马函数: http://www.52nlp.cn/lda-math-%E7%A5%9E%E5%A5%87%E7%9A%84gamma%E5%87%BD%E6%95%B01

beta distribution

beta分布的表达式如下:
技术分享
技术分享
以下是beta函数的一些实例:
技术分享
它的性质如下:
技术分享

Pareto distribution 

帕累托原理想必都听过吧,就是著名的长尾理论,帕累托分布表达式如下:
技术分享

下面是一些实例:左图表现了不同参数配置下的帕累托分布
技术分享
一些性质如下:
技术分享











reference

PRML
MLAP

版权声明:本文为博主原创文章,未经博主允许不得转载。

CS281: Advanced Machine Learning 第二节 probability theory 概率论

标签:machine learning   probability   概率论   beta分布   高斯分布   

原文地址:http://blog.csdn.net/frog_in_a_well/article/details/47132497

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!