标签:机器学习
许多机器学习问题涉及从特殊训练样例中得到一般概念。比如人们不断学习的一些一般概念和类别。每个概念可被看作一个对象或事件集合,它是从更大的集合中选取的子集(如从动物的集合中选取鸟类),或者是在这个较大集合中定义的布尔函数(如在动物集合中定义的函数,它对鸟类返回true,对其他动物返回false)。
考虑一个小孩子理解“狗”这个词的意义。假设当小孩的父母指着一个动物对他说,“这是一只狗”,这是给出了概念的正例。而当小孩子看到一只猫时说,“这是一只狗”时,他父母会纠正他说,“这是一只猫,不是一只狗”,这是在主动学习过程中给出负例的情形。心理研究表明,人在学习概念时往往只是来源于正例数据。
理解一个词的含义等同于概念学习,同时也等同于二元分类。即当输入数据时一个概念的样例时,定义f(x)=1;否则f(x)=0。
所谓的贝叶斯方法源于他生前为解决一个“逆概”问题写的一篇文章,而这篇文章是在他死后才由他的一位朋友发表出来的。在贝叶斯写这篇文章之前,人们已经能够计算“正向概率”,如“假设袋子里面有N个白球,M个黑球,你伸手进去摸一把,摸出黑球的概率是多大”。而一个自然而然的问题是反过来:“如果我们事先并不知道袋子里面黑白球的比例,而是闭着眼睛摸出一个(或好几个)球,观察这些取出来的球的颜色之后,那么我们可以就此对袋子里面的黑白球的比例作出什么样的推测”。这个问题,就是所谓的逆概问题。
贝叶斯是机器学习的核心方法之一。这背后的深刻原因在于,现实世界本身就是不确定的,人类的观察能力是有局限性的,我们日常所观察到的只是事物表面上的结果,沿用刚才那个袋子里面取球的比方,我们往往只能知道从里面取出来的球是什么颜色,而并不能直接看到袋子里面实际的情况。这个时候,我们就需要提供一个假设(hypothesis)。所谓假设,当然就是不确定的(可能是有限个,也可能是无限多种),为了确定哪个假设是正确的,我们需要做两件事情:1、算出各种不同猜测的可能性大小。2、算出最靠谱的猜测是什么。第一个就是计算特定猜测的后验概率(Posterior),对于连续的猜测空间则是计算猜测的概率密度函数。第二个则是所谓的模型比较,模型比较如果不考虑先验概率(Prior)的话就是最大似然方法。
游戏规则是这样的,我首先选取了一个数字规律的概念C(也可以说是规则,比如介于1到10的数字、距离20很近的数字等),然后根据符合C的数据,随机选取一部分,最后给定一些测试数据,让你将符合这个概念C的数据分类出来。
现在假设所有数字都是从1到100中选取的整数。
如果现在告诉你,16是一个未知概念C的正例,那请问你什么数字还符合这个概念C呢?
你会感觉所有的假设都太过模糊,不太可能。比如17可以看做是离16很近的概念的正例;6也有可能,因为它们都有一个数字6;再如32,它们都是2的幂次;以此的假设太多了。
现在,如果我再告诉你,8、2和64也都是正例数据,你会很自然的猜测这个隐含的概念是“2的幂次”,那么为什么会这样呢?为什么我们的假设不是“所有偶数”,或者“除去32的所有2的幂次”?这些假设也都符合给出的数据资料,为什么我们直觉上会认为是“2的幂次”呢?我们会从贝叶斯的角度解释这件事情。
接着上面的说,我们现在要解释为什么我们选择“2的幂次”这个假设,而不是“所有偶数”这个假设,虽然现在这两个假设都符合给定的数据,但是怎么样才能避免可疑的巧合情况造成的估计错误呢?
这里,我们将问题公式化,我们假设样本是从数据集中均匀随机选取的,这样从N个数据中采样的概率p(D|h)如下。
由于在1到100区间里,“2的幂次”的数据集D={2,4,8,16,32,64};而“所有偶数”的数据集D={2,4,6,8,...,98,100},所以,从“2的幂次”采样的概率要远比从“所有偶数”的数据集采样的概率大。故由{16,8,2,64}数据得出“所有偶数”这个假设就很有可能只是一个巧合。
下面简要介绍了似然度、先验概率和后验概率:
根据贝叶斯公式,我们看到后验概率要结合先验概率和似然度。这里看到虽然“powers of 2,plus 37”和“powers of 2,except 32”有很大的似然度,但是先验概率很小,导致最终的后验概率很小,这种反常概念的低的先验概率可以避免对数据的过拟合。
将所有可能的后验概率p(h|D)进行加权得到了后验预测分布。
机器学习,Tom M. Mitchell
Machine Learning: A Probabilistic Perspective, Kevin P. Murphy
数学之美番外篇:平凡而又神奇的贝叶斯方法
转载请注明作者Jason Ding及其出处
Github主页(http://jasonding1354.github.io/)
CSDN博客(http://blog.csdn.net/jasonding1354)
简书主页(http://www.jianshu.com/users/2bd9b48f6ea8/latest_articles)
标签:机器学习
原文地址:http://blog.csdn.net/jasonding1354/article/details/42295533