二、Learning to Answer Yes/No
二元分类。
解决上一章提出的银行发行信用卡的问题。
2.1 Perceptron Hypothesis Set
感知器的假设空间。
还是银行发信用卡的例子，银行可能掌握了用户的各种属性，如年龄，年薪，工作年限，负债情况等等，这些属性可以作为上面...
分类：
其他好文 时间：
2015-02-01 13:21:57
阅读次数：
382
先简单介绍下这门课程，这门课是在著名的MOOC（Massive Online Open Course大型在线公开课）Coursera上的一门关于机器学习领域的课程，由国立台湾大学的年轻老师林轩田老师讲授。这门叫做机器学习基石的课程，共8周的课程为整个机器学习课程的上半部分，更偏重于理论和思想而非算法...
分类：
其他好文 时间：
2015-02-01 12:03:38
阅读次数：
316
背景
上一篇文章总结了linear hard SVM，解法很直观，直接从SVM的定义出发，经过等价变换，转成QP问题求解。这一讲，从另一个角度描述hard SVM的解法，不那么直观，但是可以避免feature转换时的数据计算，这样就可以利用一些很高纬度（甚至是无限维度）的feature转换，得到一些...
分类：
其他好文 时间：
2015-01-03 22:23:05
阅读次数：
347
背景 支持向量机（SVM）背后的数学知识比较复杂，之前尝试过在网上搜索一些资料自学，但是效果不佳。所以，在我的数据挖掘工具箱中，一直不会使用SVM这个利器。最近，台大林轩田老师在Coursera上的机器学习技法课程上有很详细的讲授SVM的原理，所以机会难得，一定要好好把握这次机会，将SVM背后的原理...
分类：
其他好文 时间：
2015-01-02 22:25:56
阅读次数：
350
通过前四讲可知，在假设集大小（M）有限的条件下，机器是可以学习的。第五讲的目的是解决M为无限大时，机器是否能学习的问题。为什么在假设集大小（M）有限的条件下，机器是可以学习的？1. 其依据是Hoeffding不等式：这个不等式说明了，训练集的错误率Ein(g)和测试集的错误率Eout(g)的差距太大...
分类：
其他好文 时间：
2014-12-23 00:03:42
阅读次数：
208
第四讲介绍了机器学习是否可行的问题。1. 从给定的资料D中，找出一个接近目标f的假设g是可行的。比如PLA。但是，找到的这个g能否用于D以外的地方，这就难说了。2. Hoeffding's inequality回答了g是否能用于D以外的问题： （1）In probability theory, H....
分类：
其他好文 时间：
2014-12-18 20:27:01
阅读次数：
384
第三讲介绍了不同类型的机器学习问题，根据4个方面划分：输出空间，标签，方式，输入空间。1. 根据输出空间y不同划分：通过变换y的种类，可得到不同的机器学习问题 （1）y = {+1, -1}：二元分类问题，类似于做是非题，机器学习的基础。 （2）y = {0, 1, 2, ..., k}：k元分.....
分类：
其他好文 时间：
2014-12-11 15:44:30
阅读次数：
233
第二讲介绍了Perceptron Learning Algorithm (PLA)，是以后学习的基础。PLA是二元的线性分类器，类似于神经感受器，用于做是非题。1. PLA的假设函数：h(x) = sign(w'x)。 这里w'是列向量，x是行向量。x代表一个数据点，这个点可能包含了d个维度，即x....
分类：
其他好文 时间：
2014-12-11 13:55:09
阅读次数：
281
近来觉得机器学习愈发重要。有人推荐了台大林轩田老师讲授的“机器学习基石”，感觉林老师讲得生动清楚，是很好的课程，值得一学。第一讲介绍了机器学习是什么，使用机器学习的条件，机器学习的模型是怎样的。1. 机器学习是一种处理复杂系统的方法，这里老师举了4个例子：(1) when human cannot ...
分类：
其他好文 时间：
2014-12-09 21:07:58
阅读次数：
406
第一讲中我们学习了一个机器学习系统的完整框架，包含以下3部分：训练集、假设集、学习算法 一个机器学习系统的工作原理是：学习算法根据训练集，从假设集合H中选择一个最好的假设g，使得g与目标函数f尽可能低接近。H称为假设空间，是由一个学习模型的参数决定的假设构成的一个空间。而我们这周就要学习一个特定的....
分类：
其他好文 时间：
2014-12-08 00:38:06
阅读次数：
466
