将Adaboost和decision tree相结合，需要注意的地主是，训练时adaboost需要改变资料的权重，如何将有权重的资 料和decision tree相结合呢？方法很类似于前面讲过的bagging，通过采样资料来使资料获得不同的权重。 一棵完全的树的权值...
分类：
其他好文 时间：
2015-08-03 22:33:00
阅读次数：
138
总体来说，林对于random forest的讲解主要是算法概况上的；某种程度上说，更注重insights。林分别列举了Bagging和Decision Tree的各自特点：Random Forest就是这二者的结合体。1）便于并行化2）保留了C&RT的优势3）通过bagging的方法削弱了fully...
分类：
其他好文 时间：
2015-08-03 20:56:02
阅读次数：
523
首先用一个形象的例子来说明AdaBoost的过程：1. 每次产生一个弱的分类器，把本轮错的样本增加权重丢入下一轮2. 下一轮对上一轮分错的样本再加重学习，获得另一个弱分类器经过T轮之后，学得了T个弱分类器，再将这T个弱分类器组合在一起，形成了一个强分类器。由于每一轮样本的权重都在变化，因此分类器学习...
分类：
其他好文 时间：
2015-08-01 18:35:00
阅读次数：
255
这是我们已经学到的（除Decision Tree外） 下面是一个典型的decision tree算法，有四个地方需要我们选择： 接着介绍了一个CART算法：通过decision stump分成两类，衡量子树的标准是，将数据分成两类后，这两类数据的纯度...
分类：
其他好文 时间：
2015-07-31 21:49:12
阅读次数：
599
将分类器组合的过程中，将重点逐渐聚焦于那些被错分的样本点，这种做法背后的数学原因，就是这讲的内容。 在用bootstraping生成g的过程中，由于抽样对不同的g就生成了不同的u，接下来就是不断的调整u，使得Ein最小。 g越不同，通过...
分类：
其他好文 时间：
2015-07-28 18:08:53
阅读次数：
252
这一节讲如何将得到的feature或hypothesis组合起来用于预测。 1. 林老师给出了几种方法 在选择g时，需要选择一个很强的g来确保Eval最小，但如果每个g都很弱该怎么办呢 这个时候可以选择Aggregation的方式将这些若g组合起来，组合起来的G，既能fea...
分类：
其他好文 时间：
2015-07-27 18:36:30
阅读次数：
1755
这一节主要讲的是如何将Kernel trick 用到 logistic regression上。 最近看的论文用到了这方面的知识，不过没听懂啊，真是哭死。。。。 参考：http://www.cnblogs.com/xbf9xbf/p/4633775.html
分类：
其他好文 时间：
2015-07-23 17:28:26
阅读次数：
270
这一节讲的是核化的SVM，Andrew Ng的那篇讲义也讲过，讲的也不错。 首先讲的是kernel trick，为了简化将低维特征映射高维特征后的计算，使用了核技巧。讲义中还讲了核函数的判定，即什么样的函数K能使用kernel trick。此外，核函数还可以衡量两个特征的相似度，值...
分类：
系统相关 时间：
2015-07-20 21:31:27
阅读次数：
165
这节课讲的是SVM的对偶问题，比较精彩的部分：为何要使用拉格朗日乘子以及如何进行对偶变换。 参考：http://www.cnblogs.com/bourneli/p/4199990.html http://www.cnblogs.com/xbf9xbf/p/4619866.html
分类：
系统相关 时间：
2015-07-18 12:14:26
阅读次数：
170
极其淡腾的一学期终于过去了，暑假打算学下台大的这门机器学习技法。 第一课是对SVM的介绍，虽然之前也学过，但听了一次感觉还是很有收获的。这位博主总结了个大概，具体细节还是要听课：http://www.cnblogs.com/bourneli/p/4198839.html 这位博主总结的...
分类：
其他好文 时间：
2015-07-17 13:27:23
阅读次数：
118
