上一讲主要利用不同模型计算出来的g。採用aggregation来实现更好的g。假设还没有做出来g。我们能够採用bootstrap的方法来做出一系列的“diversity”的data出来。然后训练出一系列的g。比方PLA来说，尽管模型一样，就是直线对二维平面的切割，模型都为直线，那么我们利用boots ...
分类：
其他好文 时间：
2017-05-04 18:36:51
阅读次数：
137
算法原理 相比单一的学习器，集成Ensemble的思想是将不同的分类器组合，以期得到更优的（组合）模型用于预测。根据实现的不同，集成算法又有多种形式： 不同算法集成 相同算法的不同参数（设置）集成 使用数据集的不同部分 集成Ensemble算法主要分为Bagging和Boosting，AdaBoos ...
分类：
编程语言 时间：
2017-05-03 19:14:14
阅读次数：
157
树的节点将要预测的空间划分为一系列简单域，划分预测空间的规则可以被建模为一棵树，所以这种方法也叫决策树方法。 bagging，随机森林，boosting 是多棵决策树组合起来采用投票方式产生一个预测结果的方法。 以树为基础的方法可以用于回归和分类。 回归树： 输出是一个实数，如房子的价格等。 回归树 ...
分类：
其他好文 时间：
2017-04-24 14:36:10
阅读次数：
146
说到ML中Boosting和Bagging，他们属于的是ML中的集成学习
集成学习法（Ensemble Learning）
① 将多个分类方法聚集在一起，以提高分类的准确率。
（这些算法可以是不同的...
分类：
其他好文 时间：
2017-04-23 21:12:37
阅读次数：
337
Rattle实现AdaBoost算法 Boosting算法是简单有效、易使用的建模方法。AdaBoost（自适应提升算法）通常被称作世界上现成的最好分类器。 Boosting算法使用其他的弱学习算法建立多个模型，对数据集中对结果影响较大的对象增加权重，一系列的模型被创建，然后调整那些影响分类的模型的 ...
分类：
编程语言 时间：
2017-04-21 18:47:44
阅读次数：
333
最近写移动端发现，当我用rem给html根元素一个指定的比例值时候，但会被webview的内置浏览给加一层过滤将其值放大 最终会影响rem的布局。最终在网上查了很久一篇文章写font boosting的跟我的情况很相似。https://github.com/jin5354/404forest/iss ...
分类：
移动开发 时间：
2017-04-13 10:05:07
阅读次数：
355
论文提出了一种loss: x是原始数据，y是对应的label，h(x)是一个判别函数，r(x)相当于训练了一个信心函数，r(x)越大，代表对自己做的判断的信息越大，当r(x)<0的时候，就拒绝进行分类。那么这个loss函数分为前后两项，前面一项就是通常的分类错误的loss，后面一样是对不进行分类的惩 ...
分类：
其他好文 时间：
2017-04-10 21:32:24
阅读次数：
148
转：http://www.cnblogs.com/jasonfreak/p/5657196.html 目录 1 前言2 集成学习是什么？3 偏差和方差 3.1 模型的偏差和方差是什么？ 3.2 bagging的偏差和方差 3.3 boosting的偏差和方差 3.4 模型的独立性 3.5 小结4 G ...
分类：
其他好文 时间：
2017-04-06 09:37:57
阅读次数：
267
转：http://www.cnblogs.com/jasonfreak/p/5720137.html 目录 1 Random Forest和Gradient Tree Boosting参数详解2 如何调参？ 2.1 调参的目标：偏差和方差的协调 2.2 参数对整体模型性能的影响 2.3 一个朴实的方 ...
分类：
其他好文 时间：
2017-04-06 09:27:12
阅读次数：
233
在集成学习原理小结中，我们讲到了集成学习有两个流派，一个是boosting派系，它的特点是各个弱学习器之间有依赖关系。另一种是bagging流派，它的特点是各个弱学习器之间没有依赖关系，可以并行拟合。本文就对集成学习中Bagging与随机森林算法做一个总结。 随机森林是集成学习中可以和梯度提升树GB ...
分类：
编程语言 时间：
2017-04-05 21:56:31
阅读次数：
321
