一. GBDT的经典paper：《Greedy Function Approximation：A Gradient Boosting Machine》 Abstract Function approximation是从function space方面进行numerical optimization， ...
分类：
其他好文 时间：
2017-04-05 21:36:22
阅读次数：
306
集成学习（ensemble learning）通过构建并结合多个学习器来完成学习任务。集成学习通过将多个学习器进行结合，常可以获得比单一学习器显著优越的泛化性能。这对“弱学习器”尤为明显，因此集成学习的很多理论研究都是针对弱学习器进行的。 要获得好的集成，个体学习器应该“好而不同”，即个体学习器要有 ...
分类：
其他好文 时间：
2017-04-03 01:09:21
阅读次数：
231
百度为何开源深度机器学习平台？ 5月20日，百度在github上开源了其深度机器学习平台。此番发布的深度机器学习开源平台属于“深盟”的开源组织，其核心开发者来自百度深度学习研究院（IDL），微软亚洲研究院、华盛顿大学、纽约大学、香港科技大学，卡耐基·梅陇大学等知名公司和高校。 通过这一开源平台，世界 ...
分类：
编程语言 时间：
2017-04-01 12:19:41
阅读次数：
1625
Bootstrap(自助法)，Bagging，Boosting(提升)： 通俗易懂：http://www.jianshu.com/p/708dff71df3a Bootstrap：就是一个在自身样本重采样的方法来估计真实分布的问题 集成学习（ensemble learning）：结合后能得到更合理的 ...
分类：
其他好文 时间：
2017-03-26 17:59:41
阅读次数：
139
1、主要内容 介绍集成学习，然后讲述boosting和bagging的区别与联系，同时对adaBoost进行推导然后进行gbdt的推导，最后比较随机森林和gdbt的区别和联系。 2、集成学习 集成学习（ensamble learning）通过构建多个学习器来完成任务。集成学习的一般结构：先产生一组“ ...
分类：
编程语言 时间：
2017-03-15 16:45:34
阅读次数：
308
1 提升的概念 提升是机器学习技术，可以用于回归和分类问题，它每一步产生一个弱预测模型（如决策树），并加权累加到总模型中；如果每一步的弱预测模型生成都市一句损失函数的梯度方向，则称之为梯度提升（Gradient boosting). 梯度提升算法首先给定一个目标函数，它的定义域是所有可行的弱函数集合 ...
分类：
其他好文 时间：
2017-03-14 23:53:58
阅读次数：
239
在集成学习原理小结中，我们讲到了集成学习有两个流派，一个是boosting派系，它的特点是各个弱学习器之间有依赖关系。另一种是bagging流派，它的特点是各个弱学习器之间没有依赖关系，可以并行拟合。本文就对集成学习中Bagging与随机森林算法做一个总结。 随机森林是集成学习中可以和梯度提升树GB ...
分类：
编程语言 时间：
2017-03-08 17:57:46
阅读次数：
290
Query-Time Boosting Query-Time Boosting Query-Time Boosting Query-Time Boosting In Prioritizing Clauses, we explained how you could use the boost para ...
分类：
其他好文 时间：
2017-02-27 20:39:04
阅读次数：
564
笔记︱决策树族——梯度提升树(GBDT） 笔记︱决策树族——梯度提升树(GBDT） 本笔记来源于CDA DSC，L2-R语言课程所学进行的总结。 一、介绍：梯度提升树（Gradient Boost Decision Tree） Boosting算法和树模型的结合。按次序建立多棵树，每棵树都是为了减少 ...
分类：
其他好文 时间：
2017-02-19 18:04:46
阅读次数：
339
