1.简介 随机森林和GBDT都属于集成学习。 集成学习可分为两大类：bagging和boosting； 随机森林（RF） ∈ bagging GBDT ∈ boosting 2.随机森林：由多个决策树组成的一个集成学习算法，可用于分类和回归（分类效果好于回归），最终结果采用投票制得出。 数据集处理： ...
分类：
其他好文 时间：
2020-05-21 00:19:26
阅读次数：
49
梯度提升树GBDT GBDT是Boosting家庭中，除AdaBoost外另一个重要的算法。算法思想同样是让本轮迭代找到的决策树的损失比上轮更小。 GBDT负梯度拟合 用损失函数负梯度来拟合本轮损失近似值，进而拟合一个CART回归树。第t轮的第i个样本的损失函数的负梯度表示为： $$ r_{ti}= ...
分类：
其他好文 时间：
2020-05-13 16:50:25
阅读次数：
58
随机森林（RandomForest） 简介： 在机器学习中，随机森林是一个包含多个决策树的分类器， 并且其输出的类别是由个别树输出的类别的众数而定。 Leo Breiman和Adele Cutler发展出推论出随机森林的算法。 而 “Random Forests” 是他们的商标。 这个术语是1995 ...
分类：
其他好文 时间：
2020-05-05 20:23:35
阅读次数：
489
决策树的理解 决策树是一种机器学习的方法。决策树的生成算法有ID3, C4.5和CART等。决策树是一种树形结构，其中每个内部节点表示一个属性上的判断，每个分支代表一个判断结果的输出，最后每个叶节点代表一种分类结果。 决策树是一种十分常用的分类方法，需要监管学习（有教师的Supervised Lea ...
分类：
其他好文 时间：
2020-05-05 20:09:36
阅读次数：
1309
卷积神经网络模型可解释性 缺乏可解释性仍然是在许多应用中采用深层模型的一个关键障碍。在这项工作中，明确地调整了深层模型，这样人类用户可以在很短的时间内完成他们预测背后的过程。具体地说，训练了深度时间序列模型，使得类概率预测具有较高的精度，同时被节点较少的决策树紧密地建模。使用直观的玩具例子以及治疗白 ...
分类：
其他好文 时间：
2020-05-04 13:21:11
阅读次数：
61
XGBoost 相比于GBDT 做了两方面的优化： 一是算法本身的优化：在算法的弱学习器模型选择上，对比GBDT只支持决策树，XGBoost 还可以直接很多其他的弱学习器。 在算法的损失函数上，除了本身的损失，XGBoost 还加上了正则化部分，可以防止过拟合，泛化能力更强。 在计算方式上，GBDT... ...
分类：
编程语言 时间：
2020-05-03 17:02:08
阅读次数：
100
1.简介 gbdt全称梯度提升决策树，在传统机器学习算法里面是对真实分布拟合的最好的几种算法之一，在前几年深度学习还没有大行其道之前，gbdt在各种竞赛是大放异彩。原因大概有几个，一是效果确实挺不错。二是即可以用于分类也可以用于回归。三是可以筛选特征。这三点实在是太吸引人了，导致在面试的时候大家也非 ...
分类：
编程语言 时间：
2020-05-01 00:57:50
阅读次数：
67
相关概念： 剪枝：如果有特征对决策没有很大的帮助，那么可以进行预剪枝或后剪枝操作。（对决策树减少节点的形象说法）。 不同算法信息指标： ①信息增益（ID3算法）： 简单易懂，适合大部分场景； 但是因为分割越细错分率越低，效果越好，所以存在分割太细造成对训练数据的过拟合问题，使得对测试数据的泛化效果差 ...
分类：
其他好文 时间：
2020-04-30 21:43:43
阅读次数：
81
基本流程 决策树是通过分次判断样本属性来进行划分样本类别的机器学习模型。每个树的结点选择一个最优属性来进行样本的分流，最终将样本类别划分出来。 决策树的关键就是分流时最优属性$a$的选择。使用所谓信息增益$Gain(D,a)$来判别不同属性的划分性能，即划分前样本类别的信息熵，减去划分后样本类别的平 ...
分类：
其他好文 时间：
2020-04-30 21:26:13
阅读次数：
64
随机森林算法学习最近在做kaggle的时候，发现随机森林这个算法在分类问题上效果十分的好，大多数情况下效果远要比svm，log回归，knn等算法效果好。因此想琢磨琢磨这个算法的原理。 要学随机森林，首先先简单介绍一下集成学习方法和决策树算法。下文仅对该两种方法做简单介绍（具体学习推荐看统计学习方法的 ...
分类：
编程语言 时间：
2020-04-30 11:36:53
阅读次数：
113
