GBDT的核心就在于累加所有树的结果作为最终结果。分类树决策树的分类算法有很多，以具有最大熵的特征进行分类，以信息增益特征进行分类（ID3），以增益率特征进行分类（C4.5），以基尼系数特征进行分类（CART分类与回归树）等等。这一类决策树的特点就是最后的结果都是离散的具体的类别，比如苹果的好/坏，性别男/女。回归树回归树与分类树的流程大致一样，不同的是回归树在每个节点都会有一个预测值，以年龄为例
分类：
其他好文 时间：
2018-12-12 10:32:53
阅读次数：
286
**本文转自https://www.cnblogs.com/fionacai/p/5894142.html** </font> <br><br> <p>首先，在了解树模型之前，自然想到树模型和线性模型有什么区别呢？其中最重要的是，树形模型是一个一个特征进行处理，之前线性模型是所有特征给予权重相加得到 ...
分类：
其他好文 时间：
2018-11-19 22:40:16
阅读次数：
236
一、复习信息熵 为了解决特征选择问题，找出最优特征，先要介绍一些信息论里面的概念。 1、熵（entropy） python3代码实现： 2、条件熵（conditional entropy） python3代码实现： 3、信息增益（information gain） python3代码实现： 看一个简 ...
分类：
其他好文 时间：
2018-10-28 11:14:54
阅读次数：
190
（1）建树 1. 选择属性 ID3算法用的是信息增益，C4.5算法用信息增益率；CART算法使用基尼系数 2. 选择属性的最优分割点 ID3算法：使用信息增益作为分裂的规则，信息增益越大，则选取该分裂规则。多分叉树 缺点：归纳偏置问题： ID3算法会偏向于选择类别较多的属性 另外输入变量必须是分类变 ...
分类：
其他好文 时间：
2018-10-26 12:09:32
阅读次数：
238
信息熵 熵度量了事物的不确定性，越不确定的事物，它的熵就越大。在没有外部环境的作用下，事物总是向着熵增大的方向发展，所以熵越大，可能性也越大。 $$ H(X)= \sum_{i=1}^np_{(i)}logp_{(i)} $$ 条件熵 X确定时，Y的不确定性度量。 在X发生是前提下，Y发生新带来的熵 ...
分类：
其他好文 时间：
2018-10-01 15:34:45
阅读次数：
272
数据：14天打球情况 特征：4种环境变化，outlook观察，temperature温度，humidity湿度，windy刮风 目标：构造决策树 根据四种特征决策play 划分方式：4种 问题：谁当根节点呢？ 依据：信息增益 在历史数据中（14天）有9天打球，5天不打球，所以此时的熵应为： 关于lo ...
分类：
其他好文 时间：
2018-09-28 16:39:13
阅读次数：
223
熵（entropy）、KL散度（Kullback-Leibler (KL) divergence）和交叉熵（cross-entropy）在机器学习的很多地方会用到。比如在决策树模型使用信息增益来选择一个最佳的划分，使得熵下降最大；深度学习模型最后一层使用 softmax 激活函数后，我们也常使用交叉... ...
分类：
其他好文 时间：
2018-09-27 22:53:39
阅读次数：
211
使用决策树算法手动计算GOLF数据集 步骤： 1、通过信息增益率筛选分支。 （1）共有4个自变量，分别计算每一个自变量的信息增益率。 首先计算outlook的信息增益。outlook的信息增益Gain(outlook)= 其中，v是可能取值的集合（本例中，outlook可以取3个值），D表示整个数据 ...
分类：
编程语言 时间：
2018-09-26 19:14:01
阅读次数：
800
网上的内容感觉又多又乱，自己写一篇决策树算法。希望对别人有所启发，对自己也是一种进步。 决策树 须知概念 信息熵 & 信息增益 熵： 熵（entropy）指的是体系的混乱的程度，在不同的学科中也有引申出的更为具体的定义，是各领域十分重要的参量。 信息熵（香农熵）： 是一种信息的度量方式，表示信息的混 ...
分类：
编程语言 时间：
2018-09-24 00:50:03
阅读次数：
185
参数解析 参数| DecisionTreeClassifier |DecisionTreeRegressor : :|: |: 特征选择标准criterion|可以使用"gini"或者"entropy"，前者代表基尼系数，后者代表信息增益。一般说使用默认的基尼系数"gini"就可以了，即CART算法 ...
分类：
其他好文 时间：
2018-09-11 21:07:44
阅读次数：
198
