决策树基本上就是把我们以前的经验总结出来。这里有一个打篮球的训练集。假如我们要出门打篮球，一般会根据“天气”、“温度”、“湿度”、“刮风”这几个条件来判断，最后得到结果：去打篮球？还是不去？ 上面这个图就是一棵典型的决策树。我们在做决策树的时候，会经历两个阶段：构造和剪枝。 构造 什么是构造呢？构造 ...
分类：
其他好文 时间：
2019-12-06 23:47:36
阅读次数：
175
监督学习 利用标注好信息的样本，经过训练得到一个模型，可以用来预测新的样本 分类 当新来一个数据时，可以自动预测所属类型 应用 对于一幅遥感影像，对其中的部分水体，农田，建筑做好标记通过监督分类的方法得到其余水体、农田、建筑 分类相关的方法 支持向量机：寻找最大化样本间隔的边界 分类决策树 颜色 形 ...
分类：
其他好文 时间：
2019-12-02 13:30:28
阅读次数：
186
1.什么是决策树 决策树是一种解决分类问题的算法。 决策树采用树形结构，使用层层推理来实现最终的分类。 决策树由下边几种元素组成： 根节点：包含样本的全集 内部节点：对应特征属性测试 叶节点：代表决策的结果 预测时，在树的内部节点处用某一属性值进行判断，根据判断结果决定进入哪个分支节点，直到到达叶节 ...
分类：
其他好文 时间：
2019-11-30 15:23:32
阅读次数：
145
以统计学习方法（李航）这本书的例子为基础 需要注意的地方： 1. 我用的是pycharm 3. python版本是3.7 2. graphviz是一个软件， "在pycharm里面下了还得去官网下" 下完之后得加入环境变量可能还需要重启电脑 4. 缺啥库就安啥库 5. 那个数据是我自己设置的，手敲的 ...
分类：
其他好文 时间：
2019-11-30 14:04:08
阅读次数：
256
08 决策树与随机森林 决策树之信息论基础 认识决策树 1. 来源： 决策树的思想来源非常朴素，程序设计中的条件分支结构就是if then 结构，最早的决策树就是利用这类结构分割数据的一种分类学习方法。 2. 举例：是否见相亲对象 信息的度量和作用 1. 克劳德 .艾尔伍德 .香农：信息论创始人，密 ...
分类：
其他好文 时间：
2019-11-25 23:55:16
阅读次数：
89
随机森林，顾名思义，是由众多决策树构建而成的算法。其最终输出由众多决策树根据投票决定（得票最多者获胜；或者得票超过一半输出，否则不输出。具体策略根据情况而定）。随机森林属于 集成学习 中的 Bagging（Bootstrap AGgregation 的简称） 方法。具体的，集成学习包含Boostin ...
分类：
其他好文 时间：
2019-11-25 11:33:38
阅读次数：
74
集成学习基础 集成学习分类 Boosting 采用串行的方式，各个基学习器之间有依赖 基本思路：将基学习器层层叠加，每一层训练时，对前一层分错的样本，给予更高的权重。测试时，根据各层学习器的结果加权融合 AdaBoost Bagging 各基学习器之间无强依赖，可以并行训练 基于决策树基学习器的Ra ...
分类：
其他好文 时间：
2019-11-24 17:36:26
阅读次数：
93
提升方法与前向分步算法 提升方法 从弱学习算法出发，反复学习，得到一系列弱分类器，然后组合这些弱学习器，提升为强学习器 两个问题： 在每一轮如何改变训练数据的权值或概率分布 如何将弱学习器组合成一个强学习器 前向分步算法 AdaBoost另一种解释： 加法模型 损失函数为指数函数 学习算法为前向分步 ...
分类：
其他好文 时间：
2019-11-24 17:26:48
阅读次数：
80
决策树的学习通常包含三个步骤：特征选择、树的生成、树的剪枝。决策树的生成采用启发式的方法，只考虑局部最优，相对地，决策树的剪枝则考虑全局最优 特征选择 信息增益 随机变量$X$的熵定义为： $$H(X)= \sum \limits_{i}p_i\log p_i$$ 熵越大，不确定性越大。从定义可验证 ...
分类：
其他好文 时间：
2019-11-24 15:58:13
阅读次数：
80
[toc] 决策树中涉及到了信息熵、信息增益、信息增益率、基尼系数等公式，作为相应算法(ID3、C4.5、Cart树）的衡量标准，今天就来稍微推导一下这些公式~ 信息熵的最值求解 已知集合D的信息熵的定义为 $$\operatorname{Ent}(D)= \sum_{k=1}^{ | \mathc ...
分类：
其他好文 时间：
2019-11-19 15:48:43
阅读次数：
69
