上一节实现了决策树，但只是使用包含树结构信息的嵌套字典来实现，其表示形式较难理解，显然，绘制直观的二叉树图是十分必要的。Python没有提供自带的绘制树工具，需要自己编写函数，结合Matplotlib库创建自己的树形图。第二部分，使用决策树预测患者佩戴隐形眼镜的类型。...
分类：
其他好文 时间：
2015-09-06 18:22:18
阅读次数：
368
决策树是个极其易懂的算法，也是最常用的数据挖掘算法，决策树允许机器根据数据集创造规则，其实这就是机器学习的过程。专家系统中经常会使用到决策树及其变种，而且决策树给出的结果往往可以匹敌在当前领域具有几十年工作经验的专家。
优点：决策树的计算复杂度不高，输出结果易于理解，对中间值的缺失不敏感，可以处理不相关特征数据；
缺点：可能会产生过度匹配的问题；
适用数据类型：数值型和标称型。...
分类：
其他好文 时间：
2015-09-03 00:46:44
阅读次数：
296
本文首先浅谈了自己对决策树的理解，进而通过Python一步步构造决策树，并通过Matplotlib绘制更为直观的树形图，最后，选取相应的数据集对算法进行测试。
分类：
其他好文 时间：
2015-08-30 12:41:23
阅读次数：
9032
Introduction决策树这种算法有着很多良好的特性，比如说训练时间复杂度较低，预测的过程比较快速，模型容易展示（容易将得到的决策树做成图片展示出来）等。但是同时，单决策树又有一些不好的地方，比如说容易over-fitting，虽然有一些方法，如剪枝可以减少这种情况，但是还是不太理想。模型组合（比如说有Boosting，Bagging等）与决策树相关的算法比较多，如randomForest、Ad...
分类：
编程语言 时间：
2015-08-29 12:43:17
阅读次数：
427
前言：用途：分类。类似于if-then集合优点：速度快。原则：损失函数最小化，这是所有机器学习算法的原则。步骤：1> 特征选择 2> 决策树生成 3> 决策树修剪决策树模型内部结点和叶结点，太好理解了，无需讨论。if-then 集合if-then 需要保证重要的一点：就是互斥且完备。很好理解。完备保...
分类：
其他好文 时间：
2015-08-29 00:35:39
阅读次数：
279
第5章 决策树决策树(decision tree)是一种基本的分类与回归方法。本章主要讨论用于分类的决策树。决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型具有可读性，分类...
分类：
其他好文 时间：
2015-08-28 19:35:02
阅读次数：
1020
决策树（decision trees）
工作原理：
决策树属于监督类型的算法，同样，我们有数据集，知道每一条数据的分类。然后我们按照某种规则，选取数据集上的特征作为分割点，把数据集进行划分。循环重复以上动作，直至所有数据集各自的分类都是唯一的，或者所有特征已经被选择无法再进行划分。使用何种规则进行特征的选取下文将会叙述。
优点：计算复杂度不高，输出结果易于理解，对中间值的缺失...
分类：
其他好文 时间：
2015-08-28 17:37:31
阅读次数：
224
基本概念：根节点：没有入边，但有0条或多条出边内部节点：恰有一条入边和两条或多条出边页节点：恰有一条入边，没有出边，每一个叶节点都赋予一个类标号（class label）如何建立决策树Hunt算法 ：通过将训练记录相继划分成较纯的子集，以递归的方式建立决策树。设Dt是与节点t相关联的训练记录集，而y...
分类：
其他好文 时间：
2015-08-27 22:54:20
阅读次数：
182
这个系列是为了应对找工作面试时面试官问的算法问题，所以只是也谢算法的简要介绍，后期会陆续补充关于此
算法的常见面问题。
分类的概念就说了，分类一般分为两个阶段：学习阶段以及分类阶段；
常用的分类方法有：
1、决策树
决策树不需要任何领域的知识或者参数的设置，其可以处理高维数据，简单快速。
若分类的数据是连续的，则需要插入分裂点将数据离散化；树建立的过程中，需要按照一定...
分类：
编程语言 时间：
2015-08-27 13:29:02
阅读次数：
208
写在之前：前些文章曾经细数过从决策树、贝叶斯算法等一些简单的算法到神经网络(BP)、支持向量机（SVM）、adaboost等一些较为复杂的机器学习算法（对其中感兴趣的朋友可以往前的博客看看），各种算法各有优缺点，基本上都能处理线性与非线性样本集，然通观这些算法来看，个人感觉对于数据（无论线性还是非线性）的分类上来说，里面比较好的当数BP、SVM、adaboost元算法这三种了，由于前面在介绍相应算法...
分类：
编程语言 时间：
2015-08-26 17:55:03
阅读次数：
2919
