c4.5算法是机器学习算法中的一种分类决策树算法，其核心算法是ID3 。c4.5对ID3算法做了相对的改进。如下 1 采用信息增益率代替信息增益。因为使用信息增益时会偏向选取取值更多的属性。 2 在树的构造过程中进行剪枝 3 能够完成对连续属性的离散化处理 4 对不完整数据进行处理c...
分类：
编程语言 时间：
2015-08-08 11:56:25
阅读次数：
130
入门学习机器学习的十大算法，第一站就是C4.5算法。C4.5是一种决策树算法，属于监督学习。先给一个样本集，从而建立一棵决策树，然后根据这个决策树来对后续的数据做决策。...
分类：
编程语言 时间：
2015-08-06 16:59:01
阅读次数：
226
编号数据挖掘技术应用算法优势劣势1决策树（Decision Tree）用户划分、行为预测、规则梳理CHAIDCARTID3、C4.5、C5.01、决策树的构造不需要任何领域的知识，很适合探索式的知识发掘，并且可以处理高维度的数据2、决策树所产生的一系列从树根到树枝（或树叶）的规则，可以很容易地被分析...
分类：
其他好文 时间：
2015-08-02 11:38:27
阅读次数：
115
该节主要是把《机器学习实战》书上第三章关于决策树的相关代码照样子实现了一遍。对其中一些内容作了些补充，对比ID3与C45区别，同时下载了一个大样本集实验决策树的准确率。首先，对于决策树的原理，很多很好的博客值得一看：从决策树学习谈到贝叶斯分类算法、EM、HMM决策树算法总结这两个已经详解了关于决策树的所有，慢慢品读吧。下面是书上外加添加的部分程序，首先是tree.py里面的程序：import ope...
分类：
编程语言 时间：
2015-07-31 22:01:49
阅读次数：
282
提升树是以决策树为基分类器的提升方法，通常使用CART树。针对不同问题的提升树学习算法，主要区别在于使用的损失函数不同。1）分类问题：指数损失函数。可以使用CART分类树作为AdaBoost的基分类器，此时为分类提升树。2）回归问题：平方误差损失函数。3）决策问题：一般损失函数。1、提升树算法提升树...
分类：
编程语言 时间：
2015-07-31 21:44:07
阅读次数：
371
简单来说，随机森林就是Bagging+决策树的组合（此处一般使用CART树）。即由很多独立的决策树组成的一个森林，因为每棵树之间相互独立，故而在最终模型组合时，每棵树的权重相等，即通过投票的方式决定最终的分类结果。随机森林算法主要过程：1、样本集的选择。 假设原始样本集总共有N个样例，则每轮从原始....
分类：
编程语言 时间：
2015-07-30 22:46:38
阅读次数：
225
CART：Classification and regression tree，分类与回归树。（是二叉树）CART是决策树的一种，主要由特征选择，树的生成和剪枝三部分组成。它主要用来处理分类和回归问题，下面对分别对其进行介绍。1、回归树：使用平方误差最小准则训练集为：D={(x1,y1), (x2,...
分类：
其他好文 时间：
2015-07-30 10:51:21
阅读次数：
310
Titanic是kaggle上的一道just for fun的题，没有奖金，但是数据整洁，拿来练手最好不过。本文以 Titanic 的数据，使用较为简单的决策树，介绍处理数据大致过程、步骤注意，本文的目的，在于帮助你入门数据挖掘，熟悉处理数据步骤、流程决策树模型是一种简单易用的非参数分类器。它不需要对数据有任何的先验假设，计算速度较快，结果容易解释，而且稳健性强，对噪声数据和缺失数据不敏感。下面示范...
分类：
其他好文 时间：
2015-07-28 21:10:29
阅读次数：
163
1、引言 决策树是建立在信息论基础之上，对数据进行分类挖掘的一种方法。其思想是，通过一批已知的训练数据建立一棵决策树，然后利用建好的决策树，对数据进行预测。决策树的建立过程可以看成是数据规则的生成过程。由于基于决策树的分类方法结构简单，本身就是人们能...
分类：
其他好文 时间：
2015-07-28 00:48:52
阅读次数：
113
一、C4.5 C4.5，是机器学习算法中的一个分类决策树算法，它是决策树(决策树也就是做决策的节点间的组织方式像一棵树，其实是一个倒树)核心算法ID3的改进算法，所以基本上了解了一半决策树构造方法就能构造它。决策树构造方法其实就是每次选择一个好的特征以及分裂点作为当前节点的分类条件。二、The k-...
分类：
编程语言 时间：
2015-07-26 20:31:24
阅读次数：
144
