原理（ID3）： 依次选定每个特征，计算信息增益（基本信息熵-当前信息熵），选择信息增益最大的一个作为最佳特征； 以该特征作为树的根节点，以该最佳特征的每一个值作为分支，建立子树； 重复上述过程，直到：1) 所有类别一致 2) 特征用尽 优点： 简单容易理解； 可处理有缺失值的特征、非数值型数据； ...
分类：
其他好文 时间：
2016-12-04 23:13:31
阅读次数：
207
美团网基于机器学习方法的POI品类推荐算法 前言 在美团商家数据中心（MDC），有超过100w的已校准审核的POI数据（我们一般将商家标示为POI，POI基础信息包括：门店名称、品类、电话、地址、坐标等）。如何使用这些已校准的POI数据，挖掘出有价值的信息，本文进行了一些尝试：利用机器学习方法，自动 ...
分类：
编程语言 时间：
2016-12-02 07:57:11
阅读次数：
355
故事从一条小学数学题说起 "爸爸,熊猫为什么是3个不是11个" "宝贝,你还没学二进制好吗....." 以上故事纯属虚构,真实的对话其实是这样的 "爸爸, 为什么3比4小" "宝贝，数一下就知道啦。你看猪猪有1,2,3. 3个, 小鸟有1,2,3,4. 4个. 你看小鸟是不是比猪猪多? 所以3比4小 ...
分类：
其他好文 时间：
2016-11-30 21:48:49
阅读次数：
216
在2006年12月召开的 IEEE 数据挖掘国际会议上，与会的各位专家选出了当时的十大数据挖掘算法（ top 10 data mining algorithms ）。本博客已经介绍过的位列十大算法之中...
分类：
编程语言 时间：
2016-11-20 11:19:35
阅读次数：
504
C4.5是另一个分类决策树算法，是基于ID3算法的改进，改进点如下： 1、分离信息 解释：数据集通过条件属性A的分离信息，其实和ID3中的熵； 2、信息增益率 解释：Gain(A)为获的A的信息增益，C4.5中选择具有最大增益率的属性作为分裂属性； 3、C4.5中所采用的悲观剪枝法 解释：数据的内容 ...
分类：
编程语言 时间：
2016-10-21 10:18:40
阅读次数：
124
什么是决策树？为什么要用决策树？决策树是一种二分树，或是多分数。对于大量数据的细分工作有很大帮助。在日常生活中，决策树的算法可谓是每天都在用。小到用户分类，大到辅助决策。实际上他的使用很多。至于为什么要用到决策树，个人认为就是因为这种算法简单。代码实现起来..
分类：
编程语言 时间：
2016-10-09 20:55:38
阅读次数：
197
简单介绍决策树的原理，然后python代码来进行实践，使用信息增益作为分裂规则 ...
分类：
编程语言 时间：
2016-09-21 21:27:04
阅读次数：
135
再看《MATLAB数据分析与挖掘实战》，简单总结下今天看到的经典的决策树算法——ID3. ID3：在决策树的各级节点上，使用信息增益的方法作为属性的选择标准，来帮助确定生成每个节点时所应采取的合适属性。 关于信息增益，知乎上这个回答也讲的很不错。信息增益=熵 - 条件熵，信息增益越大，说明该条件对事 ...
分类：
其他好文 时间：
2016-09-18 01:07:31
阅读次数：
231
在上述两篇的文章中主要讲述了决策树的基础，但是在实际的应用中经常用到C4.5算法，C4.5算法是以ID3算法为基础，他在ID3算法上做了如下的改进： 1) 用信息增益率来选择属性，克服了用信息增益选择属性时偏向选择取值多的属性的不足，公式为GainRatio(A)； 2) 在树构造过程中进行剪枝； ... ...
分类：
编程语言 时间：
2016-08-20 21:53:13
阅读次数：
211
1. 算法背景介绍 分类树（决策树）是一种十分常用的分类方法。他是一种监管学习，所谓监管学习说白了很简单，就是给定一堆样本，每个样本都有一组属性和一个类别，这些类别是事先确定的，那么通过学习得到一个分类器，这个分类器能够对新出现的对象给出正确的分类。这样的机器学习就被称之为监督学习。分类本质上就是一 ...
分类：
编程语言 时间：
2016-08-16 19:53:56
阅读次数：
1439
