ID3是以信息增益作为划分训练数据集的特征，即认为信息增益大的特征是对分类结果影响更大，但是信息增益的方法偏向于选择取值较多的特征，因此引入了C4.5决策树，也就是使用信息增益率(比)来作为划分数据集的特征，信息增益率定义如下：。就是在ID3中已经计算出特征A的信息增益之后再除一个熵HA(D),HA...
分类：
编程语言 时间：
2015-09-23 16:34:20
阅读次数：
294
小编都深深的震惊了，到底是谁那么好整理了那么多干货性的书籍。小编对此人表示崇高的敬意，小编不是文章的生产者，只是文章的搬运工。《Brief History of Machine Learning》介绍:这是一篇介绍机器学习历史的文章，介绍很全面，从感知机、神经网络、决策树、SVM、Adaboost到...
分类：
其他好文 时间：
2015-09-20 09:14:35
阅读次数：
372
1）熵与信息增益：2）以下是实现代码：//import java.awt.color.ICC_ColorSpace;import java.io.*;import java.util.ArrayList;import java.util.Collections;import java.util.Co...
分类：
编程语言 时间：
2015-09-18 20:29:26
阅读次数：
315
1、C4.5C4.5算法是机器学习算法中的一种分类决策树算法,其核心算法是ID3算法.C4.5算法继承了ID3算法的优点，并在以下几方面对ID3算法进行了改进： 1)用信息增益率来选择属性，克服了用信息增益选择属性时偏向选择取值多的属性的不足；2)在树构造过程中进行剪枝；3)能够完成对连续属性的离散...
分类：
编程语言 时间：
2015-09-16 21:33:20
阅读次数：
180
ID3算法#coding=utf-8
frommathimportlog
importoperator
#这里定义个样本集
defcreateDataSet():
dataSet=[[1,1,‘yes‘],
[1,1,‘yes‘],
[1,0,‘no‘],
[0,1,‘no‘],
[0,1,‘no‘]]
labels=[‘nosurfacing‘,‘flippers‘]
#changetodiscretevalues
returndataSet,labels
#这里计算该..
分类：
编程语言 时间：
2015-09-16 20:20:17
阅读次数：
365
决策树算法实际就是一个不断分割训练数据集使其成为数据子集的过程。这种分类或回归模型成树形结构，这也是其被成为决策树算法的主要原因。决策树算法最主要的问题是如何分裂原始数据集使其数据集包含的类别纯度越来越高，于是前辈们引入了熵和信息增益等概念。下面来总结一下..
分类：
编程语言 时间：
2015-09-16 01:06:32
阅读次数：
224
概率是许多机器学习算法的基础，在前面生成决策树的过程中使用了一小部分关于概率的知识，即统计特征在数据集中取某个特定值的次数，然后除以数据集的实例总数，得到特征取该值的概率。之前的基础实验中简单实现了朴素贝叶斯分类器，并正确执行了文本分类，这一节将贝叶斯运用到实际场景，垃圾邮件过滤这一实际应用。...
分类：
其他好文 时间：
2015-09-15 00:18:48
阅读次数：
232
概率是许多机器学习算法的基础，在前面生成决策树的过程中使用了一小部分关于概率的知识，即统计特征在数据集中取某个特定值的次数，然后除以数据集的实例总数，得到特征取该值的概率。...
分类：
其他好文 时间：
2015-09-12 00:52:33
阅读次数：
222
人工智能遵循着：感知->思考->行动
决策方法：有限状态机（Finite-State Machines），分层状态机（Hierarchical Finite-State Machines），行为树（Behavior Trees），效用系统（Utility Systems），目标导向型行动计划（Goal-Oriented Action Planners），分层任务网络（Hierarchical...
分类：
其他好文 时间：
2015-09-09 08:34:24
阅读次数：
220
作为python的初学者，在做决策树算法的程序时一个有关列表删除的问题困扰了一天。今天在博客里写出来，希望大家也可以避免如此的问题。下面是代码纲要：defread_txt(filename):#定义了一个读txt文件的函数，这个函数的作用是将一个txt的表格转化成一个python列表。它是一个嵌套..
分类：
编程语言 时间：
2015-09-07 07:12:20
阅读次数：
245
