后续再次学习，现在理解有些模糊。优点：可以对复杂和非线性的数据建模缺点：结果不易理解适用数据类型：数值型（转换成二值型）和标称型数据树回归的一般方法收集数据：采用任意方法收集数据。准备数据：需要数值型的数据，标称型数据应该映射成二值型数据。分析数据：绘出数据的二维可视化显示结果，以字典方式生成树。训... ...
分类：
系统相关 时间：
2016-05-24 09:14:57
阅读次数：
264
（一）认识决策树 1、决策树分类原理 决策树是通过一系列规则对数据进行分类的过程。它提供一种在什么条件下会得到什么值的类似规则的方法。决策树分为分类树和回归树两种，分类树对离散变量做决策树，回归树对连续变量做决策树。 近来的调查表明决策树也是最经常使用的数据挖掘算法，它的概念非常简单。决策树算法之所 ...
分类：
编程语言 时间：
2016-05-08 19:39:51
阅读次数：
419
决策树是通过一系列规则对数据进行分类的过程，他提供一种在什么条件下会得到什么值的类似规则方法，决策树分为分类树和回归树，分类树对离散变量最决策树，回归树对连续变量做决策树如果不考虑效率等，那么样本所有特征的判断级联起来终会将某一个样本分到一个类终止块上。实际上，样本所有特征中有一些特征在分类时起到决定性作用，决策树的构造过程就是找到这些具有决定性作用的特征，根据其决定性程度来构造一个倒立的树–决定性作用最大的那个特征作为根节点，然后递归找到各分支下子数据集中次大的决定性特征，直至子数据集中所有数据都属于同一...
分类：
编程语言 时间：
2016-04-29 17:45:15
阅读次数：
259
已经好久没写了，正好最近需要做分享所以上来写两篇，这篇是关于决策树的，下一篇是填之前SVM的坑的。 参考文献： ...
分类：
其他好文 时间：
2016-04-27 20:25:19
阅读次数：
393
决策树是通过一系列规则对数据进行分类的过程，他提供一种在什么条件下会得到什么值的类似规则方法，决策树分为分类树和回归树，分类树对离散变量最决策树，回归树对连续变量做决策树如果不考虑效率等，那么样本所有特征的判断级联起来终会将某一个样本分到一个类终止块上。实际上，样本所有特征中有一些特征在分类时起到决定性作用，决策树的构造过程就是找到这些具有决定性作用的特征，根据其决定性程度来构造一个倒立的树–决定性作用最大的那个特征作为根节点，然后递归找到各分支下子数据集中次大的决定性特征，直至子数据集中所有数据都属于同一...
分类：
编程语言 时间：
2016-04-26 19:51:35
阅读次数：
271
这几天完成了树回归的相关学习，这一部分内容挺多，收获也挺多，刚刚终于完成了全部内容，非常开心。
树回归这一章涉及了CART，CART树称作(classify and regression tree) 分类与回归树，既可以用于分类，也可以用于回归。这正是前面决策树没有说到的内容，在这里补充一下。正好也总结一下我们学的3种决策树。
ID3：用信息增益来选择特性进行分类，只能处理分类问题。缺点是往往...
分类：
其他好文 时间：
2016-04-09 00:23:43
阅读次数：
323
课程地址：https://class.coursera.org/ntumltwo-002/lecture 重要！重要！重要~ 一、决策树（Decision Tree）、口袋（Bagging），自适应增强（AdaBoost） Bagging和AdaBoost算法再分类的时候，是让所有的弱分类器同时发挥... ...
分类：
编程语言 时间：
2016-04-04 20:56:34
阅读次数：
510
CART算法的树回归：返回的每个节点最后是一个最终确定的平均值。#coding:utf-8
importnumpyasnp
#加载文件数据
defloadDataSet(fileName):#generalfunctiontoparsetab-delimitedfloats
dataMat=[]#assumelastcolumnistargetvalue
fr=open(fileName)
forlineinfr.readlines():..
分类：
其他好文 时间：
2015-09-16 23:39:46
阅读次数：
232
1、优化模型的两种策略：1）基于残差的方法 残差其实就是真实值和预测值之间的差值，在学习的过程中，首先学习一颗回归树，然后将“真实值-预测值”得到残差，再把残差作为一个学习目标，学习下一棵回归树，依次类推，直到残差小于某个接近0的阀值或回归树数目达到某一阀值。其核心思想是每轮通过拟合残差来降低损失....
分类：
编程语言 时间：
2015-08-01 17:07:36
阅读次数：
4624
CART：Classification and regression tree，分类与回归树。（是二叉树）CART是决策树的一种，主要由特征选择，树的生成和剪枝三部分组成。它主要用来处理分类和回归问题，下面对分别对其进行介绍。1、回归树：使用平方误差最小准则训练集为：D={(x1,y1), (x2,...
分类：
其他好文 时间：
2015-07-30 10:51:21
阅读次数：
310
