关于对信息、熵、信息增益是信息论里的概念，是对数据处理的量化，这几个概念主要是在决策树里用到的概念，因为在利用特征来分类的时候会对特征选取顺序的选择，这几个概念比较抽象，我也花了好长时间去理解(自己认为的理解),废话不多说，接下来开始对这几个概念解释，防止自己忘记的同时，望对其他人有个借鉴的作用，如...
分类：
其他好文 时间：
2015-06-16 22:51:30
阅读次数：
159
【原创】Liu_LongPo 转载请注明出处
【CSDN】http://blog.csdn.net/llp1992AdaBoost算法是基于单层决策树等弱分类算法的强学习分类算法。单层决策树算法也是一种分类算法，但是其分类效果较差，只根据一个特征进行数据划分，因此单层决策树算法被称为弱分类算法；而AdaBoost算法通过将多个弱分类算法串行训练而成，属于强分类算法。AdaBoost算法是boost...
分类：
编程语言 时间：
2015-06-16 11:11:05
阅读次数：
804
决策树（decision tree）是一种基本的分类与回归方法。 决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。 它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其 主要优点是模型具有可读性，分类速度快。学习时，利用训练数据，根据损失...
分类：
其他好文 时间：
2015-06-14 18:17:29
阅读次数：
2162
提升树是以分类树或回归树为基本分类器的提升方法 提升树被认为是统计学习中性能最好的方法之一 提升方法实际采用加法模型（基函数的线性组合）与前向分步算法 以决策树为基函数的提升方法称为提升树 对分类问题决策树是二叉分类树 对回归问题决策树是二叉回归树 提升树模型可以表示为决策树的加法模型： T(x;Θ...
分类：
其他好文 时间：
2015-06-13 22:58:53
阅读次数：
159
【转】fromhttp://www.cnblogs.com/bourneli/archive/2013/03/15/2961568.html本文目的最近一段时间在Coursera上学习Data Analysis，里面有个assignment涉及到了决策树，所以参考了一些决策树方面的资料，现在将学习过...
分类：
其他好文 时间：
2015-06-12 14:43:48
阅读次数：
116
目前学了几个ML的分类的经典算法，但是一直想着是否有一种能将这些算法集成起来的，今天看到了AdaBoost，也算是半个集成，感觉这个思路挺好，很像人的训练过程，并且对决策树是一个很好的补充，因为决策树容易过拟合，用AdaBoost可以让一棵很深的决策树将其分开成多棵矮树，后来发现原来这个想法和ran...
分类：
编程语言 时间：
2015-06-11 12:36:24
阅读次数：
421
我们为什么需要信息增益比，而不是信息增益？ 决策树是机器学习中的经典算法，分别由三个经典算法实现：ID3，C4.5，CART，这三个算法最明显的区别就是对于特征选择的策略不同.对于ID3和C4.5的信息增益和信息增益比有什么区别呢，为什么放着信息增益不用，又要计算一个ratio呢？这就是下面的内容要讨论的。...
分类：
其他好文 时间：
2015-06-10 01:09:59
阅读次数：
393
刚才写了ID3决策树的建立，这个是通过决策树来进行预测。这里主要用到的就是XML的遍历解析，比较简单。关于xml的解析，参考了：http://blog.csdn.net/soszou/article/details/8049220http://lavasoft.blog.51cto.com/6257...
分类：
编程语言 时间：
2015-06-09 11:37:07
阅读次数：
138
决策树的分类过程和人的决策过程比较相似，就是先挑“权重”最大的那个考虑，然后再往下细分。比如你去看医生，症状是流鼻涕，咳嗽等，那么医生就会根据你的流鼻涕这个权重最大的症状先认为你是感冒，接着再根据你咳嗽等症状细分你是否为病毒性感冒等等。决策树的过程其实也是基于极大似然估计。那么我们用一个什么标准来衡...
分类：
编程语言 时间：
2015-06-09 09:46:17
阅读次数：
196
决策树学习从今天开始，坚持每天学习一个机器学习的新知识，加油！决策树学习是应用最广的归纳推理算法之一，是一种逼近离散值目标函数的方法，在这种方法中学习到的函数被表示为一颗决策树。决策树表示法决策树通过把实例从根结点排列到某个叶子结点来分类实例，叶子结点即为实例所属的分类。树上的每一个结点指定了对实例...
分类：
其他好文 时间：
2015-06-08 21:07:50
阅读次数：
249
