数据挖掘中常用的十个重要算法 一、 C4.5 C4.5算法是机器学习算法中的一种分类决策树算法,其核心算法是ID3 算法. C4.5算法继承了ID3算法的长处。并在下面几方面对ID3算法进行了改进： 1) 用信息增益率来选择属性，克服了用信息增益选择属性时偏向选择取值多的属性的不足。 2) 在树构造 ...
分类：
编程语言 时间：
2019-01-11 11:35:43
阅读次数：
291
来自：https://www.cnblogs.com/pinard/p/6156009.html 集成学习有两个流派，一个是boosting，特点是各个弱学习器之间有依赖关系；一个是bagging，特点是各个弱学习器之间没依赖关系，可以并行拟合。 1. bagging的原理 在集成学习原理总结中，给 ...
分类：
编程语言 时间：
2019-01-10 20:28:30
阅读次数：
506
一、什么是递归？ 在函数内部，可以调用其他函数，如果一个函数内部调用自己本身，这个函数就叫做递归函数。 PS : 在函数内部调用其他函数不是函数的嵌套，而在函数的内部定义子函数才是函数的嵌套。 递归的特性： 递归函数必须有一个明确的结束条件 每进入更深一层的递归时，问题规模相对于上一次递归都应减少 ...
分类：
其他好文 时间：
2019-01-09 18:41:45
阅读次数：
210
决策树的部分理解 决策树 是表示基于特征对实例进行分类的树形结构 从给定的训练数据集中，依据特征选择的准则，递归的选择最优划分特征，并根据此特征将训练数据进行分割，使得各子数据集有一个更好的分类的过程 决策树算法的三要素： 特征选择 决策树生成 决策树剪枝（暂时没接触到） 关于决策树生成： 决策树的 ...
分类：
其他好文 时间：
2019-01-08 19:21:28
阅读次数：
217
表述类目的变量通常，通常没有次序概念，且取值范围有限。例如性别行业信用卡类型。有些模型可以直接读类别变量（例如决策树）。有些模型不能识别类别变量（例如回归模型，神经网络，有距离的度量模型（svn，knn））。 当类别变量无法放入模型的时候，需要做编码处理即以数值的形式替代原有的值： onehot编码 ...
分类：
其他好文 时间：
2019-01-07 21:22:55
阅读次数：
185
数据分析（三） 在分析UCI数据之前，有必要先了解一些决策树的概念（decision tree） 此处推荐一个关于决策树的博客地址： http://www.cnblogs.com/yonghao/p/5061873.html 决策树（decision tree (DT)）的基本特征 DT 是一个监督 ...
分类：
其他好文 时间：
2019-01-07 20:50:53
阅读次数：
175
来自：https://mp.weixin.qq.com/s/tevVm0jlS6vZ3LCnczWD0w 前言 李航老师《统计学习方法》详细的描述了决策树的生成和剪枝。根据书的内容，做总结如下。 目录 a. 决策树不确定性的度量方法 1. 不确定性理解 下图为事件A是否发生的概率分布，事件发生记为1 ...
分类：
编程语言 时间：
2019-01-06 18:23:10
阅读次数：
175
算法概述 随机森林，顾名思义就是由很多决策树融合在一起的算法，它属于Bagging框架的一种算法。 随机森林的“森林”，它的弱模型是由决策树算法训练的（CART算法），CART算法即能做回归也能做分类，“随机”是指构造的模型有一定的随机性。 每一颗决策树模型的训练是通过自助采样法（Boostrap抽 ...
分类：
编程语言 时间：
2019-01-06 11:55:32
阅读次数：
355
“算法”是什么？也许对一个没经历过洗脑的人来话，一上来有点懵逼，不知道这是一个什么东东。本着不忽悠与不被忽悠的态度，试着用最简单的语言来告诉你：算法就是你做一些事情的规律！别急，一定会有人站出来说我不对。但不打紧，还那句口头禅：让×××飞一会儿！接下来，就用一些实际例子来告诉大家我们的人生要底要用多少“算法”才能过好我们这一生..........决策树算法这个算法本质上是解决我们是选A还是选B的问题
分类：
编程语言 时间：
2019-01-05 21:37:20
阅读次数：
181
判别式模型和生成式模型主要区别是他们的构造方法不一样 判别式模型概念：直接基于条件概率来构造P(y|x)，不需要求联合概率，属于此类型的算法有逻辑回归、决策树、KMM、K_meas 生成式模型概念：基于贝叶斯公式来构造的，典型的生成式模型有贝叶斯 ...
分类：
其他好文 时间：
2019-01-04 22:34:56
阅读次数：
173
