理解随机森林
随机森林利用随机的方式将许多决策树组合成一个森林，每个决策树在分类的时候投票决定测试样本的最终类别。下面我们再详细说一下随机森林是如何构建的。
随机森林主要包括4个部分：随机选择样本；随机选择特征；构建决策树；随机森林投票分类。...
分类：
其他好文 时间：
2014-12-11 14:11:30
阅读次数：
235
问题1：空间数据挖掘有哪些常用方法，举例说明一种方法的原理及应用.
答：空间数据挖掘的常用方法有：统计法，聚类方法，关联规则发掘方法，Rough集方法，神经网络方法，云理论，证据理论，模糊集理论，遗传算法等算法（出自丁信宙，仇环，苏晓庆. 基于云理论的缺损数据推理和预测 山东理工大学学报 2006年11月）。除此以外还有老师课件上提到的聚类检测，决策树方法等。
以下对于一...
分类：
其他好文 时间：
2014-12-11 00:24:07
阅读次数：
265
上期与大家分享的传统分类算法都是建立在判别函数的基础上，通过判别函数值来确定目标样本所属的分类，这类算法有个最基本的假设：线性假设。今天继续和大家分享下比较现代的分类算法：决策树和神经网络。这两个算法都来源于人工智能和机器学习学科。
首先和小伙伴介绍下数据挖掘领域比较经典的Knn（nearest neighbor）算法（最近邻算法）
算法基本思想：
Step1：计算出待测样本与学习集中所有点...
分类：
编程语言 时间：
2014-12-09 10:40:01
阅读次数：
322
数据分析算法决策树决策树用于对数据集中的记录进行分类。假设每条记录都含有若干条属性，决策树根据属性进行分类。ID3算法如何决定选取哪条属性来进行划分？ 判断条件是根据该属性划分后数据集的信息熵最小（信息熵越小表明数据越整齐）,也就是熵差值最大。假设A属性共有n个取值，按照A划分后将获得n个分支，每个...
分类：
编程语言 时间：
2014-12-08 17:10:12
阅读次数：
191
8.4.3.2 函数式实现
我们不是把基本操作表示为虚方法，通过派生类来填充，而是把它表示为属性，属性的类型是函数类型，Func，函数然后由类的用户提供。清单 8.18 显示了QueryDecision 类的实现，以及创建简单的决策树示例。
清单 8.18 模板方法的简单实现 (C#)
class QueryDecision : Decision {
public str...
分类：
其他好文 时间：
2014-12-06 11:26:19
阅读次数：
175
8.4.3 C# 决策树
在第五章，我们讨论过 F# 的差别联合和 C# 中的类层次结构之间的关系。在此示例中，我们将使用另一个种类层次结构表示决策树的节点，派生两个额外的类来表示两种不同情况（最后结果和查询）。
在函数式版本中，所有的处理逻辑都是在 testClientTree 函数中分别实现的。我们以面向对象的风格，使用访问者模式（visitor pattern）（在第七章讨论过），...
8.4.2 F# 决策树
从规范的最后一句可以看出，链接既可以指向查询，也可以指向最终结果。在 F# 中，我们可以直接使用有两个选项的差别联合类型来写。规范还讲到了查询的详细信息，查询包含不同的字段，因此，可以用F# 的记录类型表示。
我们将定义一个 F# 的记录类型（QueryInfo），表示有关查询的信息，和一个差别联合类型（Decision），它既可以是另一个查询，也可以是最终的结...
分类：
其他好文 时间：
2014-12-05 17:27:29
阅读次数：
131
8.4.1 决策树（Decision trees）
决策树是机器学习中最流行的一种算法，可以用于根据数据作出决策，或把输入划分为不同的类别。算法使用树描述数据的哪些属性应进行测试，对每个可能的答案决定做什么。对答案反应既可能是另一个测试，也可能是最终答案。
机器学习理论提供了复杂的方法，用于自动从数据生成树，但对于我们的示例，我们将手工创建树。图 8.3 显示了我们问题的决策树。...
分类：
其他好文 时间：
2014-12-05 10:57:26
阅读次数：
216
前面两个系列分别讲诉了SVM的基本原理和代码实现，如何解决线性不可分情况。这一次我们讲解一下SVM的最后一篇：SVM解决多类分类问题。...
分类：
其他好文 时间：
2014-12-02 17:22:52
阅读次数：
244
