频繁项集挖掘是一个关联式规则挖掘问题。关联挖掘是数据挖掘中研究最早也是最活跃的领域,其中频繁模式的挖掘是关联挖掘的核心和基础,是产生关联规则挖掘的基础。其中FP-Growth和Apriori算法是最为经典的频繁项集挖掘算法。本文在spark下利用scala编写,充分利用了spark的内存计算方式和scala简洁的语法模式和先天性的并行化特性,充分发挥了FP-Growth。...
分类:
编程语言 时间:
2015-02-01 13:33:53
阅读次数:
310
机器学习的来源和用例:
Machine Learning
- Grew out of work in AI
- New capability for computers
Examples:
- Database mining
Large datasets from growth of automation/web.
E.g., Web click data, medical re...
分类:
系统相关 时间:
2015-01-24 21:27:36
阅读次数:
331
前言 对于如何发现一个数据集中的频繁项集,前文讲解的经典 Apriori 算法能够做到。 然而,对于每个潜在的频繁项,它都要检索一遍数据集,这是比较低效的。在实际的大数据应用中,这么做就更不好了。 本文将介绍一种专门检索频繁项集的新算法 - FP-growth 算法。 它只会扫描数据集两次,...
分类:
编程语言 时间:
2015-01-12 12:55:51
阅读次数:
327
1、 安装node,设置代理npm config set registry https://registry.npm.taobao.org【cmd运行】2、 安装grunt-cli: npm install -g grunt-cli 【 cmd命令行运行】3、 安装grunt模块,在Growth.....
分类:
Web程序 时间:
2014-12-18 20:33:02
阅读次数:
190
本人最近研究Aprior算法,由于要实现海量数据的分析挖掘,需要在hadoop平台加以实现。在网上看过一些Aprior算法Mapreduce的代码,感觉拿过来都不好直接用,而且,多数都不是原味的Aprior,或者经过改进,是FP-growth算法,或者是将数据分块,各块独立运行Aprior算法,不是...
分类:
编程语言 时间:
2014-12-17 22:10:20
阅读次数:
298
纯粹的模拟题目。 1 #include 2 #include 3 #include 4 5 #define MAXN 20 6 #define MAXM 16 7 8 char tb[] = ".!X#"; 9 int D[MAXM];10 int map[2][MAXN+2][MAXN+...
分类:
其他好文 时间:
2014-12-12 23:35:40
阅读次数:
165
FP-growth算法优缺点:优点:一般快于Apriori缺点:实现比较困难,在某些数据上性能下降适用数据类型:标称型数据算法思想:FP-growth算法是用来解决频繁项集发现问题的,这个问题再前面我们可以通过Apriori算法来解决,但是虽然利用Apriori原理加快了速度,仍旧是效率比较低的。F...
分类:
其他好文 时间:
2014-12-10 00:24:33
阅读次数:
407
FP_Gwoth算法是一种不生成候选集从而寻找频繁项集的算法,主要基于树结构:包含一个一棵FP_Tree和一个项头表,每个项通过一个结点链指向它在树中出现的位置。基本结构如下所示。需要注意的是项头表需要按照支持度递减排序,在FP_Tree(有后缀的也成条件FP_Tree)中高支持度的节点只能是低支持度节点的祖先节点。这样一来可以保证尽可能的共用祖先节点,更重要的是保证正确性。...
分类:
编程语言 时间:
2014-12-08 19:38:23
阅读次数:
306
直接说这算法的作用吧,
上图的右边就是左边图的 ES(Embedded Subtree),相对应的ABC-1D-1-1E-1-1就是上图左边的Pre-Order-String,也是这个算法输入的数据格式,中间我们用空格隔开(A B C -1 D -1 -1 E -1 -1),-1就是表示回走。
这算法主要是用来挖掘频繁子树,也就是将一个树里的所有频繁子树找出来。原理就不说了,大家可以自...
分类:
编程语言 时间:
2014-11-21 18:59:06
阅读次数:
203
Pediatric dentists are extremely helpful in ensuring the growth and development of your child. They are specially trained to cater the needs of young ...
分类:
其他好文 时间:
2014-11-21 15:54:40
阅读次数:
194