码迷,mamicode.com
首页 > 其他好文 > 详细

Efficient Pattern Mining Methods

时间:2015-02-16 14:18:07      阅读:255      评论:0      收藏:0      [点我收藏+]

标签:模式   pattern   closure   methods   

Efficient Pattern Mining Methods

@(Pattern Discovery in Data Mining)
本文介绍了几个模式挖掘的高效算法。主要以Apriori思想为框架,主要讲解了FP-Growth算法。

The Downward Closure Property of Frequent Patterns

  1. Property
    The downward closure (also called “Apriori”) property of frequent patterns:

    • If {beer, diaper, nuts} is frequent, so is {beer, diaper}
    • Every transaction containing {beer, diaper, nuts} also contains {beer, diaper}
    • Apriori: Any subset of a frequent itemset must be frequent
  2. Efficient mining methodology

    • If any subset of an itemset S is infrequent, then there is no chance for S to
      ??be frequent — why do we even have to consider S!? (It is an efficient way to prune)
  3. Principle
    Apriori pruning principle: If there is any itemset which is infrequent, its superset should not even be generated! (Agrawal & Srikant @VLDB’94, Mannila, et al. @ KDD’ 94)

  4. Scalable mining Methods

    • Level-wise, join-based approach: Apriori (Agrawal &Srikant@VLDB’94)
    • Vertical data format approach: Eclat (Zaki, Parthasarathy, Ogihara, Li @KDD’97)
    • Frequent pattern projection and growth: FPgrowth (Han, Pei, Yin @SIGMOD’00)

The Apriori Algorithm

  1. Outline of Apriori (level-wise, candidate generation and test)

    • Initially, scan DB once to get frequent 1-itemset
    • Repeat
      • Generate length-(k+1) candidate itemsets from length-k frequent itemsets
      • Test the candidates against DB to find frequent (k+1)-itemsets
      • Set k := k +1
    • Until no frequent or candidate set can be generated
    • Return all the frequent itemsets derived
  2. Psuedo Code
    技术分享

  3. Tricks
    joining & pruning

技术分享
技术分享
这里,对于某此迭代产生的joining结果,检验任何一个k-1的子集是否在候选集Ck中。即上图pruning的过程。

Extensions or Improvements of Apriori

  • Reduce passes of transaction database scans
    • Partitioning (e.g., Savasere, et al., 1995)
    • Dynamic itemset counting (Brin, et al., 1997) —> one of Google’s cofounder
  • Shrink the number of candidates
    • Hashing (e.g., DHP: Park, et al., 1995)
    • Pruning by support lower bounding (e.g., Bayardo 1998) ? Sampling (e.g., Toivonen, 1996)
  • Exploring special data structures
    • Tree projection (Aggarwal, et al., 2001)
    • H-miner (Pei, et al., 2001)
    • Hypecube decomposition (e.g., LCM: Uno, et al., 2004)

技术分享

技术分享

Mining Frequent Patterns by Exploring Vertical Data Format

技术分享

FPGrowth: A Frequent Pattern-Growth Approach

  1. 构造FP-Tree,快速迭代生成frequent patterns
    什么是FP-Tree?如何构造FP-Tree?
    • 计算每个single itemset的frequency
    • 将每个个Transaction中item的根据frequency进行排序
    • 类似于前缀树,生成FP-Tree,其中每个节点代表了一个item

生成结果如下所示:
技术分享

  1. 生成Frequent Itemset
    利用分治的方法进行迭代计算。
    过程(设min_sup=2,以e后缀为例):
    1)得到e的前缀路径子树
    技术分享
    2)计算e的频数,判断e是否是frequent item。方法是遍历e节点的链表(虚线连接)计算节点数目,得sup(e)=3 > 2,所以继续下述步骤。
    3)因为e是频繁的,找到所有以e结尾的frequent itemlist,也就是说,分拆问题,进行迭代。
    这里我们首先需要拿到e的Conditional FP-Tree。
    4)Conditional FP-Tree的生成:
    结果:比较挫,直接看图
    技术分享
    步骤:
    1 - 更新e的前缀路径子树中的support值
    技术分享
    2 - 删除包含e的节点
    技术分享
    3 - 删除不频繁(infrequent)的节点,这里的c和d根据前述计算频数的方法知道满足最小support条件。至此,已经得到了关于e的Conditional FP-Tree。
    技术分享
    5)利用前面得到的关于e的CFPT,找到所有以de、ce、ae结尾(be不考虑因为b已经被删除)的frequent itemlist。这里直接调用分治的过程进行递归。例如对于de来说,在e的CFPT中找到关于de的前缀路径子树……得到de的CFPT。
    例如edeadeeceeae

讨论:对于单枝前缀路径子树,一次就能生成所有frequent patterns。例如:
技术分享
* 此处红框选中的子树是m-cond. based,单枝树为{}-f3-c3-a3.
* 这是一个迭代的过程,节点a产生了第二棵树{}-f3-c3. 节点c产生了树{}-f3.
然后第二棵树中的节点c产生了最后一棵树{}-f3. 节点f无法再产生新的树。
* 第一棵树是m-cond. based,产生了组合fm,cm,am
* 第二棵树是am-cond. based,产生了fam,cam
* 第三棵树是cm-cond. based,产生了fcm
* 最后一棵树产生了fcam
* 所以我们可以得到并集 fm, cm, am, fam, fcm, cam, fcam。

课程习题:
技术分享

技术分享
这里Parallel Project比较耗费空间,因为它是根据需要计算的不同的X-cond. based进行任务分割来计算的,但是比较快;而Partition则根据树枝进行切分,这样是真正意义上的“partition”。

Mining Closed Patterns

技术分享

Efficient Pattern Mining Methods

标签:模式   pattern   closure   methods   

原文地址:http://blog.csdn.net/rk2900/article/details/43851767

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!