码迷,mamicode.com
首页 > 其他好文 > 详细

RDD的依赖关系

时间:2017-04-26 19:29:06      阅读:201      评论:0      收藏:0      [点我收藏+]

标签:img   转换   end   类型   span   rdd   多个   png   依赖关系   

RDD的依赖关系

子RDD和它依赖的父RDD(s)的关系有两种不同的类型,窄依赖(narrow dependency)和宽依赖(wide dependency)。

技术分享

窄依赖

指的是每一个父RDD的Partition最多被子RDD的一个Partition使用

宽依赖

指的是多个子RDD的Partition会依赖同一个父RDD的Partition,一般就是通过宽依赖划分Stage

Lineage

RDD只支持粗粒度转换,即在大量记录上执行的单个操作。将创建RDD的一系列Lineage(即血统)记录下来,以便恢复丢失的分区。RDD的Lineage会记录RDD的元数据信息和转换行为,当该RDD的部分分区数据丢失时,它可以根据这些信息来重新运算和恢复丢失的数据分区。

RDD的依赖关系

标签:img   转换   end   类型   span   rdd   多个   png   依赖关系   

原文地址:http://www.cnblogs.com/heml/p/6769990.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!