RDD 五大特性

标签：避免   本地   dep   optional   expand   file   span   com   hash   

1）A list of partitions

RDD由很多partition构成，有多少partition就对应有多少task来执行

2）A function for computing each split

对RDD做计算，相当于对RDD的每个split或partition做计算

3）A list of dependencies on other RDDs

RDD之间有依赖关系，可溯源

4）Optionally, a Partitioner for key-value RDDs (e.g. to say that the RDD is hash-partitioned)

如果RDD里面存的数据是key-value形式，则可以传递一个自定义的Partitioner进行重新分区，比如可以按key的hash值分区

5）Optionally, a list of preferred locations to compute each split on (e.g. block locations for an HDFS file)

最优的位置去计算，也就是数据的本地性，计算每个split时，在split所在机器的本地上运行task是最好的，避免了数据的移动；split有多个副本，所以preferred location不止一个

RDD 五大特性

标签：避免   本地   dep   optional   expand   file   span   com   hash   

原文地址：https://www.cnblogs.com/xiangyuguan/p/11221488.html