标签：distrib inf 硬盘 http latest res 参考 不同的 spark
spark RDD操作具体参考官网：http://spark.apache.org/docs/latest/rdd-programming-guide.html#overview
RDD全称叫做Resilient Distributed Datasets，直译为弹性分布式数据集，是spark中非常重要的概念。
首先RDD是一个数据的集合，这个数据集合被划分成了许多的数据分区，而这些分区被分布式地存储在不同的物理机器当中，如图：
我们反过来想一下，RDD就是很多物理数据块的逻辑抽象。不仅如此，RDD还提供了一些列接口来操作这个逻辑抽象的数据集合。
我们把这些接口分成两大类：
1）transformation 转换
2）action 操作
transformation主要就是把一个RDD转换成另一个RDD，或者就是一开始把原始数据加载成为一个RDD；
注意：transformation并不会马上执行，只有等到action操作的时候才会执行。
action主要就是把一个RDD存储到硬盘，或者触发transformation的执行。
我们先看一张图
1）首先我们会从数据源中把数据加载成为RDD，也就是左边的RDDA和RDDC以及RDDE
2）RDDC经过map转换成为了RDDD
3）RDDE和RDDC经过union转换成为了RDDF
4）RDDA经过groupBy转换成为了RDDB
5）RDDB和RDDF经过join转换成为了RDDG
以上这些转换只是对整个过程进行一个描述，并没有立即执行，我们可以理解为对过程进行一个计划。直到我们调用一个saveAsSequenceFile持久化action操作的时候就会把上面的步骤催生出一个job，这个job划分为了三个stage，并开始并行执行。
标签：distrib inf 硬盘 http latest res 参考 不同的 spark
原文地址：https://www.cnblogs.com/lay2017/p/10056142.html
