Transformation

Meaning

map(func)

返回一个新的分布式数据集，由每一个原元素经过func函数转换后组成

filter(func)

返回一个新的数据集，由经过func函数后返回值为true的原元素组成

flatMap(func)

类似于map，可是每个输入元素，会被映射为0到多个输出元素（因此，func函数的返回值是一个Seq，而不是单一元素）

sample(withReplacement, frac, seed)

依据给定的随机种子seed，随机抽样出数量为frac的数据

union(otherDataset)

返回一个新的数据集，由原数据集和參数联合而成

groupByKey([numTasks])

在一个由（K,V）对组成的数据集上调用，返回一个（K，Seq[V])对的数据集。注意：默认情况下，使用8个并行任务进行分组，你能够传入numTask可选參数，依据数据量设置不同数目的Task

（groupByKey和filter结合，能够实现类似Hadoop中的Reduce功能）

reduceByKey(func, [numTasks])

在一个（K，V)对的数据集上使用，返回一个（K，V）对的数据集，key同样的值，都被使用指定的reduce函数聚合到一起。和groupbykey类似，任务的个数是能够通过第二个可选參数来配置的。

join(otherDataset, [numTasks])

在类型为（K,V)和（K,W)类型的数据集上调用，返回一个（K,(V,W))对，每一个key中的全部元素都在一起的数据集

groupWith(otherDataset, [numTasks])

在类型为（K,V)和(K,W)类型的数据集上调用，返回一个数据集，组成元素为（K, Seq[V], Seq[W]) Tuples。这个操作在其他框架，称为CoGroup

cartesian(otherDataset)

笛卡尔积。但在数据集T和U上调用时，返回一个(T，U）对的数据集，全部元素交互进行笛卡尔积。

sortByKey([ascendingOrder])

在类型为( K, V )的数据集上调用，返回以K为键进行排序的（K，V）对数据集。升序或者降序由boolean型的ascendingOrder參数决定

（类似于Hadoop的Map-Reduce中间阶段的Sort，按Key进行排序）

Action

Meaning

reduce(func)

通过函数func聚集数据集中的全部元素。Func函数接受2个參数，返回一个值。这个函数必须是关联性的，确保能够被正确的并发运行

collect()

在Driver的程序中，以数组的形式，返回数据集的全部元素。这一般会在使用filter或者其他操作后，返回一个足够小的数据子集再使用，直接将整个RDD集Collect返回，非常可能会让Driver程序OOM

count()

返回数据集的元素个数

take(n)

返回一个数组，由数据集的前n个元素组成。注意，这个操作眼下并不是在多个节点上，并行运行，而是Driver程序所在机器，单机计算全部的元素

(Gateway的内存压力会增大，须要慎重使用）

first()

返回数据集的第一个元素（类似于take（1））

saveAsTextFile(path)

将数据集的元素，以textfile的形式，保存到本地文件系统，hdfs或者不论什么其他hadoop支持的文件系统。Spark将会调用每一个元素的toString方法，并将它转换为文件里的一行文本

saveAsSequenceFile(path)

将数据集的元素，以sequencefile的格式，保存到指定的文件夹下，本地系统，hdfs或者不论什么其他hadoop支持的文件系统。RDD的元素必须由key-value对组成，并都实现了Hadoop的Writable接口，或隐式能够转换为Writable（Spark包含了基本类型的转换，比如Int，Double，String等等）

foreach(func)

在数据集的每个元素上，执行函数func。这通经常使用于更新一个累加器变量，或者和外部存储系统做交互