RDD基本操作之Action

标签：ram   info   bubuko   类型   com   结果   action   大数据   拷贝   

Action介绍

在RDD上计算出来一个结果
把结果返回给driver program或保存在文件系统，count(),save

常用的Action

reduce()

接收一个函数，作用在RDD两个类型相同的元素上，返回新元素。
可以实现，RDD中元素的累加，计数，和其它类型的聚集操作。
举例：

val rdd = sc.parallelize(Array(1,2,3,3))
rdd.collect()

collect()

遍历整个RDD，想driver program返回RDD的内容
需要单机内存能容纳下（因为数据要拷贝给driver，一般是测试的时候使用）
大数据的时候，使用saveAsTextFile() action等。

take(n)

返回RDD中的n个元素（同时尝试访问最少的的partitions）
返回结果是无序的，一般为测试时候使用

top(n)

返回排序后的前n个，（根据RDD中的数据比较器）

RDD的特性

RDD基本操作之Action

标签：ram   info   bubuko   类型   com   结果   action   大数据   拷贝   

原文地址：https://www.cnblogs.com/twodoge/p/10016025.html