码迷,mamicode.com
首页 > 其他好文 > 详细

PairRDD转换操作

时间:2016-04-18 00:44:33      阅读:409      评论:0      收藏:0      [点我收藏+]

标签:

1.对一个数据为{1,2,3,3}的RDD进行基本的RDD转化操作

函数名 目的 示例 结果

map()

函数应用于RDD中的每个元素 rdd.map(x=>x+1) {2,3,4,4}
flatMap() 将函数应用于RDD中的每个怨毒,通常用来切分单词 rdd.flatMap(x=>x.to(3)) {1,2,3,2,3,3,3}
filter() 返回一个通过传给filter()的函数的元素组成的RDD rdd.filter(x=>x!=1) {2,3,3}
distinct() 去重 rdd.distinct()

{1,2,3}

sample(withReplacement,fraction,[seed]) 对RDD进行采样,以及是否替换 rdd.sample(false,0.5) 非确定

2.对数据分别为{1,2,3}和{3,4,5}的RDD进行针对两个RDD的转化

PairRDD转换操作

标签:

原文地址:http://www.cnblogs.com/nolonely/p/5402698.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!