码迷,mamicode.com
首页 > 其他好文 > 详细

Spark RDD Union

时间:2015-10-19 17:26:00      阅读:142      评论:0      收藏:0      [点我收藏+]

标签:

示例
 
Spark多个RDD(数据格式相同)“组合”为一个RDD
 
代码
 
from pyspark import SparkConf, SparkContext
 
conf = SparkConf().setAppName("spark_app_union")
 
sc = SparkContext(conf=conf)
 
rdd1 = sc.parallelize(["line1", "line2", "line3"])
 
rdd2 = sc.parallelize(["line4", "line5"])
 
datas = rdd1.union(rdd2).collect()
 
sc.stop()
 
# [‘line1‘, ‘line2‘, ‘line3‘, ‘line4‘, ‘line5‘]
print datas

 

Spark RDD Union

标签:

原文地址:http://www.cnblogs.com/yurunmiao/p/4892233.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!