码迷,mamicode.com
首页 > 其他好文 > 详细

对RDD分区的理解

时间:2017-10-20 20:14:10      阅读:215      评论:0      收藏:0      [点我收藏+]

标签:span   saveas   context   success   col   sim   textfile   contex   例子   

举个例子:

val logFile = "file:///home/soyo/桌面/6.txt" 
    val conf = new SparkConf().setAppName("Simple Application")
    val sc = new SparkContext(conf)
val RDD =sc.textFile(logFile)
    RDD.saveAsTextFile("file:////home/soyo/桌面/667.txt")   
    val repartitionedRDD=context.repartition(8) //控制RDD分区的个数
    repartitionedRDD.saveAsTextFile("file:////home/soyo/桌面/668.txt")
 

667.txt:                                        

part-00000    _SUCCESS

668.txt:

part-00000   part-00001    part-00002    part-00003     part-00004    part-00005   part-00006    part-00007     _SUCCESS

如果设置.setMaster("local[2]")默认最少是2个分区,别的类同

对RDD分区的理解

标签:span   saveas   context   success   col   sim   textfile   contex   例子   

原文地址:http://www.cnblogs.com/soyo/p/7700936.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!