码迷,mamicode.com
首页 > 其他好文 > 详细

Spark 获取单独分区的数据

时间:2020-05-22 21:16:34      阅读:92      评论:0      收藏:0      [点我收藏+]

标签:index   art   with   image   com   div   图片   pre   tor   

1.上代码

技术图片

 

 

 我是1-10分为3个分区 , 并取出下标号为0 的分区的数据 , 并打印 ,要想获得自己想要的分区 , 执行

这里返回的是新 RDD  , 并且支持 map等操作 , 但是你只能操作一个分区了 . 在某些内存不够用的情况下 , 可以采用这种分阶段操作的方法.

.mapPartitionsWithIndex { (index, iter) =>
      if (index == 0) {
        iter
      } else {
        Iterator.empty
      }
    }

Spark 获取单独分区的数据

标签:index   art   with   image   com   div   图片   pre   tor   

原文地址:https://www.cnblogs.com/alpha-cat/p/12939638.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!