码迷,mamicode.com
首页 > 移动开发 > 详细

SPARK之map()和mapPartition()的区别

时间:2019-09-03 22:34:11      阅读:148      评论:0      收藏:0      [点我收藏+]

标签:class   spark   art   data-   block   oom   分区   数据处理   data   

  • map():每次处理一条数据

  • mapPartition():每次处理一个分区的数据,这个分区的数据处理完后,原RDD中分区的数据才能释放,可能导致OOM

    当内存空间较大的时候建议使用mapPartition(),以提高处理效率

SPARK之map()和mapPartition()的区别

标签:class   spark   art   data-   block   oom   分区   数据处理   data   

原文地址:https://www.cnblogs.com/xiangyuguan/p/11455869.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!