码迷,mamicode.com
首页 > 其他好文 > 详细

spark调优(二)------合理调节作业中的并行度

时间:2018-05-14 13:16:43      阅读:174      评论:0      收藏:0      [点我收藏+]

标签:推荐   阶段   default   分配   core   tag   官网   参数   SM   

原理介绍:

  并行度:其实就是指的是,spark作业中,各个stage的task数量,也代表了spark作业做得各个阶段的stage的并行度

设置参数:

  spark.default.parallelism 官网推荐 此参数设置成cpu core数量的2~3倍,比如150个cpu core,分配了150个task,那么这个参数基本要设置为300~500

  

 

spark调优(二)------合理调节作业中的并行度

标签:推荐   阶段   default   分配   core   tag   官网   参数   SM   

原文地址:https://www.cnblogs.com/SupperMan/p/9035484.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!