标签:推荐 阶段 default 分配 core tag 官网 参数 SM
并行度:其实就是指的是,spark作业中,各个stage的task数量,也代表了spark作业做得各个阶段的stage的并行度
spark.default.parallelism 官网推荐 此参数设置成cpu core数量的2~3倍,比如150个cpu core,分配了150个task,那么这个参数基本要设置为300~500
标签:推荐 阶段 default 分配 core tag 官网 参数 SM
原文地址:https://www.cnblogs.com/SupperMan/p/9035484.html