spark自定义分区器

标签：决定   支持   class   shu   none   ons   https   shuffle   默认   

1、spark中默认的分区器：

　　Spark目前支持Hash分区和Range分区，用户也可以自定义分区，Hash分区为当前的默认分区，Spark中分区器直接决定了RDD中分区的个数、RDD中每条数据经过Shuffle过程属于哪个分区和Reduce的个数。

• 只有Key-Value类型的RDD才有分区器的，非Key-Value类型的RDD分区器的值是None

• 每个RDD的分区ID范围：0~numPartitions-1，决定这个值是属于那个分区的2、

参考博客：https://www.jianshu.com/p/a10d92bbeacf

spark自定义分区器

标签：决定   支持   class   shu   none   ons   https   shuffle   默认   

原文地址：https://www.cnblogs.com/guoyu1/p/12309649.html