spark 中如何查看单个RDD分区的内容（创建分区，查看分区数）

标签：内容   分区   cores   size   col   nbsp   core   创建   spark   

spark 创建分区

val scores = Array(("Fred", 88), ("Fred", 95), ("Fred", 91), ("Wilma", 93), ("Wilma", 95), ("Wilma", 98))

val input = sc.parallelize(scores,3)   #这里创建了3个分区

查看分区数：

input.partitions.size

查看分区的内容和情况

input.glom().collect()

spark 中如何查看单个RDD分区的内容（创建分区，查看分区数）

标签：内容   分区   cores   size   col   nbsp   core   创建   spark   

原文地址：https://www.cnblogs.com/spicy/p/9722977.html