标签:class spark art data- block oom 分区 数据处理 data
map():每次处理一条数据
mapPartition():每次处理一个分区的数据,这个分区的数据处理完后,原RDD中分区的数据才能释放,可能导致OOM
当内存空间较大的时候建议使用mapPartition(),以提高处理效率
标签:class spark art data- block oom 分区 数据处理 data
原文地址:https://www.cnblogs.com/xiangyuguan/p/11455869.html