spark 参数设置

标签：storage   cluster   conf   blog   executor   mem   article   log   efault   

https://blog.csdn.net/u012102306/article/details/51637366

/bin/spark-submit \ --master yarn-cluster \ --num-executors 100 \ --executor-memory 6G \ --executor-cores 4 \ --driver-memory 1G \ --conf spark.default.parallelism=1000 \ --conf spark.storage.memoryFraction=0.5 \ --conf spark.shuffle.memoryFraction=0.3 \

spark 参数设置

标签：storage   cluster   conf   blog   executor   mem   article   log   efault   

原文地址：https://www.cnblogs.com/zhangbojiangfeng/p/13162130.html