原因:默认情况下每个节点分配的执行内存为1G
解决办法:
方法一:val conf = new SparkConf().setAppName("appname").set("spark.executor.memory","6g")
方法二:修改spark-env.sh
添加:export SPARK_EXECUTOR_MEMORY=8G
spark-submit java.lang.OutOfMemoryError: Java heap space
原文地址:http://11670039.blog.51cto.com/11660039/1784992