ERROR spark.SparkContext: Error initializing SparkContext.java.lang.IllegalArgumentException: Required executor memory (1024+384 MB) is above the max ...
分类：
其他好文 时间：
2017-05-19 13:29:30
阅读次数：
175
1、分配更多的资源 1.1 分配的资源有：executor、cup per executor、memory per executor、driver memory 1.2 如何分配：在spark-submit提交时设置相应的参数 1.3 调节到多大（原则：能使用的资源有多大，就尽量调节到最大的大小） ...
分类：
其他好文 时间：
2017-02-23 15:49:45
阅读次数：
356
摘要 1.num-executors 2.executor-memory 3.executor-cores 4.driver-memory 5.spark.default.parallelism 6.spark.storage.memoryFraction 7... ...
分类：
其他好文 时间：
2016-11-04 01:13:27
阅读次数：
443
这里，我以指定executor-memory参数的方式，启动spark-shell。 启动hadoop集群 spark@SparkSingleNode:/usr/local/hadoop/hadoop-2.6.0$ jps8457 Jpsspark@SparkSingleNode:/usr/loca ...
一、代码 二、运行截图 命令：spark-submit --master yarn --jars /opt/test/data/oracle.jdbc_10.2.0.jar --name OracleRead --class com.sgcc.hj.JdbcTest--executor-memory ...
分类：
数据库 时间：
2016-06-21 10:47:04
阅读次数：
1830
原因：默认情况下每个节点分配的执行内存为1G解决办法：方法一：valconf=newSparkConf().setAppName("appname").set("spark.executor.memory","6g")方法二：修改spark-env.sh添加：exportSPARK_EXECUTOR_MEMORY=8G
分类：
编程语言 时间：
2016-06-01 06:56:28
阅读次数：
1083
spark中，不论spark-shell还是spark-submit，都可以设置memory大小，但是有的同学会发现有两个memory可以设置。分别是driver memory 和executor memory。从名字上大概可以猜出大概。具体就是说driver memory并不是master分配了多...
分类：
其他好文 时间：
2015-11-25 10:57:09
阅读次数：
199
spark-submit 脚本应用程序提交流程执行提交命令如下：root@sparkmaster:/hadoopLearning/spark-1.5.0-bin-hadoop2.4/bin# ./spark-submit --master spark://sparkmaster:7077 --class SparkWordCount --executor-memory 1g /root/IdeaPr...
分类：
其他好文 时间：
2015-10-19 22:36:11
阅读次数：
300
spark-shell --master=spark://namenode01:7077 --executor-memory 2g --driver-class-path /app/spark141/lib/mysql-connector-java-5.1.6-bin.jar hdfs dfs -p...
分类：
其他好文 时间：
2015-08-10 07:05:57
阅读次数：
166
本文主要记录我使用Spark以来遇到的一些典型问题及其解决办法，希望对遇到同样问题的同学们有所帮助。
1. Spark环境或配置相关
Q: Spark客户端配置文件spark-defaults.conf中，spark.executor.memory和spark.cores.max应该如何合理配置？
A: 配置前，需要对spark集群中每个节点机器的core和memory的配置有基本了解。比如...
分类：
其他好文 时间：
2015-06-10 12:21:16
阅读次数：
189
