最近在学习spark分布式计算框架,其中遇到这样的问题 提交的命令是 bin/spark-submit --jars lib/mysql-connector-java-5.1.38-bin.jar --master spark://Wechat-6:7077 examples/hsbhadoop/d... ...
分类：
移动开发 时间：
2016-04-09 19:04:42
阅读次数：
502
资源调度 说明： Application的调度算法有两种，分别为spreadOutApps和非spreadOutApps spreadOutApps 在spark-submit脚本中，可以指定要多少个executor,executor需要多少个cpu及多少内存，基于该机制，最后executor的实际... ...
分类：
其他好文 时间：
2016-04-07 06:56:20
阅读次数：
295
在Spark快速入门指南 – Spark安装与基础使用中介绍了Spark的安装与配置，在那里还介绍了使用spark-submit提交应用，不过不能使用vim来开发Spark应用，放着IDE的方便不用。这里介绍使用Intellij Idea搭建Spark的开发环境。
1、Intellij Idea的安装
由于Spark安装在Ubuntu环境中，这里的Idea也安装在Ubuntu中。首先是下载，到...
分类：
其他好文 时间：
2016-03-30 16:30:36
阅读次数：
214
一旦用户和应用打包后，就可以使用bin/spark-submit脚本来启动，此脚本就会为Spark和它的依赖安排配置环境变量，还支持不同的集群管理和部署模式：
分类：
其他好文 时间：
2016-03-18 00:14:52
阅读次数：
121
16/03/0400:21:09WARNSparkContext:UsingSPARK_MEMtosetamountofmemorytouseperexecutorprocessisdeprecated,pleaseusespark.executor.memoryinstead.16/03/0400:21:09ERRORSparkContext:ErrorinitializingSparkContext.org.apache.spark.SparkException:CouldnotparseMasterUR..
分类：
其他好文 时间：
2016-03-03 17:45:33
阅读次数：
11527
如果你的Spark程序在执行过程中报出如下类似的错误：ERROR Executor: Exception in task xxx in stage xxx
java.lang.OutOfMemoryError: unable to create new native thread
那么可能性非常大的原因是你当前通过spark-submit或spark-sql启动的程序中开启了过多的进程，以至超过了操...
分类：
编程语言 时间：
2016-02-20 17:40:54
阅读次数：
174
1.local单机模式，结果xshell可见：./bin/spark-submit --class org.apache.spark.examples.SparkPi --master local[1] ./lib/spark-examples-1.6.0-hadoop2.4.0.jar 1002....
分类：
其他好文 时间：
2016-01-24 22:11:11
阅读次数：
393
spark-submit 报错：must specify resource取消关注|1...我的submit.sh内容：/bin/spark-submit \--class abc.package.manclass \--master spark:10.30.40.50:7077 \--execut...
分类：
编程语言 时间：
2016-01-21 18:43:17
阅读次数：
2556
Storm架构如下图所示:1、主控节点(Master Node) 运行Storm nimbus后台服务的节点(Nimbus)，它是storm系统的中心，负责接收用户提交的作业(如同spark submit一样 即为jar包形式保存的topology代码)，通过Zookeeper向每个工作节点分配处....
分类：
其他好文 时间：
2016-01-10 21:15:26
阅读次数：
192
spark中，不论spark-shell还是spark-submit，都可以设置memory大小，但是有的同学会发现有两个memory可以设置。分别是driver memory 和executor memory。从名字上大概可以猜出大概。具体就是说driver memory并不是master分配了多...
分类：
其他好文 时间：
2015-11-25 10:57:09
阅读次数：
199
