读取多个目录下的本地文件，多个目录通过循环遍历的方式，以参数传递： #!/bin/bash i=0while [ $i -lt 10000 ] do echo "i=$i" spark-submit --class com.link.fblx.readFromPath --driver-memory ...
分类：
系统相关 时间：
2019-01-09 17:33:13
阅读次数：
244
业务需求 实现一个根据spark任务的appName来监控任务是否存在，及任务是否卡死的监控。 1）给定一个appName，根据appName从yarn application -list中验证任务是否存在，不存在则调用spark-submit.sh脚本来启动任务； 2）如果任务存在yarn app ...
分类：
移动开发 时间：
2019-01-08 23:38:01
阅读次数：
387
（1）部署部署方式：sparkstandalone集群、yarn集群、meoss集群...driver的HA：如果希望driver程序在失败之后自动重启，那么需要在程序中使用getOrcreate方法重构streamingContext对象，以及在spark-submit中添加参数。Checkpoint目录的设置：如果程序使用到checkpoint目录，就必须配置一个hdfs兼容的文件系统作为ch
分类：
其他好文 时间：
2019-01-08 10:52:20
阅读次数：
177
spark任务运行的源码分析在整个spark任务的编写、提交、执行分三个部分：①编写程序和提交任务到集群中②sparkContext的初始化③触发action算子中的runJob方法，执行任务(1)编程程序并提交到集群：①编程spark程序的代码②打成jar包到集群中运行③使用spark-submit命令提交任务在提交任务时，需要指定--class程序的入口（有main方法的类），1）spark-
分类：
其他好文 时间：
2019-01-03 22:36:48
阅读次数：
181
[root@linux-node3 bin]# ./spark-submit --help Usage: spark-submit [options] [app arguments] Usage: spark-submit --kill [submission ID] --master [spark... ...
分类：
其他好文 时间：
2018-11-26 21:55:35
阅读次数：
224
Spark 版本:1.3 调用shell, spark-submit.sh args[] 首先是进入 org.apache.spark.deploy.SparkSubmit 类中调用他的 main() 方法 1.1 val appArgs = new SparkSubmitArguments(arg ...
分类：
其他好文 时间：
2018-11-18 14:18:05
阅读次数：
263
本博客内容基于Spark2.2版本，在阅读文章并想实际操作前，请确保你有： 老版本 老版本任务提交是基于启动本地进程，执行脚本spark-submit xxx ** 的方式做的。其中一个关键的问题就是获得提交Spark任务的Application-id，因为这个id是跟任务状态的跟踪有关系的。如果你 ...
分类：
编程语言 时间：
2018-11-14 17:18:50
阅读次数：
1208
Spark job 的部署有两种模式，Client && Cluster spark-submit .. --deploy-mode client | cluster 【上传 Jar 包】 【Client】 默认值，Driver 运行在 Client 端主机上。 【cluster】 Driver 运 ...
分类：
其他好文 时间：
2018-10-13 00:04:03
阅读次数：
195
在编写程序时，不可避免会用到第三方jar，有三种使用方式： 1、将运行程序需要的所有第三方 jar，分发到所有spark的/soft/spark/jars下 2、将第三方jar打散，和自己的源码打成一个jar包，如3.1中 3、在spark-submit命令中，通过--jars指定使用的第三方jar ...
分类：
编程语言 时间：
2018-10-10 21:56:51
阅读次数：
214
spark-submit --class WordCount \> --master yarn-cluster \> --num-executors 10 \> --executor-memory 6G \> --executor-cores 4 \> --driver-memory 1G \> / ...
分类：
其他好文 时间：
2018-10-09 00:50:17
阅读次数：
226
