标签:运行 spark div 主机 部署 pre hdfs gen agg
spark job部署模式
Spark job部署模式 ------------------ spark job的部署有两种模式,client和cluster spark-submit .. --deploy-mode client | cluster 1.client 默认值,driver运行在client端主机上。 spark-submit --class com.oldboy.spark.mr.TaggenJava2 --master spark://s101:7077 --deploy-mode cluster hdfs://s101/user/centos/data/myspark.jar /user/centos/data/tags.txt 2.cluster driver运行在某个worker节点上。客户端值负责提交job。 $>spark-submit --class com.oldboy.spark.mr.TaggenJava2 --master spark://s101:7077 --deploy-mode cluster hdfs://s101/user/centos/data/myspark.jar /user/centos/data/tags.txt
标签:运行 spark div 主机 部署 pre hdfs gen agg
原文地址:https://www.cnblogs.com/lybpy/p/9769918.html