码迷,mamicode.com
首页 > 其他好文 > 详细

5、1 部署

时间:2018-10-11 01:55:05      阅读:109      评论:0      收藏:0      [点我收藏+]

标签:运行   spark   div   主机   部署   pre   hdfs   gen   agg   

spark job部署模式

Spark job部署模式
------------------
    spark job的部署有两种模式,client和cluster
    spark-submit .. --deploy-mode client | cluster

    1.client
        默认值,driver运行在client端主机上。
        spark-submit --class com.oldboy.spark.mr.TaggenJava2 --master spark://s101:7077 --deploy-mode cluster hdfs://s101/user/centos/data/myspark.jar /user/centos/data/tags.txt

    2.cluster
        driver运行在某个worker节点上。客户端值负责提交job。
        $>spark-submit --class com.oldboy.spark.mr.TaggenJava2 --master spark://s101:7077 --deploy-mode cluster hdfs://s101/user/centos/data/myspark.jar /user/centos/data/tags.txt
        

 

5、1 部署

标签:运行   spark   div   主机   部署   pre   hdfs   gen   agg   

原文地址:https://www.cnblogs.com/lybpy/p/9769918.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!