码迷,mamicode.com
首页 > 其他好文 > 详细

Spark HA模式访问Hadoop HA下的数据

时间:2017-06-22 13:24:51      阅读:128      评论:0      收藏:0      [点我收藏+]

标签:hadoop ha   deploy   clu   hdf   code   hadoop   jar   模式   color   

首先是需要将hadoop的配置文件core-site,xml和hdfs-site.xml 拷贝到Spark conf目录下

然后启动提交即可

spark-submit --master spark://hadoop-namenode-01:7077,hadoop-namenode-02:7077 \
--class org.apache.spark.examples.SparkPi --deploy-mode cluster --executor-memory 4G --total-executor-cores 10 hdfs://bi/spark-examples-1.6.0-hadoop2.6.4.jar \
100

 

Spark HA模式访问Hadoop HA下的数据

标签:hadoop ha   deploy   clu   hdf   code   hadoop   jar   模式   color   

原文地址:http://www.cnblogs.com/atomicbomb/p/7064326.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!