标签：top image root tar 提交 spark amp https dal
环境
虚拟机：VMware 10
Linux版本：CentOS-6.5-x86_64
客户端：Xshell4
FTP：Xftp4
jdk1.8
scala-2.10.4(依赖jdk1.8)
spark-1.6
组建方案：
master:PCS101，slave:PCS102、PCS103
搭建方式一：Standalone
步骤一：解压文件 改名
[root@PCS101 src]# tar -zxvf spark-1.6.0-bin-hadoop2.6.tgz -C /usr/local [root@PCS101 local]# mv spark-1.6.0-bin-hadoop2.6 spark-1.6.0
步骤一：修改配置文件
1、slaves.template 设置从节点
[root@PCS101 conf]# cd /usr/local/spark-1.6.0/conf && mv slaves.template slaves && vi slaves PCS102 PCS103
2、spark-config.sh 设置java_home
export JAVA_HOME=/usr/local/jdk1.8.0_65
3、spark-env.sh
[root@PCS101 conf]# mv spark-env.sh.template spark-env.sh && vi spark-env.sh #SPARK_MASTER_IP:master的ip export SPARK_MASTER_IP=PCS101 #SPARK_MASTER_PORT:提交任务的端口，默认是7077 export SPARK_MASTER_PORT=7077 #SPARK_WORKER_CORES：每个worker从节点能够支配的core的个数 export SPARK_WORKER_CORES=2 #SPARK_WORKER_MEMORY:每个worker从节点能够支配的内存数 export SPARK_WORKER_MEMORY=3g #SPARK_MASTER_WEBUI_PORT：sparkwebUI端口 默认8080 或者修改spark-master.sh export SPARK_MASTER_WEBUI_PORT=8080
步骤三、分发spark到另外两个节点
[root@PCS101 local]# scp -r /usr/local/spark-1.6.0 root@PCS102:`pwd` [root@PCS101 local]# scp -r /usr/local/spark-1.6.0 root@PCS103:`pwd`
步骤四：启动集群
[root@PCS101 sbin]# /usr/local/spark-1.6.0/sbin/start-all.sh
步骤五：关闭集群
[root@PCS101 sbin]# /usr/local/spark-1.6.0/sbin/stop-all.sh
搭建方式二：Yarn
标签：top image root tar 提交 spark amp https dal
原文地址：https://www.cnblogs.com/cac2020/p/10644313.html
