码迷,mamicode.com
首页 > 其他好文 > 详细

Spark集群部署以及应用

时间:2015-03-21 21:28:55      阅读:171      评论:0      收藏:0      [点我收藏+]

标签:spark

一、环境概述:

192.168.1.2 master

192.168.1.3 worker

192.168.1.4 worker


二、Scala环境设置

[root@master ~]# tar zxvf scala-2.10.4.tgz -C /home/hadoop/
[root@master ~]# cd /home/hadoop/
[root@master hadoop]# ln -s scala-2.10.4 scala
[root@master ~]# chown -R hadoop.hadoop /home/hadoop/
# Scala
export SCALA_HOME=/home/hadoop/scala
export PATH=$PATH:$HADOOP_DEV_HOME/sbin:$HADOOP_DEV_HOME/bin:$SCALA_HOME/bin
[root@master hadoop]# source /home/hadoop/.bashrc 
[root@master hadoop]# su - hadoop
[hadoop@master ~]$ scala
Welcome to Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_25).
Type in expressions to have them evaluated.
Type :help for more information.

scala> 

# slave1,slave2执行相同的操作

三、spark安装



Spark集群部署以及应用

标签:spark

原文地址:http://luojianlong.blog.51cto.com/4412415/1622837

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!