Spark集群安装（一）

标签：spark

需要的软件包：

Spark1.0.2

Scala2.10.4

一、安装Scala

Rpm –ivh scala-2.10.4.rpm #安装scala

Scala  –version                    #检查刚刚安装的scala版本

Scala code runner version 2.10.4 -- Copyright 2002-2013,LAMP/EPFL

[hadoop@hadoop2 ~]$ scala  #进入scala命令行交互模式

做简单运算看下运行结果：

至此，scala安装完成。其余节点安装scala同上。

二、安装Spark

tar -zxvf spark-1.0.2-bin-hadoop1.tgz  #解压文件

配置环境变量：

配置spark

cp spark-env.sh.template spark-env.sh  #拷贝文件

配置spark-env.sh文件，添加如下信息：

vim slaves     #将所有节点加入到slaves中。

其余节点saprk配置同上

三、启动spark

[hadoop@hadoop1 sbin]$ ./start-all.sh   #启动spark集群

使用JPS查看节点启动进程：

可以发现进程中，多了两个进程master和worker。

同样方法查看其余节点：

可以发现，节点多了一个进程worker。

四、访问WEB界面，看集群情况

浏览器输入http://192.168.101.10:8080/：

至此，安装全部完成。

本文出自 “坚持技术” 博客，请务必保留此出处http://winlin.blog.51cto.com/340933/1549202

Spark集群安装（一）

标签：spark

原文地址：http://winlin.blog.51cto.com/340933/1549202