Spark安装

标签：

经过了小一天的时间终于把Spark安装好了

我的机器配置是windows7，8G，内存，双核的

安装的软件列表为：

Ubuntu 14.04.1 LTS (GNU/Linux 3.13.0-32-generic x86_64)

vmware

Hadoop: 2.6.0
Spark: 1.4.0

jdk-7u75-linux-x64.gz

scala-2.10.4（注意版本，必须和官方要求的一致）

点官方网站

Spark runs on Java 6+, Python 2.6+ and R 3.1+. For the Scala API, Spark 1.4.1 uses Scala 2.10. You will need to use a compatible Scala version (2.10.x).

主要步骤：

1、安装Vmware

http://jingyan.baidu.com/article/19020a0ad09f35529d2842bf.html 

2、安装Ubuntu

http://jingyan.baidu.com/article/ff42efa9423991c19e22020d.html

3、安装Ubuntu必要的软件

保证能够上网，更新源http://jingyan.baidu.com/article/7f41ecec1b7a2e593d095ce6.html

安装vim

4、修改主机名，配置网络（复制系统，把系统复制两份，保存在不同的文件夹，分别作为master，slave1，slave2）

5、现在master上安装Java

6、安装Scala

7、安装Hadoop、Spark，检查看下是不是安装成功呢？

8、安装SSH ，确保能够无密码传输

9、利用scp命令，把安装好的传给slave1，slave2

 可直接参考：

http://wuchong.me/blog/2015/04/04/spark-on-yarn-cluster-deploy/

http://blog.csdn.net/stark_summer/article/details/42424279

参考上面两个链接完成的，当然从安装ubuntu开始一步一步，中间也遇到了很多问题，但是基本上都是很low的问题，差不多百度或者Bing就可以解决.

遇到问题的可以留言，我会提供技术支持哈！

Spark安装

标签：

原文地址：http://blog.csdn.net/feige1990/article/details/47340885