标签：
最近在学习Spark的相关内容，作为一名初学者，希望和大家一起分享一些学习心得和操作经验，有不对的地方希望指正。
系统是64位的ubuntu1
。
（注：笔者习惯于直接上官网上下文件，然后配置路径，我觉得这样方便，也可以用ubuntu的工具，apt-get install）
一、配置Spark的Standalone模式。
1.Ubuntu环境配置：
（1）安装JDK，下载Java SE版本，可以是最新版，解压到/opt/java目录（也可以是其他目录）下：
(http://www.oracle.com/technetwork/java/javase/downloads/index.html)
（2）安装scala,下载scala-2.11.6.tgz，解压到/opt/scala：
（ http://www.scala-lang.org/ ，你可以下载最新版本的）
（3）安装Spark，下载预编译软件包，解压到/opt/spark-hadoop
（
，注意如果下载如下版本：
会有缺少部分jar包，需要自己添加）
2．添加环境变量：
配置环境变量,编辑/etc/profile,执行以下命令：
sudo vim /etc/profile
在文件末尾最增加：
重启电脑，使/etc/profile永久生效，临时生效，打开命令窗口，执行 source /etc/profile 在当前窗口生效 。
（注：为什么修改/etc/profile，这个网上挺多介绍，Linux的环境变量配置，这里就不赘述了）
3．打开命令窗口，切换到Spark根目录：
4．修改配置文件:
在$SPARK_HOME/conf目录下
利用cp命令，从template中，copy一个spark-env.sh。（env就是environment的缩写）
在文件末尾添加如下语句：
(可能报错：JAVA_HOME is not set，则在spark-env.sh中export一个JAVA_HOME变量，指向你的jdk安装路径)
5.启动spark-shell:
6.运行成功：
二、Spark连上hadoop-yarn。
1.下载hadoop预编译文件：
http://hadoop.apache.org/releases.html
（注：不同的spark支持不同的hadoop版本，在官网上有标明）
2.在/etc/profile中配置文件：
3.修改配置文件：
在$SPARK_HOME/conf目录下，修改spark-env.sh文件：
用HADOOP_CONF_DIR指向hadoop安装路径下的./etc/hadoop目录下。
4.运行成功。
标签：
原文地址：http://www.cnblogs.com/zhengruin/p/Spark.html
