编译安装spark

标签：

1.官网下载未编译的spark的jar包，选择下载的时候选择source code

2.安装jdk，maven。

3.修改spark根目录下的pom.xml文件（这一步可以忽略）。主要是修改版本。里面有很多版本，只要修改你本身的对应的版本，比如：jdk 1.7，hadoop 2.3.0，hbase 0.98.1-hadoop2，hive 0.12.0等等。你本身没用到的版本不用配置。

4.添加maven参数：export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"

你可以添加到~/.bashrc中。这个maven参数在脚本make-distribution.sh中默认是有的。

5.编译，使用如下命令，选择对应的版本。

mvn -Pyarn -Phadoop-2.3 -Dhadoop.version=2.3.0 -Phive -Phive-thriftserver -DskipTests clean package

6.编译打包，使用如下命令，选择对应的版本。这一步会打包。

./make-distribution.sh --tgz --skip-java-test -Phadoop-2.3 -Dhadoop.version=2.3.0 -Pyarn -Phive -Phive-thriftserver

--tgz代表打包，--skip-java-test跳过测试阶段，-Pyarn -Phive -Phive-thriftserver把hive，yarn打入进去。

参考：

Building with build/mvn

spark1.3.0__for_hadoop2.4.1编译、安装与初步测试

编译安装spark

标签：

原文地址：http://my.oschina.net/cjun/blog/507624