标签：

编译spark1.6.1源码

　　正常的情况下从spark官方网站下载的发行包已经可以满足正常使用（默认支持了hive），但如果要编译相应cdh版本的hadoop或者把ganglia打包进来等，那就要重新指定编译参数来重新编译源码了。建议最好在linux环境下进行编译。

1.源码下载

官网下载地址：https://spark.apache.org/downloads.html

注意：源码放置目录最好不要存在中文路径

2.安装并配置maven

根据官网的说明，通过maven来编译spark1.6.1时对maven的版本是有要求的，需要maven3.3.3+以及java 7+。本次编译使用的是maven3.3.9，jdk1.7

maven下载：http://maven.apache.org/download.cgi

jdk下载：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

下载安装maven,jdk以及配置好环境，具体步骤不再详述。

3.编译打包spark

进行编译前需要设置maven使用内存，否则在编译过程中会内存溢出，如果是linux系统下执行以下命令：

export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"

在windows系统下执行以下命令：

set MAVEN_OPTS=-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m

执行以下命令开始编译相应的CDH版本以及支持Ganglia，hive：

mvn  -Phadoop-2.6 -Dhadoop.version=2.6.0-cdh5.4.2 -Phive -Phive-thriftserver -Pyarn -Pspark-ganglia-lgpl -DskipTests -Dmaven.test.skip=true -e clean package

编译过程中可能会因为网络原因导致解决不了包依赖，尝试重新编译，还有就是耐心等候了~~。本次编译还算顺利，期间因为maven版本过低出现过错误，但升级后解决了。

成功后可以在$SPARK_HOME/assembly/target/下看到spark-assembly-1.6.1-hadoop2.6.0-cdh5.4.2.jar

还可以通过以下命令打包生成部署包：

./make-distribution.sh --name 2.6.0-cdh5.4.2 --tgz -Phadoop-2.6 -Dhadoop.version=2.6.0-cdh5.4.2 -Phive -Phive-thriftserver –Pyarn -Pspark-ganglia-lgpl

make-distribution自带编译过程，成功后可以在$SPARK_HOME/下看到spark-1.6.1-bin-2.6.0-cdh5.4.2.tgz

4.参考

https://spark.apache.org/docs/latest/building-spark.html

编译spark1.6.1源码

标签：

原文地址：http://www.cnblogs.com/czm1032851561/p/5870004.html