码迷,mamicode.com
首页 > 其他好文 > 详细

Apache Spark源码走读之9 -- Spark源码编译

时间:2014-05-18 20:25:57      阅读:391      评论:0      收藏:0      [点我收藏+]

标签:style   class   code   c   java   tar   

欢迎转载,转载请注明出处,徽沪一郎。

概要

本来源码编译没有什么可说的,对于java项目来说,只要会点maven或ant的简单命令,依葫芦画瓢,一下子就ok了。但到了Spark上面,事情似乎不这么简单,按照spark officical document上的来做,总会出现这样或那样的编译错误,让人懊恼不已。

今天闲来无事,又重试了一把,居然o了,做个记录,以备后用。

准备

我的编译机器上安装的Linux是archlinux,并安装后如下软件

  1. scala 2.11
  2. maven
  3. git

下载源码

第一步当然是将github上的源码下载下来

git clone https://github.com/apache/spark.git

 源码编译

不是直接用maven也不是直接用sbt,而是使用spark中自带的编译脚本make-distribution.sh

export SCALA_HOME=/usr/share/scala
cd $SPARK_HOME
./make-distribution.sh

如果一切顺利,会在$SPARK_HOME/assembly/target/scala-2.10目录下生成目标文件,比如

assembly/target/scala-2.10/spark-assembly-1.0.0-SNAPSHOT-hadoop1.0.4.jar

 

Apache Spark源码走读之9 -- Spark源码编译,布布扣,bubuko.com

Apache Spark源码走读之9 -- Spark源码编译

标签:style   class   code   c   java   tar   

原文地址:http://www.cnblogs.com/hseagle/p/3732492.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!