apache 网站上面已经有了已经构建好了的版本,我这里还是自己利用午休时间重新构建一下(jdk,python,scala的安装就省略了,自己可以去安装)
http://www.apache.org/dist/spark/spark-1.0.1/ 具体官网的下载链接可以去这里
我下载的是http://www.apache.org/dist/spark/spark-1.0.1/spark-1.0.1.tgz源码包
下载对应的linux服务器上面,然后解压
wget http://www.apache.org/dist/spark/spark-1.0.1/spark-1.0.1.tgztar zxf spark-1.0.1.tgz cd spark-1.0.1
我们可以大概的ls浏览一下目录中有哪些文件,心中有个数
如果想要构建对应的安装包,apache已经为我们提供了一个构建脚本make-distribution.sh(也可以自己去参考官方提供的文档http://spark.apache.org/docs/latest/building-with-maven.html 不过脚本里面都给我们封装好了)
可以查看下脚本,里面肯定有介绍怎么用,看到下面这一段
# Optional Arguments # --tgz: Additionally creates spark-$VERSION-bin.tar.gz # --hadoop VERSION: Builds against specified version of Hadoop. # --with-yarn: Enables support for Hadoop YARN. # --with-hive: Enable support for reading Hive tables. # --name: A moniker for the release target. Defaults to the Hadoop verison.
下面我们开始执行构建命令
sh make-distribution.sh --hadoop 2.2.0 --with-yarn --with-hive --tgz
漫长的等待......
公司网络真慢,maven下载一些依赖要下老半天,人家午休都睡醒了,我还在呆呆的看着屏幕在滚,shit...
Spark 1.0.1源码安装,布布扣,bubuko.com
原文地址:http://my.oschina.net/heartdong/blog/294120