码迷,mamicode.com
首页 > 其他好文 > 详细

spark1.2.0编译

时间:2015-01-03 18:39:17      阅读:225      评论:0      收藏:0      [点我收藏+]

标签:

 


 现在最新版本是1.2.0

我用的maven编译,官网有现成的编译命令

http://spark.apache.org/docs/latest/building-spark.html

我的hadoop是2.2.0,所以命令为:

export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"

mvn -Pyarn -Phadoop-2.2 -Dhadoop.version=2.2.0 -DskipTests clean package

编译过程中遇到一个错误

技术分享

网上的说法是:

找到 mllib\src\main\scala\org\apache\spark\mllib\optimization\Gradient.scala文件,把带有// Our loss function的两行移除

不过不靠谱,其实只要把breeze_2.10-0.10.jar自己下载拷到对应目录就行了


技术分享


编译的jar包在 ./assembly/target/scala-2.10/ 目录下面


生成部署包

 

./make-distribution.sh --tgz

在根目录下面生成了一个binary包


 

spark1.2.0编译

标签:

原文地址:http://www.cnblogs.com/admln/p/compileSpark1-2-0.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!