标签:
现在最新版本是1.2.0
我用的maven编译,官网有现成的编译命令
http://spark.apache.org/docs/latest/building-spark.html
我的hadoop是2.2.0,所以命令为:
export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m" mvn -Pyarn -Phadoop-2.2 -Dhadoop.version=2.2.0 -DskipTests clean package
编译过程中遇到一个错误
网上的说法是:
找到 mllib\src\main\scala\org\apache\spark\mllib\optimization\Gradient.scala文件,把带有// Our loss function的两行移除
不过不靠谱,其实只要把breeze_2.10-0.10.jar自己下载拷到对应目录就行了
编译的jar包在 ./assembly/target/scala-2.10/ 目录下面
生成部署包
./make-distribution.sh --tgz
在根目录下面生成了一个binary包
标签:
原文地址:http://www.cnblogs.com/admln/p/compileSpark1-2-0.html